> ## Documentation Index
> Fetch the complete documentation index at: https://www.octoparse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# スマート判定エンジン

> Octoparseのスマート判定エンジンは、ブラウザ、IPリソース、ブロック回避設定など、スクレイピング実行環境を実行ごとに自動構成します。

<Note>
  スマート判定エンジンは今後提供予定の機能です。このページでは予定されている機能を説明します。正式提供までに詳細が変更される可能性があります。
</Note>

スマート判定エンジン（SDE）は、対象Webサイトからデータを抽出する最適な方法を自動的に判断するシステムレベルの機能です。単一の固定された抽出方法に頼るのではなく、SDEは各タスクを評価し、成功する可能性が高く、コストとリスクを抑えやすい戦略を選択します。

## 重要な理由

Webサイトによって、複雑さ、アンチボット対策、レンダリング要件は異なります。単一の抽出方法だけですべてのサイトに安定して対応することはできません。SDEは戦略選択を自動化することで、この問題を解決します。どの方法を使うべきかを手動で判断する必要がなくなります。

* 標準的なブラウザで問題なく読み込めるWebサイトには、軽量で高速な抽出を適用します
* より厳しいアンチボット対策があるWebサイトには、より高度な戦略を自動的に適用します
* ある方法が失敗した場合でも、手動操作なしで別の方法にフォールバックします

## 仕組み

SDEはタスク実行の前後でバックグラウンドに動作します。

<Steps>
  <Step title="対象を解析する">
    SDEは対象Webサイトのドメイン、構造、過去の実行で確認された挙動などの特性を評価します。
  </Step>

  <Step title="戦略を選択する">
    解析結果に基づいて、成功する可能性が高い抽出方法、ブラウザ環境、関連設定を自動的に選択します。
  </Step>

  <Step title="実行して監視する">
    選択された戦略でタスクを実行します。SDEはブロック、空の結果、タイムアウトなどの問題を監視します。
  </Step>

  <Step title="必要に応じてフォールバックする">
    選択した戦略で問題が発生した場合、ユーザーの操作なしで代替アプローチに自動的に切り替えます。
  </Step>

  <Step title="結果から学習する">
    実行結果はSDEにフィードバックされます。時間の経過とともに、各Webサイトに最適な方法のプロファイルが蓄積され、将来の判断がより速く正確になります。
  </Step>
</Steps>

## 複数レベルの抽出戦略

SDEは対象Webサイトの要件に応じて、複数の抽出レベルから選択します。

| レベル  | アプローチ                     | 適した用途                             |
| ---- | ------------------------- | --------------------------------- |
| レベル1 | 軽量で高速な抽出                  | アンチボット対策が少ないシンプルなWebサイト           |
| レベル2 | 標準的なブラウザベース抽出             | JavaScriptレンダリングや中程度の操作が必要なWebサイト |
| レベル3 | 完全なブラウザ操作シミュレーションを使う高度な抽出 | 厳しいアンチボット対策や複雑なアクセス要件があるWebサイト    |

システムは最も効率的なレベルから開始し、必要な場合にのみ段階的に引き上げます。これにより、コストを抑えながら速度を高く保ちます。

## 自動フォールバック

抽出戦略がブロック、タイムアウト、不完全なデータなどで失敗した場合、SDEは別のアプローチで自動的に再試行します。これにより、次のような効果があります。

* 1回の失敗でタスク全体が停止しません
* 手動操作なしでシステムが復旧します
* 過去の失敗が今後の戦略選択に反映され、同じ問題の再発を減らします

## サイト学習

SDEはWebサイトごとの内部プロファイルを時間とともに構築します。特定のサイトに対して実行されるタスクが増えるほど、どの戦略が最も有効かをより正確に理解できるようになります。つまり、次のような効果が期待できます。

* 既知のWebサイトでは、新しいタスクでも最初から最適化された戦略を利用できます
* データが蓄積されるほど、戦略選択が継続的に改善されます
* 複数の実行から得られる集合的な学習を活用できます

## 期待できること

SDEの提供開始後は、次のような体験が期待できます。

* **成功率の向上** — 手動でトラブルシューティングしなくても、タスクが完了しやすくなります
* **手動設定の削減** — 戦略選択は自動で処理されます
* **耐障害性の向上** — 自動フォールバックにより、Webサイト変更やブロックの影響を抑えられます
* **継続的な改善** — システムが学習するにつれて、抽出パフォーマンスが向上します