自動検出を使う場面
次のような場合に自動検出を使用します。- 商品、リスト、レビュー、検索結果などの繰り返し項目がある
- 素早く初期ワークフローを作りたい
- どの要素を手動で選択すべきか分からない
- Octoparseにフィールドやページネーションロジックを提案してほしい
- 本格的に設定する前に、対象Webサイトからどのようなデータを抽出できるか素早く確認したい
- 生成されたワークフローを後で確認・調整する前提で開始したい
自動検出の仕組み
自動検出はページのDOM構造と視覚的なレイアウトを解析し、類似度計算と特徴の組み合わせによって繰り返しデータ領域を見つけ、抽出ルールを自動生成します。自動検出を実行する
Octoparseがページをスキャンし、繰り返しデータ領域を検出して抽出フィールドを生成します。ページネーションや次ページボタンも識別し、複数の結果ページを自動で移動できるようにします。
ページ移動を確認する
ページネーション、スクロール、次ページアクションを確認します。自動検出が次ページボタンや無限スクロールのパターンを検出する場合がありますが、大規模実行前に正しく動作するか確認してください。
検出後に確認すること
自動検出でワークフローが生成されたら、次の点を確認します。| 項目 | 確認内容 | 修正方法 |
|---|---|---|
| フィールド | 正しい値が取得されているか | 要素を選択し直すか、データプレビューパネルでXPathを調整します |
| フィールド名 | 列名が分かりやすく意味のあるものになっているか | エクスポート前にフィールド名を変更します |
| ページネーション | タスクが次ページへ正しく移動するか | 次ページボタンまたはスクロールアクションを手動で設定します |
| 詳細ページ | 必要な場合に詳細ページを開けるか | 詳細ページに入るクリックアクションを追加します |
| 重複 | 不要な要素や重複要素が含まれていないか | データプレビューパネルで不要なフィールドや行を削除します |
| 欠損値 | 重要なフィールドが空になっている行がないか | データプレビューパネルでフィールドを手動追加します |
既知の制限
自動検出は、明確で繰り返しのあるデータ構造を持つページで最も効果を発揮します。次のような状況では、結果が不完全または不正確になる場合があります。| 状況 | 起こり得ること |
|---|---|
| 標準的でない、または不規則なページレイアウト | フィールドが誤って識別されたり、欠落したりすることがあります |
| JavaScriptで描画される動的コンテンツ | 初期表示後に読み込まれるデータが検出されないことがあります |
| スクレイピング対策が強いWebサイト（Indeed、LinkedInなど） | ページの読み込みや解析に失敗することがあります |
| 複雑な入れ子構造 | 検出されたリストに誤った要素や重複要素が含まれることがあります |
| 誤ったフィールドの取得 | 実際の値ではなく、割引ラベルなどのプロモーション文言を取得することがあります |
手動編集が必要な場合
次のような場合は手動調整が必要になることがあります。- ページレイアウトが不規則である
- 重要なフィールドが検出リストの外にある
- Webサイトがコンテンツを動的に読み込む
- ページネーションが正しく検出されない
- ログイン、フィルター、ポップアップ、ユーザー操作が必要である
- 詳細ページからデータを抽出する必要がある
関連ページ
テンプレート
よく使われるWebサイト向けの事前構築済みワークフローから開始します。
ノーコードビルダー
自動検出後にワークフローを調整したり、手動で構築したりします。
データ整形
エクスポート前に抽出フィールドをクリーニングし、形式を整えます。