スクレイピングブラウザ

Octoparseは、Webサイトを開き、ページ要素を操作し、抽出ワークフローを構築するためにブラウザベースの環境を使用します。これにより、クリック、スクロール、ログイン、JavaScript読み込み後にデータが表示されるWebサイトにも対応しやすくなります。

​

内蔵ブラウザ

内蔵ブラウザは、タスクを構築してテストする場所です。対象Webサイトを開き、要素を選択し、アクションを作成し、抽出データをプレビューできます。 主な用途は次のとおりです。

• 対象URLを開く
• テキスト、リンク、画像などの要素を選択する
• ボタンやメニュー項目をクリックする
• ページネーションや無限スクロールに対応する
• タスクにセッション設定が必要な場合にログインする
• 抽出中にページがどのように読み込まれるかをテストする

​

選択モードとブラウズモード

Octoparseでは、タスク作成時に複数の操作モードを使用します。 ログイン、ポップアップの閉鎖、メニューの展開、抽出したいページ状態への移動など、タスク設定を続ける前に手動操作が必要な場合はブラウズモードを使用します。

​

Chromeモード

Chromeモードでは、内蔵ブラウザの代わりにChromeブラウザを使用してページを開き、データを収集します。Chromeモードは、実際のユーザーに近い完全なフィンガープリントと挙動プロファイルを持つ高機能ブラウザを使用するため、内蔵ブラウザより安定しやすく、厳しいアンチボット対策があるWebサイトで検出・ブロックされにくくなります。 次のような場合にChromeモードを使用します。

• 内蔵ブラウザで対象ページを正しく読み込めない
• Webサイトが標準的でないブラウザを検出してブロックする
• 実際のユーザー挙動を再現するために、より完全なブラウザ環境が必要である

​

動的ページ

多くのWebサイトでは、初回読み込み後にデータが追加されます。内蔵ブラウザは、このようなケースに必要なアクションを設定するのに役立ちます。 一般的な動的挙動には次のようなものがあります。

• 無限スクロール
• 「さらに読み込む」ボタン
• ドロップダウンフィルター
• タブ
• ポップアップ
• JavaScriptで描画されるコンテンツ
• ログインウォール
• リスト項目のクリック後に開く詳細ページ

このようなページでは、待機、スクロールアクション、クリック、ページネーション手順が必要になる場合があります。

​

ベストプラクティス

• フィールドを選択する前に、ページが完全に読み込まれるまで待ちます。
• 手動でページを移動する場合はブラウズモードを使い、その後選択モードに戻します。
• コンテンツの読み込みが遅い場合は待機ステップを追加します。
• フル実行の前に少量のサンプルでテストします。
• Webサイトのレイアウトが変わった場合は、フィールド選択を確認し直します。
• 実行中にタスクの挙動が異なる場合は、ログを確認します。