メインコンテンツへスキップ
Octoparseのタスクは、自分のPC上でローカル実行することも、クラウド上で実行することもできます。どちらのモードも作成したタスクワークフローを使用しますが、実行場所、継続実行のしやすさ、スケジュール実行や無人抽出への適性が異なります。 テストやデバッグにはローカル抽出を使用します。PCを起動したままにせずタスクを実行したい場合は、クラウド抽出を使用します。

比較

項目ローカル抽出クラウド抽出
実行場所自分のPCOctoparseのクラウドノード
適した用途テスト、デバッグ、小規模実行、特定環境に依存するタスクスケジュール実行、無人実行、定期実行、大規模実行
PCの必要性必要。タスクは自分のデバイスに依存します不要。PCをオフにしてもタスクを継続できます
ブラウザ/セッション依存ローカル環境を使用しますクラウド実行環境を使用します
スケジュールローカルデバイスの稼働状況に制限されますスケジュール実行により適しています
トラブルシューティング画面を見ながら直接確認、デバッグしやすいログとクラウド実行履歴を確認する必要があります

ローカル抽出を使う場合

ローカル抽出は、次のような場合に使用します。
  • 大規模に実行する前に新しいタスクをテストしたい
  • ワークフローの動作をステップごとに確認したい
  • 要素選択、ページネーション、ログイン、ページ読み込みの問題をデバッグしたい
  • ローカルのブラウジングセッションやネットワーク条件を使用したい
  • 小規模な単発抽出を実行したい
ローカル抽出は、タスクを作成または編集するときの最初の確認手段として適しています。

クラウド抽出を使う場合

クラウド抽出は、次のような場合に使用します。
  • PCを起動したままにせずタスクを実行したい
  • 定期収集をスケジュールしたい
  • より大きなデータセットを収集したい
  • タスクを無人で実行したい
  • ローカルデバイスへの依存を減らしたい
  • 抽出中にローカルIPアドレスを使いたくない
  • データを下流のエクスポート先へ自動送信したい
クラウド抽出は、タスクをテストした後の本番ワークフローに適しています。

一般的な流れ

1

ローカルでタスクを作成する

ワークフローを作成し、フィールドを選択し、アクションを設定して、データを整形します。
2

ローカルでテスト実行する

タスクが正しいレコードを抽出し、ページネーションや詳細ページを適切に処理できるか確認します。
3

クラウド抽出に切り替える

タスクが安定し、スケジュール実行や大規模実行が必要になったら、クラウド抽出を使用します。
4

クラウド結果を監視する

タスク実行後に、実行ステータス、ログ、エクスポート済みデータを確認します。

クラウド実行前に確認すること

タスクをクラウドへ移行する前に、次の点を確認します。
  • タスクがローカル専用セッションに依存していない
  • ログインやCookieが必要な場合、正しく設定されている
  • サンプル実行でページネーションとスクロールが動作している
  • Webサイトがクラウド環境で正しく読み込める
  • エクスポート設定が完了している
  • 使用したい実行モードにタスクが対応している
ローカルで動作するタスクでも、クラウドで安定実行する前に調整が必要な場合があります。特に、対象Webサイトがログインセッション、地域によって変わるコンテンツ、アンチボットチェック、動的読み込みを使用している場合は注意してください。

関連ページ

通常モードと高速モード

クラウド実行モードの速度と同時実行性を比較します。

ログとイベント追跡

タスクステータスの確認方法と、失敗した実行のトラブルシューティング方法を確認します。