仕組み
通常モード
通常モードでは、タスク全体が分割されず、1つのクラウドノード上で実行されます。すべてのデータレコードは、その1つのノードによって順番に収集されます。ワークフローはシンプルで予測しやすくなりますが、Webサイトのエラーやタイムアウトなどで実行が中断された場合、タスクは最初から再開する必要があります。大規模なデータセットでは、1つのノードで長時間実行することで、途中失敗のリスクも高くなります。 通常モードは、小規模なデータセット、テスト実行、または対象サイトが同時に1つのログインセッションしか許可しない場合に適しています。高速モード
高速モードでは、タスクが複数のサブタスクに自動的に分割されます。各サブタスクは1つのクラウドノードに割り当てられ、全体データの一部のみを収集します。サブタスクの数は、具体的なタスク設定によって異なります。 この並列実行には、次のような利点があります。- 完了までの時間を短縮 — サブタスクが同時に実行されるため、全体の実行時間を大幅に短縮できます。
- データ損失リスクを低減 — 各サブタスクが扱うデータ量は少ないため、途中で失敗しても影響を受けるレコードが少なくなります。
- 個別復旧が可能 — 1つのサブタスクが失敗しても、そのサブタスクだけを再実行でき、他のサブタスクに影響したり全体を再実行したりする必要がありません。
比較
通常モードを使う場合
次のような場合は通常モードを使用します。- 通常のスケジュールタスクを実行する
- 速度が主な制約ではない
- 安定した標準のクラウド実行モードを使いたい
- データセットのサイズが中程度である
- まだタスクの信頼性を検証している
- 対象Webサイトが同時に1つのアクティブセッションしか許可しない
高速モードを使う場合
次のような場合は高速モードを使用します。- より速く抽出したい
- タスクが大きなデータセットを収集する
- タスクが高い並列性でも安全に実行できる
- ワークフローをすでにテスト済みである
- 利用中のプランがこのモードに対応している
高速モードを使う前に確認すること
タスクを高速モードに切り替える前に、次の点を確認してください。- 対象Webサイトがより速いリクエストや高いアクティビティに耐えられる
- ページネーションや詳細ページのワークフローが安定している
- アンチボットやレート制限の問題が増えない
- 出力品質が一貫している
- 必要なクラウドリソースを利用中のプランがサポートしている
推奨フロー
1
まずローカルで実行する
タスクが正しいフィールドとページ遷移を取得できることを確認します。
2
通常モードで実行する
クラウド環境でタスクが正常に動作することを検証します。
3
必要な場合に高速モードを試す
タスクが安定し、速度が実際の要件になっている場合にのみ高速モードを使用します。
4
出力を比較する
モード切り替え後に、レコード件数、欠損フィールド、重複、エラーを確認します。