チェックポイント再開

チェックポイント再開を使うと、中断したローカル抽出を、最初から全体を再収集するのではなく、保存された進行状況から続行できます。 Octoparse 10.2で導入されたこの機能は、長時間かかるローカルタスク向けに設計されています。こうしたタスクでは、やり直すと多くのページを再訪し、完了済みのループを繰り返し、すでに収集したデータを再び待つことになりかねません。

​

保存される内容

対応するローカルタスクの実行中、Octoparseは抽出がどこで止まったかを再構築できるだけの進行状況を記録します。ワークフローに応じて、保存されるチェックポイントには次の情報が含まれます。

• すでに出力した行数
• URL・テキスト・アイテム・スクロールの各ループにおける現在位置
• ループ内の残りのアイテム
• 保存された地点に到達するために必要なワークフロー位置とページ
• Boostモード実行における個々のサブタスクの進行状況

現在の実行ですでに保存されている抽出データは維持されます。タスクを再開すると、Octoparseはその実行を復元し、残りのデータの収集を続けます。

​

再開したときに起こること

たとえば、5,000件の商品ページを収集するローカルタスクが、3,200行を出力した時点で停止したとします。 タスクを再度開くか開始すると、Octoparseは保存されたチェックポイントが現在のタスクのものであり、まだ利用できるかを確認します。有効であれば、実行画面に記録された進行状況が表示され、次の2つの選択肢が示されます。

• Resume：前回の実行を復元し、保存されたワークフロー位置に戻り、残りの作業を続けます。
• Re-collect：チェックポイントを破棄し、最初から新しい実行を開始します。

再開は、必ずしも最後のURLを開いてすぐ次の行を抽出することを意味しません。ワークフローによっては、保存された位置に安全に到達するために、ナビゲーションやループ状態の一部を再生する必要があります。この再生の間、Octoparseは記録した進行状況を使って完了済みの作業をスキップし、再生された出力を新しいデータとして扱わないようにします。保存された位置に一致すると、通常の抽出が続きます。 Boostモードでは、Octoparseはサブタスク単位でも進行状況を復元します。完了済みのサブタスクはスキップされ、一時停止・停止・失敗・未完了のサブタスクは待機キューに戻されます。

​

どれだけの作業を保持できるか

効果は、実行がいつ止まったか、どれだけの作業がすでに完了していたかによって変わります。 改善が最も大きいのは、大量のURLリスト、深いページネーション、長いループ、サブタスクの多いBoostモードのタスクです。開始直後に中断された実行は、完了間際に中断された実行より、保持できる作業が少なくなります。

​

中断したローカル実行を再開する

​

チェックポイントが使えない場合

チェックポイントは、特定のタスク設定と実行を表します。Octoparseは再開前にこれを検証し、保存された進行状況が互換性のないタスクに適用されないようにします。 次の場合は再収集が必要になることがあります。

• チェックポイント作成後に、タスクまたは入力URLが変更された
• チェックポイントが存在しない、破損している、または現在のワークフローに一致しない
• 保存された進行状況が、別のローカル実行モードのものである
• 前回の実行が正常に完了し、残りの作業がない
• スケジュールされたローカル実行が開始した場合。スケジュール実行は、再開の判断を待たず、最初から開始します

検証に失敗した場合、Octoparseはチェックポイントを利用不可とし、不確かな位置から黙って続行するのではなく、最初からの実行を提示します。

​

チェックポイント再開・一時停止・再試行

これらのアクションは、それぞれ異なる問題を解決します。

​

関連ページ