ローカル抽出

ローカル抽出は、Octoparseのタスクを自分のコンピューターで実行します。対象サイトをローカル環境から開いて処理し、収集したデータはデバイスに直接保存され、実行中にワークフローを見守り、出力を確認し、介入できます。 ローカル抽出は無料で利用できます。 テスト、少量の収集、そして無人での規模よりも実行環境やデータの保存場所のコントロールが重要なワークフローに適した選択肢です。

クラウド抽出のリソースを消費せずにデータを収集したい場合は、ローカル抽出を選びます。24時間365日の運用、大規模な収集、コンピューターとは独立して継続する必要がある実行には、クラウド抽出を使用します。

ローカルで実行する理由

無料でローカル収集する

クラウド抽出の容量に課金することなく、タスクをローカルで構築・テスト・実行できます。そのため、ローカル抽出は次の用途に適しています。

Octoparseの学習と評価
新しいタスクの構築とデバッグ
一度きり、または少量のデータ収集
クラウド規模が不要な、たまに実行するタスク

処理能力、メモリ、ストレージ、電力、ネットワーク接続は自分のコンピューターが提供します。クラウド抽出の料金がかからないことは、そのローカル環境を維持する運用コストをなくすわけではありません。

直接的なコントロールと可視性

ローカル実行は、タスク構築の操作感に近いままです。ページのナビゲーションと抽出をその場で観察し、ブラウザとデータプレビューを見比べ、実行を一時停止・停止し、セレクター・待機条件・ログイン・ページ操作が想定外の動きをしたときにタスクを調整できます。そのため、ローカル抽出は特に次の場面で役立ちます。

新しい、または最近変更したワークフローのテスト
サイト固有の挙動の診断
欠落・誤り・重複した値の確認
ログイン、ページネーション、スクロール、詳細ページ操作の検証
直接監視のもとでの、小規模で一度きりの収集

ローカル環境を使う

リクエストは、Octoparseが動作しているネットワーク環境から発信されます。そのためタスクは、ローカルIPアドレス、地域からのアクセス、認証済みのブラウジングセッション、組織のネットワーク経由で利用できるアクセスなど、その環境に紐づく条件を利用できます。これは、ブラウザでは動くのにクラウドノードでは挙動が異なるタスクで役立ちます。デバイス環境のコントロールもより多く保持でき、承認済みの補助ソフトウェア、ネットワークツール、システム設定を、自分のワークフローや組織の要件に合わせて管理できます。その柔軟性には責任が伴います。ローカルの結果は、マシン、ネットワーク、ブラウザセッション、インストール済みソフトウェア、システム構成に依存します。環境の変化はタスクの挙動に影響することがあります。

実行中のデータをデバイスに保つ

ローカル抽出では、タスクの実行と収集データは主にローカルデバイスで処理されます。これにより、抽出データの保存場所をより直接的にコントロールでき、データをユーザー管理の環境に留めることを求めるポリシーにも対応しやすくなります。正確なデータの取り扱いは、タスク、アカウント、エクスポート先、有効にしているサービスによって異なります。ローカル実行それ自体が、プライバシーやコンプライアンスを保証するわけではありません。データの経路全体を考慮してください。

対象サイトは、依然としてあなたのネットワークからリクエストを受け取ります。
サインイン、タスク設定の同期、作業の共有、オンラインエクスポートの利用は、関連情報を該当サービスに送信することがあります。
エクスポートしたデータは、その保存先のセキュリティとアクセス制御の対象となります。
コンピューターやローカル出力にアクセスできる人は、収集データにアクセスできる可能性があります。

データ取り扱いの要件が厳しい場合は、タスク、アカウント、エクスポート先、デバイスの管理、組織のポリシーをまとめて確認してください。

認証情報とセッションをコントロールする

ローカル抽出は、デスクトップ環境で確立したセッションに依存するサイトで役立ちます。そのブラウジング状態を別のクラウド環境で再現する必要を減らせる場合があります。ログイン認証情報とCookieは機密情報として扱ってください。承認済みのアカウントを使い、デバイスを保護し、タスクファイルと出力へのアクセスを制限し、アクセスを許可された範囲を超えるデータを収集しないようにします。

チェックポイント再開で中断した作業を復旧する

ローカル抽出の主な運用上のトレードオフは、デバイス依存です。実行は、コンピューター、Octoparseクライアント、電力、ネットワーク接続に依存します。Octoparse 10.2は、チェックポイント再開によって中断のコストを減らします。対応するインタラクティブなローカル実行では、Octoparseは出力行数、ループ位置、未完了の作業といった抽出の進行状況を記録します。実行が完了前に停止した場合、タスクを再度開始すると次の2つの選択肢が示されることがあります。

Resume：保存された実行を復元し、残りのデータに向けて続行します。
Re-collect：チェックポイントを破棄し、最初から開始します。

Octoparseは、使用する前にチェックポイントを現在のタスクと照合して検証します。タスクや入力URLが変わった、チェックポイントが存在しないか破損している、または保存された状態を安全に一致させられない場合、タスクは最初から開始する必要があります。スケジュールされたローカル実行も、再開の判断を待たず最初から開始します。チェックポイント再開は、長いローカル収集をより実用的にしますが、デバイスを利用可能に保つ必要や、中断後に最終データセットを検証する必要をなくすものではありません。