タスク
タスクは再利用可能な抽出ワークフローです。対象Webサイト、Octoparseが実行する手順、抽出するフィールド、実行・エクスポート設定を含みます。 タスクには次のような内容を含められます。- 1つ以上のURLを開く
- ボタンやリンクをクリックする
- リストをループする
- ページネーションに対応する
- 詳細ページを開く
- フィールドを抽出する
- フィールド値をクリーニングする
- ローカルまたはクラウドで実行する
テンプレート
テンプレートは、よく使われるWebサイトやユースケース向けの事前構築済みタスクです。抽出ワークフローとフィールドがあらかじめ設定されているため、より早く開始できます。 次のような場合にテンプレートを使用します。- 対象Webサイトに対応するテンプレートがある
- より早くセットアップしたい
- 一般的なデータタイプに標準的な構造を使いたい
- 大幅なカスタマイズが不要である
ワークフローアクション
ワークフローアクションは、OctoparseがWebサイト内をどのように移動するかを定義します。 一般的なアクションは次のとおりです。| アクション | 内容 |
|---|---|
| Webページを開く | 対象URLを読み込む |
| アイテムをクリック | ボタン、リンク、メニュー項目、ページ要素をクリックする |
| ループアイテム | 複数の項目に同じ操作を繰り返す |
| ページネーション | 複数の結果ページを移動する |
| スクロール | 無限スクロールや遅延読み込みのページで追加コンテンツを読み込む |
| 待機 | 動的コンテンツの読み込み時間を確保する |
| データを収集 | 選択した要素から値を取得する |
フィールド
フィールドは抽出データの列です。例として、商品名、価格、評価、URL、日付、会社名、住所、レビュー本文などがあります。 エクスポートデータを理解しやすくするため、フィールド名は明確に付ける必要があります。 よいフィールド名は具体的です。| 分かりにくい名前 | よい名前 |
|---|---|
| テキスト1 | 商品名 |
| フィールド2 | 価格 |
| リンク | 商品URL |
| 日付 | レビュー日 |
実行
実行とは、タスクを1回動かすことです。同じタスクを何度も実行して、更新された結果を取得できます。 実行は、設定、プラン、ワークフローの要件に応じて、ローカルまたはクラウドで行えます。エクスポート
エクスポートは、抽出データをOctoparseの外へ送って別の場所で利用できるようにする操作です。 エクスポートは手動または自動で行うことができ、ファイル、スプレッドシート、データベース、クラウドストレージ、接続アプリに出力できます。全体の関係
タスクを作成または選択する
テンプレート、自動検出、またはカスタムワークフローから始めます。