タスク構築
Octoparseを使うと、スクレイパーのコードを書かずに抽出ワークフローを作成できます。テンプレート
よく使われるWebサイトやデータ収集シナリオ向けの事前構築済みワークフローから開始します。
自動検出
Octoparseにページデータを自動識別させ、初期ワークフローを生成します。
ノーコードビルダー
要素を選択し、アクションを視覚的に追加してカスタムワークフローを構築します。
データ整形
エクスポート前にフィールド値をクリーニング、名前変更、形式変換、部分抽出できます。
タスク実行
タスクを作成してテストしたら、ワークフローに合った環境で実行します。信頼性向上ツール
Webサイトは構造が変わったり、コンテンツを動的に読み込んだり、セッションを要求したり、自動化された操作をブロックしたりすることがあります。Octoparseには、タスクの安定性向上に役立つツールが含まれています。ブロック対策
一般的なブロックの仕組みと、Octoparseの信頼性向上オプションを理解します。
プロキシ
IPローテーションや地域指定アクセスが必要な場合にプロキシ設定を使用します。
CAPTCHA
CAPTCHAがスクレイピングタスクに与える影響と、利用できる選択肢を確認します。
自動ログインとCookie
ログイン、セッション、Cookieが必要なWebサイトに対応します。
モニタリング
モニタリングツールを使用すると、タスクが正常に実行されたかどうかや、問題が発生した箇所を把握できます。 ダッシュボード、ログ、イベント履歴で以下を確認できます。- 実行ステータス
- タスクの進捗状況
- エラーと警告
- ローカルおよびクラウドの実行履歴
- 出力の可用性
データエクスポート
Octoparseは、抽出データをファイルや接続先へエクスポートできます。 一般的な出力先は次のとおりです。- CSV、Excel、JSON、HTML、XMLファイル
- Google Sheets
- MySQL、PostgreSQL、SQL Server、Oracleなどのデータベース
- Amazon S3、Google Drive、Dropboxなどのクラウドストレージ
ガバナンスとコラボレーション
チームワークフロー向けに、Octoparseはコラボレーションとセキュリティ関連の機能を提供します。- ロールベースのアクセス制御によるサブアカウント管理
- チームメンバー間でのタスク共有と割り当て
- Webコンソールからのタスク一元監視
- アカウントセキュリティとエクスポート先の管理
利用できる機能は、Octoparseのプラン、タスクタイプ、ローカル実行かクラウド実行かによって異なる場合があります。