よくあるブロックシグナル
Webサイトは、次のようなシグナルに基づいて抽出タスクをブロックしたり、追加確認を表示したりすることがあります。- 短時間に多すぎるリクエスト
- 同じIPアドレスからの繰り返しアクセス
- ブラウザフィンガープリントの欠落または不自然さ
- ログインまたはCookieの不整合
- CAPTCHAチャレンジ
- 地域またはロケーションの不一致
- 不自然なナビゲーション挙動
- 実行中のセッション期限切れ
よくある症状
ブロック対策オプション
プロキシ設定
IPアドレス、地域、リクエスト頻度に敏感なWebサイトでプロキシを使用します。
ブラウザフィンガープリント
ブラウザシグナルがWebサイトの検出にどのように影響するかを理解します。
CAPTCHA対応
タスク作成中または実行中にWebサイトがCAPTCHAを表示した場合の対応を確認します。
自動ログインとCookie
ログインやセッションに依存するタスクを、ログインとCookieワークフローで安定させます。
推奨トラブルシューティングフロー
1
ローカルテストを実行する
内蔵ブラウザでタスクを確認し、ブロックや失敗が発生する箇所を特定します。
2
ログインまたはCookieが必要か確認する
サイトでアカウントが必要な場合は、タスク実行前にセッションが有効であることを確認します。
3
ワークフローを遅くする
待機を追加し、実行頻度を下げ、不要な繰り返し操作を避けます。
4
プロキシやロケーション要件を確認する
コンテンツが地域やIP評価に依存する場合は、必要に応じてプロキシ設定を行います。
5
ローカルとクラウドの挙動を比較する
ローカルでは動作するがクラウドで失敗する場合は、クラウド実行ログとサイトの挙動を確認します。
ベストプラクティス
- 大規模実行の前に、小さなサンプルでテストします。
- 必要以上に高い頻度でタスクを実行しないようにします。
- 動的ページや読み込みが遅いページには待機ステップを追加します。
- ログインセッションとCookieを最新状態に保ちます。
- タスク設定を変更した後は、実行ログを監視します。
- Webサイトの利用規約、robotsルール、適用される法令を尊重します。