ECサイトをスクレイピングする
ECサイトのスクレイピングでは、主に2種類のページを扱います。一覧ページには、複数商品のタイトル、価格、URLなどの基本情報がまとまっています。詳細ページには、仕様、説明文、画像、レビューなど、より詳しい情報があります。詳細ページだけを抽出することも、一覧ページの後に詳細ページへ遷移して両方の情報を集めることもできます。 商品一覧ページをスクレイピングする
商品詳細ページをスクレイピングする
手順ガイド:
ページネーションを処理する
多くのWebサイトでは、検索結果が複数ページに分割されています。Octoparseでは、よく使われる2つのパターンをいくつかの設定で処理できます。 「もっと見る」ボタン
無限スクロール
手順ガイド:
- 「もっと見る」ボタンによるページネーションを処理する
- クリックしないと表示されない情報をスクレイピングする
- 無限スクロールによるページネーションを処理する
- ページスクロールを設定する
- ページ内の指定エリアをスクロールする
表をスクレイピングする
表はデータを行と列で整理しています。このデモでは、カスタムタスクを使って表データを抽出する方法を紹介します。
手順ガイド: