> ## Documentation Index
> Fetch the complete documentation index at: https://www.octoparse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# AI・LLM向けのデータ収集

> AI・LLMの学習やRAGに使うデータを、Webスクレイピングで収集する方法。データソースの選び方、残すべきフィールド、収集フロー、品質とライセンス・コンプライアンスの設計をまとめた実践ガイド。

AI・LLMの学習、ファインチューニング、RAG（検索拡張生成）には、大量かつ用途に合った学習データが必要です。Webスクレイピングは、公開Web上のテキスト・構造化データ・レビュー・専門情報を、モデルが使える形で継続的に集める手段になります。

重要なのは、ページを大量に取ることではありません。どのソースが目的のモデルに適切か、どのフィールドを残すか、どう正規化・重複排除するか、ライセンスや利用規約・個人情報の観点で問題がないかを設計することです。

## よく使うデータソース

| ソース                      | 向いている用途          | 主なフィールド                    |
| ------------------------ | ---------------- | -------------------------- |
| Web全般テキスト（記事・ブログ・ドキュメント） | 汎用言語モデルの事前学習・RAG | 本文、タイトル、見出し、公開日、source URL |
| 専門ドメイン（技術文書・法令・医療情報など）   | ドメイン特化モデル・専門RAG  | 本文、カテゴリ、出典、更新日、権威性シグナル     |
| レビュー・口コミ                 | 感情分析・評価モデル・意見要約  | レビュー本文、スコア、日付、対象、言語        |
| Q\&A・フォーラム               | 対話・指示チューニング      | 質問、回答、投票数、タグ、スレッド構造        |
| 構造化データ（表・カタログ・一覧）        | 抽出・分類タスク、ツール連携   | フィールド名と値のペア、単位、カテゴリ        |

たとえばRAG用途なら、対象ドメインの記事とドキュメントを集め、本文をチャンク化してメタデータとともに保存します。感情分析モデルなら、レビュー本文とスコアをラベル付きデータとして収集します。

## フィールド・データ設計

学習データは、本文だけでなく由来と文脈を残すことが重要です。

学習・RAGで残すフィールド：

* 本文（クリーニング済みのテキスト）
* タイトル、見出し、セクション構造
* 公開日・更新日
* カテゴリ、タグ、言語
* source URL（出典）
* 取得日時

品質・トレーサビリティで残すフィールド：

* ライセンス・利用規約の情報（再利用可否）
* コンテンツの権威性シグナル（ドメイン、著者）
* 重複判定用のハッシュや正規化済みテキスト
* 収集条件（クエリ、対象範囲、サンプリング）

<Tip>
  すべての行にsource URLと取得日時を残します。学習データの由来を追跡でき、後からライセンス確認、重複排除、opt-out対応、データセットの更新ができるようになります。
</Tip>

## 収集フロー

1. 目的のモデル・タスクに合うデータソースを選ぶ
2. 対象ページを発見する（検索、カテゴリ、サイトマップ、一覧ページ）
3. 本文とメタデータを抽出する（ナビゲーション、広告、重複要素を除く）
4. テキストを正規化・クリーニングする（HTMLタグ除去、空白整形、文字コード統一）
5. 重複を排除する（URL、正規化テキスト、ハッシュで判定）
6. 品質でフィルタする（短すぎる、言語不一致、ボイラープレートを除外）
7. 学習用フォーマットに整形する（JSONL、チャンク＋メタデータなど）

発見と抽出を分けると、大量ページを並列に処理しやすくなります。

## 品質とコンプライアンス

AI・LLM向けのデータ収集は、品質とライセンスの両方を設計する必要があります。

* **著作権・利用規約**：本文の再利用可否は、取得できることとは別問題です。ライセンスと各サイトの利用規約を確認します。
* **robots.txt**：対象URL単位でクロール可否を確認します。
* **個人情報**：氏名、連絡先、その他の個人情報は最小限にし、不要なら収集・保存しません。
* **データ由来の記録**：source URLと取得日時を残し、後からライセンス確認やopt-out対応ができるようにします。
* **品質**：ボイラープレート、重複、機械翻訳のノイズ、有害コンテンツを学習データから除外します。

<Warning>
  公開されていること、取得できることは、学習データとして再利用してよいことを意味しません。特に著作物性の高い本文や個人情報を含むデータは、ライセンスと法令を確認したうえで扱ってください。本記事は一般的な整理であり、法的助言ではありません。
</Warning>

## OctoparseとMCPでの収集

Octoparseはヘッド付きの実ブラウザでページを描画するため、JavaScriptで動的に生成されるテキストも取得できます。発見（一覧・検索）と抽出（本文・メタデータ）を分けたワークフローを視覚的に構築し、クラウドで定期実行することで、学習データを継続的に更新できます。

AIエージェントから直接データを収集する場合は、[Octoparse MCP Server](/docs/jp/mcp)を利用します。MCP対応のAIクライアントが、自然言語でテンプレート検索・タスク実行・データ取得を行えます。汎用的なコンテンツ抽出には、[Webコンテンツの汎用スクレイパーテンプレート](https://www.octoparse.jp/template/universal-content)が使えます。

## 関連リソース

* [AIエージェントからデータ収集を実行する（MCP Server）](/docs/jp/mcp) — MCP対応クライアントからOctoparseのデータをAIが直接収集する
* [JavaScriptで描画されるページのスクレイピング](/docs/jp/academy/scrape-javascript-pages) — 動的コンテンツの取得アプローチ
* [ページネーションの扱い方](/docs/jp/academy/handle-pagination) — 大量ページを網羅する
* [抽出データの整形とクリーニング](/docs/jp/platform/refine-data) — 学習用にテキストを正規化する
* [Webスクレイピングは合法か](/docs/jp/academy/is-web-scraping-legal) — 収集の合法性と利用範囲