よく使うデータソース
たとえばRAG用途なら、対象ドメインの記事とドキュメントを集め、本文をチャンク化してメタデータとともに保存します。感情分析モデルなら、レビュー本文とスコアをラベル付きデータとして収集します。
フィールド・データ設計
学習データは、本文だけでなく由来と文脈を残すことが重要です。 学習・RAGで残すフィールド：- 本文（クリーニング済みのテキスト）
- タイトル、見出し、セクション構造
- 公開日・更新日
- カテゴリ、タグ、言語
- source URL（出典）
- 取得日時
- ライセンス・利用規約の情報（再利用可否）
- コンテンツの権威性シグナル（ドメイン、著者）
- 重複判定用のハッシュや正規化済みテキスト
- 収集条件（クエリ、対象範囲、サンプリング）
収集フロー
- 目的のモデル・タスクに合うデータソースを選ぶ
- 対象ページを発見する（検索、カテゴリ、サイトマップ、一覧ページ）
- 本文とメタデータを抽出する（ナビゲーション、広告、重複要素を除く）
- テキストを正規化・クリーニングする（HTMLタグ除去、空白整形、文字コード統一）
- 重複を排除する（URL、正規化テキスト、ハッシュで判定）
- 品質でフィルタする（短すぎる、言語不一致、ボイラープレートを除外）
- 学習用フォーマットに整形する（JSONL、チャンク＋メタデータなど）
品質とコンプライアンス
AI・LLM向けのデータ収集は、品質とライセンスの両方を設計する必要があります。- 著作権・利用規約：本文の再利用可否は、取得できることとは別問題です。ライセンスと各サイトの利用規約を確認します。
- robots.txt：対象URL単位でクロール可否を確認します。
- 個人情報：氏名、連絡先、その他の個人情報は最小限にし、不要なら収集・保存しません。
- データ由来の記録：source URLと取得日時を残し、後からライセンス確認やopt-out対応ができるようにします。
- 品質：ボイラープレート、重複、機械翻訳のノイズ、有害コンテンツを学習データから除外します。
OctoparseとMCPでの収集
Octoparseはヘッド付きの実ブラウザでページを描画するため、JavaScriptで動的に生成されるテキストも取得できます。発見（一覧・検索）と抽出（本文・メタデータ）を分けたワークフローを視覚的に構築し、クラウドで定期実行することで、学習データを継続的に更新できます。 AIエージェントから直接データを収集する場合は、Octoparse MCP Serverを利用します。MCP対応のAIクライアントが、自然言語でテンプレート検索・タスク実行・データ取得を行えます。汎用的なコンテンツ抽出には、Webコンテンツの汎用スクレイパーテンプレートが使えます。関連リソース
- AIエージェントからデータ収集を実行する（MCP Server） — MCP対応クライアントからOctoparseのデータをAIが直接収集する
- JavaScriptで描画されるページのスクレイピング — 動的コンテンツの取得アプローチ
- ページネーションの扱い方 — 大量ページを網羅する
- 抽出データの整形とクリーニング — 学習用にテキストを正規化する
- Webスクレイピングは合法か — 収集の合法性と利用範囲