対応できるシナリオ
乱れた値をクリーニングする
エクスポート前に、テキストの削除、置換、トリミング、再フォーマットを行います。
値の一部を抽出する
マッチングルールや正規表現を使って、必要なテキストパターンだけを残します。
行ごとの値を標準化する
接頭辞を追加したり、繰り返しテキストを削除したり、行ごとにばらつく値を正規化します。
日付とタイムスタンプを整形する
日付形式、相対日付、Unixタイムスタンプ、タイムゾーンオフセットを一貫した形式に変換します。
Price:やRating:のようなラベルを削除する- 不要な文字や余分な空白を置換する
- 各値に接頭辞または接尾辞を追加する
- 日付を再フォーマットする、またはタイムゾーンを変換する
- HTMLエンティティをプレーンテキストに変換する
Clean Dataを開く
1
フィールドを選択する
データプレビューまたはフィールド一覧で、クリーニングしたい抽出フィールドを選択します。
2
フィールドメニューを開く
対象フィールドの
...メニューをクリックします。3
Clean Dataを選択する
Clean Dataを選択して、データクリーニングのワークフローを開きます。
4
クリーニングステップを追加する
Add Stepをクリックし、適用したい操作を選びます。
5
結果をプレビューする
ルールを保存する前に、プレビュー値を確認します。
一般的な整形操作
RegExでパターンベースのクリーニングを行う
正規表現は、値に一定のパターンがあるものの、単純な置換やトリミングだけでは安定して処理できない場合に役立ちます。- 文中に含まれる数値や価格を抽出する
- 既知の区切り文字（例：
:,|,-）の前後のテキストを取得する - HTML属性値の一部だけを残す
- 行ごとに異なる形で繰り返されるパターンを削除する
- ページごとに少し変化する値から部分文字列を切り出す
パターンと構文の一覧は、ヘルプセンターのRegEx Cheatsheet for Data Extractionを参照してください。
例：属性から値を抽出する
一部のWebサイトでは、役立つデータが表示テキストではなく属性に保存されています。たとえば、評価がalt="5 stars"のような画像属性や、srcの値に保存されていることがあります。
1
要素を選択する
評価アイコンやテキストブロックなど、必要な値を含む要素を選択します。
2
ソース値を選択する
値が保存されている場所に応じて、Image URL、OuterHTML、Other Attributesなどを選択します。
3
フィールドをカスタマイズする
フィールドメニューを開き、Customize FieldまたはClean Dataを選択します。
4
対象値を抽出する
関連する属性を選択するか、RegExを使って残したいHTML部分に一致させます。
5
保存前にプレビューする
タスクを実行する前に、プレビューで期待どおりの値が表示されていることを確認します。
フィールド整形の制限
整形ルールは、Octoparseがすでに抽出した値をクリーニングします。Webページの構造そのものは変更しません。 たとえば、複数行に見えるテキストブロックでも、ページソース上では1つの要素として保存されている場合があります。この場合、見た目の改行だけで別々のフィールドに分割できないことがあります。データが実際にどのように保存されているかに応じて、ソース構造を確認し、フィールド選択、抽出設定、RegExクリーニングを使い分けます。ベストプラクティス
- 正しい要素が選択されていることを確認してからフィールドを整形します。
- RegExを使う前に、単純なクリーニングステップを試します。
- 各ステップを保存する前にプレビューします。
- エクスポート後のデータが理解しやすいよう、フィールド名を明確にします。
- 後続システムで整形できる場合は、過度なクリーニングを避けます。
- 複雑なRegExパターンは、チームメンバーが保守できるよう記録しておきます。