Amazon S3連携

スクレイピングデータをAmazon S3バケットへ直接アップロードできます。複数のファイル形式に対応しています。

前提条件

Octoparseのプロフェッショナルプラン以上
対象S3バケットを作成済みのAWSアカウント
対象バケットに対するs3:PutObject権限を持つIAMユーザー

IAM権限を設定する

OctoparseはAccess Keyを使ってS3へ書き込みます。専用のIAMユーザーを作成し、必要最小限の権限のみを付与してください。最小権限ポリシーの例：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject"],
      "Resource": "arn:aws:s3:::your-bucket-name/*"
    }
  ]
}

IAMユーザーを作成したら、Security credentialsでAccess Keyを生成し、Access Key IDとSecret Access Keyを保存します。

エクスポートを設定する

次の順序でエクスポート設定を入力します。 設定名 後で再利用できるよう、設定に名前を付けます。ドロップダウンから既存の設定を選択するか、新しい名前を入力して作成できます。 接続情報

フィールド	説明
Authentication	認証方式。現在はAccess keyのみ対応
Access key ID	IAMユーザーのAccess Key ID
Secret access key	IAMユーザーのSecret Access Key
Service area	AWSリージョン。ドロップダウンから選択します
Bucket	対象バケット名

セキュリティ: Access Keyには対象バケットへの書き込み権限があります。共有したりコードリポジトリにコミットしたりせず、定期的にローテーションしてください。

Export data as アップロードするファイル形式を選択します。Excel、CSV、HTML、JSON、XMLに対応しています。 ファイル名設定

オプション	説明
Same as task name	ファイル名をタスク名と同じにします。繰り返しエクスポートすると上書きされます
Append current timestamp to task name	各エクスポートで新しいファイルを作成し、履歴を保持します
Use a custom name	ファイル名を手動で指定します

同じ名前のファイルがすでに存在する場合

オプション	説明
Create a new file with current timestamp	元ファイルを保持し、新しいファイルにタイムスタンプサフィックスを付けます
Replace the existing file	元ファイルを上書きします
Append new data to the existing file	既存ファイルに新しいデータを追記します（CSV/Excelのみ）

Confirmをクリックして設定を保存し、エクスポートを開始します。

よくあるエラー

エラー	原因	修正方法
`InvalidKeySecret`	Access Key IDまたはSecret Access Keyが誤っている	認証情報を再確認します
`NoSuchBucket`	バケット名が誤っている、または存在しない	バケット名を確認します
`PermissionDenied`	IAM権限が不足している	IAMポリシーに`s3:PutObject`が含まれているか確認します
`IllegalLocation`	バケットリージョンとService areaが一致していない	バケットの実際のリージョンを選択します
`FormatError`	設定形式が不正	すべてのフィールドが入力されているか確認します

はじめに

ソリューション

タスク

タスク実行

モニタリング

データエクスポート

ブロック対策

チームとガバナンス

前提条件

IAM権限を設定する

エクスポートを設定する

よくあるエラー

​前提条件

​IAM権限を設定する

​エクスポートを設定する

​よくあるエラー

前提条件

IAM権限を設定する

エクスポートを設定する

よくあるエラー