Intégration Amazon S3

Chargez directement les données collectées dans un compartiment Amazon S3. Plusieurs formats de fichiers sont pris en charge.

Prérequis

Offre Professionnelle Octoparse ou supérieure
Compte AWS dans lequel le compartiment S3 cible existe déjà
Utilisateur IAM disposant de l’autorisation s3:PutObject sur le compartiment cible

Configurer les autorisations IAM

Octoparse écrit dans S3 avec une clé d’accès. Créez un utilisateur IAM dédié et accordez-lui uniquement les autorisations minimales nécessaires. Exemple de politique avec autorisations minimales :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject"],
      "Resource": "arn:aws:s3:::your-bucket-name/*"
    }
  ]
}

Après avoir créé l’utilisateur IAM, générez une clé d’accès dans Informations d’identification de sécurité, puis enregistrez l’identifiant et la clé d’accès secrète.

Configurer l’export

Renseignez les paramètres dans l’ordre suivant : Nom de la configuration Donnez un nom à la configuration afin de pouvoir la réutiliser. La liste déroulante permet de choisir une configuration existante ou de saisir un nouveau nom pour en créer une. Détails de connexion

Champ	Description
Authentification	Méthode d’authentification ; seule la clé d’accès est actuellement disponible
Identifiant de clé d’accès	Identifiant de la clé d’accès de l’utilisateur IAM
Clé d’accès secrète	Clé d’accès secrète de l’utilisateur IAM
Région du service	Région AWS à choisir dans la liste déroulante
Compartiment	Nom du compartiment cible

Sécurité : la clé d’accès autorise l’écriture dans le compartiment cible. Ne la partagez pas, ne l’ajoutez pas à un dépôt de code et renouvelez-la régulièrement.

Exporter les données au format Choisissez le format du fichier chargé : Excel, CSV, HTML, JSON ou XML. Paramètres de nommage des fichiers

Option	Description
Identique au nom de la tâche	Le fichier porte le nom de la tâche ; les exports répétés l’écrasent
Ajouter l’horodatage actuel au nom de la tâche	Chaque export crée un fichier et conserve ainsi l’historique
Utiliser un nom personnalisé	Définissez manuellement le nom du fichier

Lorsqu’un fichier du même nom existe déjà

Option	Description
Créer un fichier avec l’horodatage actuel	Conserve l’original et ajoute un suffixe horodaté au nouveau fichier
Remplacer le fichier existant	Écrase le fichier d’origine
Ajouter les nouvelles données au fichier existant	Ajoute les données au fichier existant (CSV et Excel uniquement)

Cliquez sur Confirmer pour enregistrer la configuration et démarrer l’export.

Erreurs courantes

Erreur	Cause	Solution
`InvalidKeySecret`	Identifiant ou clé d’accès secrète incorrects	Vérifiez de nouveau les identifiants
`NoSuchBucket`	Nom de compartiment incorrect ou compartiment inexistant	Vérifiez le nom du compartiment
`PermissionDenied`	Autorisations IAM insuffisantes	Vérifiez que la politique IAM inclut `s3:PutObject`
`IllegalLocation`	La région du compartiment ne correspond pas à la région du service	Sélectionnez la région réelle du compartiment
`FormatError`	Configuration incorrecte	Vérifiez que tous les champs sont renseignés

BIEN DÉMARRER

SOLUTIONS

TÂCHES

EXÉCUTION DES TÂCHES

SURVEILLANCE

EXPORT DE DONNÉES

ANTI-BLOCAGE

ÉQUIPE ET GOUVERNANCE

Prérequis

Configurer les autorisations IAM

Configurer l’export

Erreurs courantes

​Prérequis

​Configurer les autorisations IAM

​Configurer l’export

​Erreurs courantes

Prérequis

Configurer les autorisations IAM

Configurer l’export

Erreurs courantes