Amazon-S3-Integration

Laden Sie gescrapte Daten direkt in einen Amazon-S3-Bucket hoch. Mehrere Dateiformate werden unterstützt.

Voraussetzungen

Octoparse Professional-Plan oder höher
Ein AWS-Konto, in dem der Ziel-S3-Bucket bereits erstellt wurde
Ein IAM-Benutzer mit der Berechtigung s3:PutObject für den Ziel-Bucket

IAM-Berechtigungen konfigurieren

Octoparse verwendet einen Access Key, um in S3 zu schreiben. Erstellen Sie einen eigenen IAM-Benutzer und gewähren Sie nur die mindestens erforderlichen Berechtigungen. Beispiel für eine Richtlinie mit minimalen Berechtigungen:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject"],
      "Resource": "arn:aws:s3:::your-bucket-name/*"
    }
  ]
}

Erstellen Sie nach dem IAM-Benutzer unter Security credentials einen Access Key und speichern Sie die Access Key ID und den Secret Access Key.

Export konfigurieren

Füllen Sie die Exporteinstellungen in der folgenden Reihenfolge aus: Konfigurationsname Geben Sie der Konfiguration einen Namen, damit Sie sie später wiederverwenden können. Im Dropdown-Menü können Sie eine vorhandene Konfiguration auswählen oder einen neuen Namen eingeben, um eine zu erstellen. Verbindungsdetails

Feld	Beschreibung
Authentifizierung	Authentifizierungsmethode – derzeit nur Access Key
Access Key ID	Access Key ID des IAM-Benutzers
Secret Access Key	Secret Access Key des IAM-Benutzers
Servicebereich	AWS-Region (im Dropdown-Menü auswählen)
Bucket	Name des Ziel-Buckets

Sicherheit: Der Access Key besitzt Schreibberechtigung für den Ziel-Bucket. Geben Sie ihn nicht weiter, speichern Sie ihn nicht in einem Code-Repository und wechseln Sie ihn regelmäßig aus.

Daten exportieren als Wählen Sie das Dateiformat für den Upload: Excel, CSV, HTML, JSON oder XML. Einstellungen für Dateinamen

Option	Beschreibung
Wie Aufgabenname	Der Dateiname entspricht dem Aufgabennamen; wiederholte Exporte überschreiben die Datei
Aktuellen Zeitstempel an Aufgabennamen anhängen	Jeder Export erstellt eine neue Datei und bewahrt den Verlauf
Benutzerdefinierten Namen verwenden	Geben Sie den Dateinamen manuell an

Wenn bereits eine Datei mit demselben Namen vorhanden ist

Option	Beschreibung
Neue Datei mit aktuellem Zeitstempel erstellen	Behält das Original bei; die neue Datei erhält einen Zeitstempel als Suffix
Vorhandene Datei ersetzen	Überschreibt das Original
Neue Daten an vorhandene Datei anhängen	Hängt Daten an die vorhandene Datei an (nur CSV/Excel)

Klicken Sie auf Bestätigen, um die Konfiguration zu speichern und den Export zu starten.

Häufige Fehler

Fehler	Ursache	Lösung
`InvalidKeySecret`	Falsche Access Key ID oder falscher Secret Access Key	Anmeldedaten erneut prüfen
`NoSuchBucket`	Bucket-Name ist falsch oder nicht vorhanden	Bucket-Namen bestätigen
`PermissionDenied`	Unzureichende IAM-Berechtigungen	Prüfen, ob die IAM-Richtlinie `s3:PutObject` enthält
`IllegalLocation`	Bucket-Region stimmt nicht mit dem Servicebereich überein	Tatsächliche Region des Buckets auswählen
`FormatError`	Konfiguration ist fehlerhaft	Prüfen, ob alle Felder ausgefüllt sind

ERSTE SCHRITTE

LÖSUNGEN

AUFGABEN

AUFGABENAUSFÜHRUNG

ÜBERWACHUNG

DATENEXPORT

ANTI-BLOCKING

TEAM UND GOVERNANCE

Voraussetzungen

IAM-Berechtigungen konfigurieren

Export konfigurieren

Häufige Fehler

​Voraussetzungen

​IAM-Berechtigungen konfigurieren

​Export konfigurieren

​Häufige Fehler

Voraussetzungen

IAM-Berechtigungen konfigurieren

Export konfigurieren

Häufige Fehler