Amazon S3 연동

스크래핑한 데이터를 Amazon S3 버킷에 직접 업로드합니다. 여러 파일 형식을 지원합니다.

사전 요구 사항

Octoparse 프로페셔널 플랜 이상
대상 S3 버킷이 이미 생성된 AWS 계정
대상 버킷에 대한 s3:PutObject 권한이 있는 IAM 사용자

IAM 권한 구성

Octoparse는 Access Key를 사용하여 S3에 데이터를 씁니다. 전용 IAM 사용자를 만들고 필요한 최소 권한만 부여하세요. 최소 권한 정책 예시:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject"],
      "Resource": "arn:aws:s3:::your-bucket-name/*"
    }
  ]
}

IAM 사용자를 만든 후 Security credentials에서 Access Key를 생성하고 Access Key ID와 Secret Access Key를 저장하세요.

내보내기 구성

다음 순서에 따라 내보내기 설정을 입력하세요. 구성 이름 나중에 다시 사용할 수 있도록 구성에 이름을 지정합니다. 드롭다운에서 기존 구성을 선택하거나 새 이름을 입력해 구성을 만들 수 있습니다. 연결 정보

필드	설명
인증	인증 방법 — 현재는 Access key만 지원
Access key ID	IAM 사용자의 Access Key ID
Secret access key	IAM 사용자의 Secret Access Key
서비스 영역	AWS 리전(드롭다운에서 선택)
버킷	대상 버킷 이름

보안: Access Key에는 대상 버킷에 대한 쓰기 권한이 있습니다. 다른 사람과 공유하거나 코드 저장소에 커밋하지 말고 주기적으로 교체하세요.

데이터 내보내기 형식 업로드할 파일 형식을 Excel, CSV, HTML, JSON 또는 XML 중에서 선택합니다. 파일 이름 설정

옵션	설명
작업 이름과 동일	파일 이름이 작업 이름과 일치하며, 반복 내보내기 시 덮어씁니다
작업 이름에 현재 타임스탬프 추가	내보낼 때마다 새 파일을 생성하여 기록을 유지합니다
사용자 지정 이름 사용	파일 이름을 직접 지정합니다

같은 이름의 파일이 이미 있는 경우

옵션	설명
현재 타임스탬프로 새 파일 생성	원본은 유지하고 새 파일 이름에 타임스탬프 접미사를 추가합니다
기존 파일 교체	원본을 덮어씁니다
기존 파일에 새 데이터 추가	기존 파일에 데이터를 추가합니다(CSV / Excel만 해당)

확인을 클릭하여 구성을 저장하고 내보내기를 시작합니다.

일반적인 오류

오류	원인	해결 방법
`InvalidKeySecret`	Access Key ID 또는 Secret Access Key가 잘못됨	자격 증명을 다시 확인하세요
`NoSuchBucket`	버킷 이름이 잘못되었거나 버킷이 없음	버킷 이름을 확인하세요
`PermissionDenied`	IAM 권한이 부족함	IAM 정책에 `s3:PutObject`가 포함되어 있는지 확인하세요
`IllegalLocation`	버킷 리전이 서비스 영역과 일치하지 않음	버킷의 실제 리전을 선택하세요
`FormatError`	구성 형식이 잘못됨	모든 필드가 입력되었는지 확인하세요

시작하기

솔루션

작업

작업 실행

모니터링

데이터 내보내기

차단 방지

팀 및 거버넌스

사전 요구 사항

IAM 권한 구성

내보내기 구성

일반적인 오류

​사전 요구 사항

​IAM 권한 구성

​내보내기 구성

​일반적인 오류

사전 요구 사항

IAM 권한 구성

내보내기 구성

일반적인 오류