Skip to main content
Amazon은 가장 가치가 높으면서도 스크래핑하기 어려운 이커머스 데이터 소스 중 하나입니다. 상품 페이지에는 가격, 판매자, 리뷰, 옵션, 순위, 이미지, 사양이 포함되어 있지만, 사이트가 동적이고 지역별로 구성되며 엄격하게 모니터링될 뿐 아니라 Amazon 마켓플레이스마다 서로 다른 레이아웃을 표시할 수 있습니다. 먼저 필요한 Amazon 페이지 유형을 정하세요. 검색 결과, 상품 상세 정보, 리뷰는 각각 별도의 워크플로로 다뤄야 합니다.

​
페이지 유형

Octoparse의 Amazon 템플릿 페이지도 같은 방식으로 구분합니다. 폭넓은 상품 수집을 위한 목록 페이지, 더 풍부한 상품 정보를 위한 상세 페이지, Prime 전용 수집, 피드백 분석을 위한 리뷰 스크래핑으로 나뉩니다. Apify와 Bright Data의 Amazon 스크래퍼 및 데이터 세트도 상품·상세 정보·리뷰를 비슷하게 구분합니다.

​
1단계: 입력값 선택

새로운 상품을 발굴하려면 키워드를 사용하세요.
이미 상품군을 알고 있다면 상품 URL이나 ASIN을 사용하세요.
가격 모니터링에는 키워드 검색을 반복하는 것보다 ASIN이나 상품 URL이 대체로 더 적합합니다. 시장 조사에는 키워드와 카테고리 검색을 활용하면 경쟁사와 카테고리 변화를 파악할 수 있습니다.

​
2단계: 목록 데이터 수집

검색 및 카테고리 페이지는 폭넓은 데이터를 수집하는 데 유용합니다. 다음 항목을 수집하세요.
  • 상품명
  • 상품 URL
  • 제공되는 경우 ASIN
  • 가격
  • 평점
  • 리뷰 수
  • 이미지 URL
  • 표시되는 경우 광고/일반 결과 구분
  • 검색 키워드 또는 카테고리
  • 결과 순위
  • 타임스탬프
결과 순위는 중요합니다. 특정 키워드에서 상품이 차지하는 순위는 가격만큼 중요한 지표가 될 수 있습니다.

​
3단계: 상품 상세 페이지 방문

상세 페이지에서는 심층 분석에 필요한 필드를 얻을 수 있습니다.
  • 브랜드
  • 주요 특징
  • 상품 설명
  • 사양 표
  • 옵션
  • 판매자 및 주문 처리 관련 정보
  • 베스트셀러 순위
  • 재고 또는 배송 관련 정보
  • 전체 이미지 모음
  • 쿠폰 또는 프로모션 정보
Amazon 페이지는 위치, 계정 상태, 마켓플레이스에 따라 자주 달라집니다. 나중에 차이를 정확히 해석할 수 있도록 마켓플레이스 도메인, 배송 지역, 스크래핑 타임스탬프를 보존하세요.

​
4단계: 리뷰를 별도로 스크래핑

리뷰 추출은 독립된 워크플로입니다. 정렬 순서, 페이지 넘기기, 언어, 별점 필터, 지역에 따라 결과가 달라질 수 있습니다. 유용한 리뷰 필드는 다음과 같습니다.
  • 평점
  • 리뷰 제목
  • 리뷰 본문
  • 리뷰 날짜
  • 리뷰 작성자 표시 이름
  • 구매 인증 여부
  • 도움 투표 수
  • 상품 옵션
  • 리뷰 URL
감성 분석을 할 때는 옵션이 뒤섞이지 않도록 충분한 맥락을 수집하세요. 특정 크기, 색상, 묶음 상품에 대한 리뷰를 전체 상품에 관한 설명으로 간주하면 분석 결과가 왜곡될 수 있습니다.

​
기술적 과제

Amazon 스크래핑에서는 일반적으로 다음 문제를 겪습니다.
  • 동적 레이아웃 및 A/B 테스트
  • 지역별 가격 및 재고 차이
  • CAPTCHA 및 봇 탐지 문제
  • 옵션별로 달라지는 필드
  • 누락되거나 숨겨진 판매자 데이터
  • 리뷰 페이지 넘기기 제한
  • 일반 결과에 섞여 있는 광고 결과
요청 속도를 보수적으로 설정하고, 필요할 때 실제 브라우저 렌더링을 사용하며, 안정적인 프록시 및 핑거프린트 설정과 명확한 재시도 로직을 적용하세요. 반복 실행하는 워크플로에서는 클라우드 추출과 하위 작업 분할을 활용하면 상품 발굴, 상세 정보 새로 고침, 리뷰 수집을 분리할 수 있습니다.

​
템플릿을 사용해야 할 때

키워드별 목록 데이터, ASIN 또는 URL별 상품 상세 정보, Prime 필터가 적용된 목록, 리뷰 데이터처럼 일반적인 Amazon 필드가 빠르게 필요할 때는 템플릿을 사용하세요. Octoparse, Apify, Bright Data의 템플릿은 페이지 탐색, 필드 매핑, 페이지 넘기기, 차단 방지 설정에 필요한 작업을 줄여 줍니다. 마켓플레이스별 특수 로직, 사용자 지정 SKU 매칭, 사내 카탈로그 연동, 매우 구체적인 알림이 필요하다면 사용자 지정 워크플로를 구축하세요.

​
법률 및 정책 참고 사항

Amazon 데이터에는 판매자, 리뷰 작성자, 마켓플레이스 규정이 관련될 수 있습니다. 사용이 허용된 데이터만 스크래핑하고, robots.txt와 적용되는 약관을 준수하며, 가능한 한 개인 정보나 민감한 데이터를 피하세요. 공식 API나 파트너 피드가 사용 목적을 충족한다면 이를 우선적으로 이용하세요. Amazon 스크래핑은 카탈로그 모니터링, 리뷰 분석, 경쟁사 추적, 카테고리 동향 조사처럼 목표가 구체적일 때 가장 효과적입니다. 목표를 좁히면 필드 목록과 스크래핑 부하를 줄이고 결과의 신뢰도를 높일 수 있습니다.