> ## Documentation Index
> Fetch the complete documentation index at: https://www.octoparse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 전자상거래 데이터 수집

> 팀이 전자상거래 사이트와 마켓플레이스에서 제품 카탈로그, 가격, 리뷰, 평점, 판매자 데이터 및 재고 신호를 수집하는 방법을 알아보세요.

전자상거래 데이터 수집은 제품 페이지와 마켓플레이스를 구조화된 데이터세트로 바꿉니다. 소매업체는 경쟁사를 모니터링하고, 브랜드는 리셀러 활동과 리뷰를 추적하며, 시장 조사 담당자는 카테고리 동향을 파악하고, 제품 팀은 상품 구성, 콘텐츠, 고객 감성의 빈틈을 찾는 데 사용합니다.

소스는 Amazon, Walmart, eBay, Shopify 스토어, 브랜드 사이트, 마켓플레이스 판매자 페이지, 리뷰 페이지, 카테고리 페이지 등 익숙합니다. 엔지니어링 과제는 각 소스가 동일한 상거래 정보를 서로 다른 페이지 레이아웃과 안티봇 방어 수준으로 표현한다는 점입니다.

## 수집할 데이터

전자상거래 스크래핑은 일반적으로 제품 카탈로그에서 시작합니다.

| 데이터 유형   | 필드 예시                                  |
| -------- | -------------------------------------- |
| 제품 식별 정보 | 제목, 브랜드, ASIN/SKU/GTIN/UPC, 모델, 제품 URL |
| 가격       | 현재 가격, 정가, 할인, 쿠폰, 구독 가격               |
| 재고 상태    | 재고 있음, 품절, 배송 예상일, 판매자 재고 여부           |
| 판매자 데이터  | 판매자 이름, 마켓플레이스 판매자 ID, 주문 처리 주체 신호     |
| 제품 콘텐츠   | 이미지, 설명, 기능 목록, 사양                     |
| 리뷰       | 평점, 리뷰 수, 리뷰 텍스트, 리뷰 날짜, 도움 됨 투표       |
| 순위       | 베스트셀러 순위, 검색 위치, 카테고리 순위               |
| 옵션       | 크기, 색상, 묶음 수량, 스타일, 지역                 |

Octoparse, Apify, Bright Data의 템플릿은 일반적으로 목록, 상세 정보, 리뷰 추출을 분리합니다. 이는 전자상거래 사이트의 구조를 그대로 반영합니다. 목록 페이지는 폭넓은 정보를, 상세 페이지는 전체 제품 정보를, 리뷰 페이지는 감성과 품질 신호를 제공합니다.

## 일반적인 워크플로

### 카탈로그 모니터링

카테고리 페이지 또는 검색 결과를 스크래핑하여 제품, 판매자, 순위를 찾습니다. 제품 URL과 ID를 갱신 대상으로 저장합니다.

### 제품 상세 정보 보강

발견한 제품의 상세 페이지를 방문합니다. 설명, 사양, 이미지, 옵션, 판매자 정보, 재고 상태를 수집합니다.

### 리뷰 분석

제품 정보와 별도로 리뷰를 수집합니다. 리뷰 페이지는 독립적으로 페이지가 나뉘는 경우가 많으며 모니터링을 위해 최신순으로 정렬해야 할 수 있습니다.

### 가격 및 재고 추적

선택한 제품을 일정에 따라 갱신합니다. 타임스탬프가 포함된 스냅샷을 저장하여 가격 변경, 프로모션, 품절, 판매자 변경을 감지할 수 있게 합니다.

## 플랫폼별 차이

| 플랫폼 유형       | 특징                                               |
| ------------ | ------------------------------------------------ |
| 대형 마켓플레이스    | 풍부한 데이터, 강력한 안티봇 방어, 다양한 옵션 및 판매자                |
| 브랜드 스토어      | 더 깔끔한 제품 구조, Shopify 또는 유사한 커머스 플랫폼을 사용하는 경우가 많음 |
| 롱테일 소매업체     | 표준화 수준은 낮지만 방어가 약한 편                             |
| 리뷰 중심 마켓플레이스 | 감성 분석 가치가 높고 리뷰 페이지 넘기기가 분리됨                     |
| B2B 카탈로그     | 로그인, 견적 요청 또는 지역별 가격이 필요한 경우가 많음                 |

Amazon이 대표적인 예입니다. 검색 및 카테고리 페이지는 제목, 가격, 평점, 리뷰 수, 이미지, ASIN과 유사한 식별자를 포함한 제품 카드를 제공합니다. 제품 페이지에는 설명, 기능 목록, 사양, 판매자 정보, 옵션, 베스트셀러 순위, 재고 또는 배송 정보가 추가됩니다. 리뷰 페이지에는 텍스트, 평점, 리뷰어 신호, 도움 됨 수, 인증 상태가 추가됩니다. 각 페이지 유형을 서로 다른 데이터세트로 취급하세요.

## 데이터 정규화

전자상거래 데이터는 분석 전에 정제가 필요합니다.

* 통화와 지역을 정규화합니다.
* 묶음 수량을 단위 가격으로 변환합니다.
* 제품 가격과 배송비를 분리합니다.
* 재고 상태를 표준화합니다.
* 옵션을 상위 제품에 매핑합니다.
* 여러 URL에서 동일한 제품의 중복을 제거합니다.
* 소스 타임스탬프를 보존합니다.

사이트 간 비교에서는 제품 매칭이 핵심 문제입니다. 가능하면 정확한 식별자를 사용하고, 그렇지 않으면 제목, 브랜드, 모델, 묶음 수량, 크기, 이미지 유사도를 사용하세요.

## 안티봇 및 규모 확장

가격, 리뷰, 재고는 상업적으로 민감하므로 전자상거래 사이트는 스크래핑 방어가 가장 강한 대상에 속합니다. JavaScript 렌더링, 속도 제한, CAPTCHA, IP 평판 확인, 핑거프린팅, 페이지 레이아웃 테스트에 대비하세요.

소규모라면 신중한 속도 조절과 실제 브라우저만으로 충분할 수 있습니다. 규모가 커지면 클라우드 추출, 하위 작업 분할, 프록시 로테이션, 일관된 핑거프린트, 재시도 로직을 사용하세요. Amazon 같은 페이지에는 페이지 유형 처리와 필드 매핑이 이미 구현된 사전 구축 스크래퍼를 사용하면 시간을 절약할 수 있습니다.

## 규정 준수 경계

책임감 있게 스크래핑하세요. robots.txt와 사이트 약관을 준수하고, 정당한 근거가 없다면 개인 또는 민감한 데이터를 피하며, 적합한 공식 API나 파트너 피드가 있다면 우선 사용하세요. 마켓플레이스에서는 판매자 및 리뷰어 데이터가 추가적인 정책 및 개인정보 보호 문제를 일으킬 수 있습니다.

전자상거래 스크래핑은 가격 재조정, 상품 구성 계획, 리뷰 모니터링, 리셀러 규정 준수, 시장 조사처럼 명확한 의사결정에 활용될 때 가장 가치가 큽니다. 해당 의사결정에서 출발하여 필요한 필드와 수집 주기를 설계하세요.