라쿠텐 이치바 스크래핑 방법

라쿠텐 이치바는 일본 최대의 이커머스 마켓플레이스입니다. 구조화된 상품 가격, 리뷰, 재고, 순위를 공개하므로 가격 모니터링, 경쟁사 분석, 시장 조사의 일반적인 대상입니다. 이 가이드에서는 라쿠텐 이치바에서 추출할 수 있는 데이터와 페이지 구조를 탐색하는 방법을 기술적으로 설명합니다. 공개 데이터만 스크래핑하고 사이트 이용약관과 적용되는 개인정보 보호법을 준수하세요. 합법성을 판단하는 기준은 웹 스크래핑은 합법인가요?를 참조하세요.

​

스크래핑할 수 있는 데이터

수집할 수 있는 필드는 페이지 유형에 따라 달라집니다. 검색 결과(목록) 페이지에서 제공하는 정보:

• 상품명
• 가격
• 배송비
• 적립 포인트
• 순위
• 리뷰 수
• 스토어명
• 스토어 URL
• 각 상품 상세 페이지의 URL

상품 상세 페이지에서 제공하는 정보:

• 상품 설명
• 상품 이미지
• 옵션(색상, 크기 등)
• 재고 상태
• 판매 조건
• 리뷰 평점

리뷰 페이지에서 제공하는 정보:

• 리뷰 본문
• 리뷰 작성자
• 평점
• 게시일

리뷰 본문은 저작권으로 강하게 보호되므로 수집 후 다시 게시하거나 재배포하는 행위는 제한됩니다.

​

페이지 구조 및 탐색 방법

라쿠텐 이치바 데이터 수집은 다음 순서로 진행합니다.

1. 카테고리 또는 키워드로 검색하고 검색 결과 페이지 URL을 수집합니다. 검색 조건이 URL 매개변수에 반영되므로 카테고리마다 URL을 하나씩 준비하면 수집 범위를 관리하기 쉽습니다.
2. 검색 결과 페이지에서 기본 상품 필드와 각 상품 상세 페이지의 URL을 수집합니다.
3. 수집한 상품 URL을 순회하며 각 상품 상세 페이지에서 상세 필드를 추출합니다.
4. 리뷰가 필요하다면 리뷰 페이지로 이동하고 점진적 로딩을 처리하면서 데이터를 수집합니다.

목록 필드만으로 충분한지, 상품 상세 정보와 리뷰까지 필요한지 결정하면 페이지 전환 횟수와 대상 사이트의 부하를 줄일 수 있습니다.

​

기술적 고려 사항

​

JavaScript로 동적으로 로드되는 콘텐츠

일부 라쿠텐 이치바 요소는 페이지가 처음 열릴 때 HTML에 존재하지 않으며 JavaScript가 실행된 뒤에 로드됩니다. 원시 HTML만 가져오는 스크래퍼는 이러한 요소를 수집할 수 없습니다. 이를 처리하려면 JavaScript를 실행하는 실제 브라우저에서 페이지를 렌더링한 다음 추출하세요. 자세한 내용은 JavaScript 렌더링 페이지 스크래핑을 참조하세요.

​

페이지 넘기기

라쿠텐 이치바 검색 결과는 번호가 매겨진 여러 페이지로 나뉩니다. 리뷰는 점진적 로딩을 통해 더 많이 표시될 수 있습니다. 번호 페이지, 다음 링크, 더 보기 등 방식에 따라 처리 방법이 다르므로 먼저 대상 페이지의 방식을 확인하세요. 페이지 넘기기 처리 방법을 참조하세요.

​

접근 제어 및 서버 부하

라쿠텐 이치바에는 자동화된 접근을 막기 위한 제어 장치가 있습니다. 짧은 시간에 많은 요청을 보내면 스크래퍼가 더 쉽게 탐지됩니다.

​

Octoparse로 스크래핑

Octoparse는 헤디드 실제 브라우저에서 페이지를 렌더링하므로 코드를 작성하지 않고도 JavaScript로 동적으로 로드되는 콘텐츠를 수집할 수 있습니다. 검색 목록에서 상품 상세 페이지로 이동하는 루프, 점진적 로딩 대기, 클라우드 예약 실행을 모두 시각적 편집기에서 설정할 수 있습니다. 라쿠텐 상품 목록 스크래퍼 템플릿을 사용하면 URL에서 시작해 수집할 필드를 미리 확인하고 라쿠텐 목록 수집을 시작할 수 있습니다.

​

사용 사례

• 가격 모니터링: 경쟁 상품의 가격, 배송비, 포인트를 시간에 따라 추적
• 경쟁사 및 시장 분석: 카테고리 내 순위, 리뷰 수, 스토어 분포 파악
• 재고 및 수요 신호: 재고 상태와 베스트셀러 순위를 지속적으로 수집
• 리뷰 분석: 리뷰 평점과 본문 동향을 집계

라쿠텐 이치바 스크래핑은 목표가 구체적일 때 가장 효과적입니다. 필드 수와 사이트 부하를 줄일 수 있으며 신뢰할 수 있는 결과를 얻기 쉽습니다.