타베로그는 일본 최대의 음식점 및 미식 리뷰 플랫폼입니다. 구조화된 매장 정보, 평점, 리뷰, 예약 가능 여부를 한곳에 모아 제공하므로 음식점 리드 목록 구축, 경쟁사 모니터링, 지역 단위 시장 조사, 리뷰 분석을 위한 일반적인 스크래핑 대상입니다.
이 가이드에서는 타베로그에서 추출할 수 있는 데이터와 페이지 구조를 탐색하는 방법을 기술적으로 설명합니다. 타베로그 스크래핑의 합법성에 대해서는 웹 스크래핑은 합법인가요?를 참조하세요.
타베로그에서 스크래핑할 수 있는 데이터
수집할 수 있는 필드는 대상 페이지 유형에 따라 달라지므로 방문할 페이지를 선택하기 전에 필요한 데이터를 정하세요.
검색 결과(목록) 페이지 — 지역과 음식 종류로 필터링한 목록에서 여러 음식점의 기본 정보를 한 번에 수집할 수 있습니다. 매장명, 음식 종류, 지역 및 가장 가까운 역, 평점, 리뷰 수, 가격대(점심/저녁), 각 매장 페이지의 URL이 포함됩니다.
매장 상세 페이지 — 개별 음식점의 전체 프로필로, 주소, 전화번호, 찾아가는 방법, 영업시간, 휴무일, 좌석 수, 개별실 유무, 결제 수단이 포함됩니다.
리뷰 페이지 — 리뷰 본문, 작성자, 평점, 방문 시기입니다. 리뷰 본문은 저작권으로 강하게 보호되므로 수집 후 신중하게 다뤄야 합니다(아래 참조).
예약 가능 여부/예약 캘린더 — 날짜별 예약 가능 여부입니다. 이 영역은 일반적으로 JavaScript로 렌더링되며 단순한 HTML 가져오기에는 나타나지 않습니다(아래 참조).
1단계: 검색 결과에서 목록 수집
먼저 지역과 음식 종류로 대상을 좁히세요. 타베로그의 검색 조건은 URL 매개변수에 반영되므로 지역/음식 종류별로 URL을 하나씩 준비하면 수집 범위를 명확하고 관리하기 쉽게 유지할 수 있습니다. 목록 페이지에서 매장명, 평점, 가격대 같은 기본 필드와 각 매장 상세 페이지 링크를 함께 수집하세요.
2단계: 매장 상세 페이지로 이동
목록에서 수집한 매장 URL을 순회하며 주소, 전화번호, 영업시간, 좌석 수 등의 상세 필드를 수집합니다. 목록만으로 충분한지 상세 페이지도 필요한지 미리 결정하면 불필요한 페이지 전환을 줄이고 대상 사이트의 부하를 낮출 수 있습니다.
3단계: 필요한 경우 리뷰 수집
감성 또는 리뷰 동향 분석에 필요할 때만 리뷰를 스크래핑하세요. 리뷰 목록은 일반적으로 “더 보기” 버튼이나 페이지 넘기기를 통해 항목을 추가로 불러오므로 단순히 페이지를 읽는 것이 아니라 상호작용이 필요합니다. 여러 페이지 처리와 무한 스크롤에 대해서는 페이지 넘기기 처리 방법을 참조하세요.
JavaScript로 렌더링되는 콘텐츠 처리
예약 가능 캘린더 같은 요소는 페이지가 열리는 순간 HTML에 존재하지 않으며 페이지의 JavaScript가 실행된 뒤에만 나타납니다. 원시 HTML만 가져오는 스크래퍼에서는 이러한 부분이 비어 있습니다.
해결 방법은 JavaScript를 실행하는 실제 브라우저에서 페이지를 렌더링한 다음 완성된 DOM에서 데이터를 추출하는 것입니다. 실제 브라우저가 필요한 이유와 기반 API 직접 호출, SSR 감지 같은 다른 접근 방식은 JavaScript 렌더링 페이지 스크래핑에서 다룹니다. 코드로 구축한다면 Playwright와 같은 도구도 같은 방식으로 처리합니다.
페이지가 “완료”될 때까지 기다리지 말고 필요한 특정 요소(예: 캘린더 날짜)가 렌더링되기를 기다리세요. load 이벤트가 발생하는 시점과 콘텐츠 렌더링이 완료되는 시점은 같지 않습니다.
안티봇 제어 및 책임 있는 스크래핑
타베로그에는 자동화된 접근을 막기 위한 제어 장치가 있으며, 짧은 시간에 많은 요청을 보내면 스크래퍼가 더 쉽게 탐지됩니다. 요청 빈도, 요청량, 실행 시간을 적절하게 유지하고 사람의 일반적인 탐색 수준을 크게 벗어나지 않는 것이 장기간 안정적으로 데이터를 수집하기 위한 전제 조건입니다.
접근 제어를 기술적으로 우회하려 하지 말고 부하를 줄이는 설계를 우선하세요. 타베로그는 robots.txt에서 일부 경로를 Disallow로 설정할 수 있으므로 대상 URL마다 이용약관과 robots.txt를 확인하세요. 리뷰 본문은 저작권으로 강하게 보호되며, 수집할 수 있다고 해서 자유롭게 다시 게시하거나 재배포할 수 있는 것은 아닙니다. 합법성을 판단하는 기준은 웹 스크래핑은 합법인가요?를 참조하세요. Octoparse로 스크래핑
Octoparse는 헤디드 실제 브라우저에서 페이지를 렌더링하므로 코드를 작성하지 않고도 예약 가능 캘린더 같은 JavaScript 렌더링 콘텐츠를 처리할 수 있습니다. 목록에서 상세 페이지로 이동하는 루프와 지연 로딩 콘텐츠 대기(AJAX 타임아웃 또는 스크롤)는 시각적 편집기에서 설정합니다. 데이터를 지속적으로 수집해야 할 때는 컴퓨터를 꺼도 예약된 일정에 따라 클라우드 추출이 실행됩니다.
타베로그 매장 데이터 스크래퍼 템플릿을 사용하면 URL에서 시작해 수집할 필드를 미리 확인하고 지역 및 음식 종류별 목록 수집을 시작할 수 있습니다.
사용 사례
- 음식점 리드 목록 — 지역과 음식 종류로 필터링한 매장 정보를 아웃리치 목록으로 구성
- 경쟁사 평점 모니터링 — 특정 지역에서 평점과 리뷰 수가 시간에 따라 어떻게 변하는지 추적
- 지역 시장 조사 — 음식 종류 분포, 가격대, 매장 밀도를 파악해 지역 특성 분석
- 인바운드/리뷰 분석 — 리뷰 동향을 집계해 수요와 개선점을 파악
타베로그 스크래핑은 목표가 구체적일 때 가장 효과적입니다. 먼저 수집할 항목을 정하면 필드 목록이 줄어들고 사이트 부하가 낮아지며 결과를 더 쉽게 신뢰할 수 있습니다. 