Octoparse의 기능
스크래핑 워크플로 만들기
웹페이지에서 데이터를 선택하고 클릭이나 페이지 넘기기 같은 동작을 정의하여 워크플로를 재사용 가능한 작업으로 만듭니다.
데이터 추출 실행
웹사이트, 작업 설정 및 자동화 요구 사항에 따라 로컬 또는 클라우드에서 작업을 실행합니다.
구조화된 데이터 내보내기
추출 결과를 CSV, Excel, JSON, Google Sheets, 데이터베이스 또는 클라우드 스토리지 같은 형식과 대상으로 보냅니다.
작동 방식
Octoparse 워크플로는 크게 세 단계로 진행됩니다.1
대상 웹사이트 열기
URL, 템플릿 또는 사용자 지정 작업에서 시작합니다. Octoparse가 내장 브라우저에서 페이지를 로드하므로 사이트를 검사하고 상호 작용할 수 있습니다.
2
추출 로직 정의
원하는 데이터 필드를 선택한 다음 링크 클릭, 페이지 넘기기 처리, 스크롤, 로그인 또는 필드 값 세부 조정 등의 동작을 추가합니다.
3
작업 실행 및 내보내기
로컬 또는 클라우드에서 작업을 실행하고 진행 상황을 모니터링한 다음 수집한 데이터를 필요한 형식이나 대상으로 내보냅니다.
Octoparse가 적합한 용도
Octoparse는 데이터가 웹사이트에 있지만 편리한 구조화 형식으로 제공되지 않을 때 유용합니다. 일반적인 사용 사례는 다음과 같습니다.- 가격 모니터링
- 리드 생성
- 시장 조사
- 제품 및 리뷰 추출
- 디렉터리 및 목록 수집
- 부동산, 채용, 전자상거래 및 소셜 데이터 수집
- 운영 또는 보고 워크플로를 위한 반복 데이터 수집
Octoparse가 아닌 것
Octoparse는 범용 분석, BI 또는 데이터베이스 플랫폼이 아닙니다. 웹 데이터를 수집하고 구조화하는 데 도움이 되지만 후속 분석, 모델링 및 보고는 일반적으로 다른 도구에서 수행합니다. URL만 보내고 표준화된 응답을 받는 호스팅형 스크래핑 API와도 다릅니다. Octoparse 작업은 워크플로입니다. 웹사이트를 열고 탐색하고 추출하고 정리하고 내보내는 방식을 사용자가 정의합니다.브라우저 기반 추출
Octoparse에는 작업을 만들면서 웹사이트와 상호 작용할 수 있는 내장 브라우저가 있습니다. 일반 작업 생성 모드에서는 클릭으로 요소를 선택하고 동작을 만듭니다. 로그인, 팝업 닫기 또는 설정을 계속하기 전에 인증 문제 해결과 같은 수동 상호 작용이 필요할 때 탐색 모드를 사용하면 내장 브라우저가 일반 브라우저처럼 작동합니다. 이 브라우저 기반 방식은 정적 HTML에서 데이터를 사용할 수 없거나 페이지 상호 작용에 따라 추출이 달라지는 웹사이트에 유용합니다.정확한 작업 동작은 웹사이트 구조, 작업 설정, 추출 모드, 로컬 또는 클라우드 실행 여부에 따라 달라집니다.
다음 단계
핵심 개념: 작업, 필드, 동작
모든 Octoparse 작업을 구성하는 기본 요소입니다.
코딩 없이 작업 만들기
페이지를 클릭하여 스크래핑 워크플로를 시각적으로 만드세요.
페이지 데이터 자동 감지
Octoparse가 필드와 페이지 넘기기를 자동으로 식별하도록 하세요.
로컬 추출과 클라우드 추출
사용자 컴퓨터에서 실행해야 할 때와 클라우드에서 실행해야 할 때를 알아보세요.
반복 실행 예약
반복 일정에 따라 작업을 자동으로 실행하세요.
내보내기 형식 및 대상
데이터를 CSV, Excel, JSON, Google Sheets, 데이터베이스 등으로 출력하세요.
차단 방지: 프록시, CAPTCHA, 핑거프린트
IP 차단, CAPTCHA 및 브라우저 핑거프린팅을 처리하세요.
추출 데이터 세부 조정 및 클리닝
원시 값을 실제로 필요한 필드로 재구성하세요.