내장 브라우저
내장 브라우저에서 작업을 만들고 테스트할 수 있습니다. 대상 웹사이트를 열고 요소를 선택하며 동작을 만들고 추출된 데이터를 미리 볼 수 있습니다. 다음과 같은 작업에 사용할 수 있습니다.- 대상 URL 열기
- 텍스트, 링크, 이미지 및 기타 요소 선택
- 버튼 또는 메뉴 항목 클릭
- 페이지 넘기기 또는 무한 스크롤 처리
- 작업에 세션 설정이 필요할 때 로그인
- 추출 중 페이지 로드 방식 테스트
선택 모드와 탐색 모드
Octoparse에서는 작업을 만들 때 서로 다른 상호 작용 모드를 사용합니다.
로그인, 팝업 닫기, 메뉴 열기, 스크래핑하려는 페이지 상태로 이동하기 등 작업 설정을 계속하기 전에 페이지와 수동으로 상호 작용해야 할 때 탐색 모드를 사용하세요.
Chrome 모드
Chrome 모드는 내장 브라우저 대신 Chrome 브라우저를 사용하여 페이지를 열고 데이터를 수집합니다. 실제 사용자와 매우 유사한 완전한 핑거프린트 및 동작 프로필을 갖춘 모든 기능의 브라우저를 사용하므로 내장 브라우저보다 안정적이며 엄격한 안티봇 조치가 있는 웹사이트에서 감지되거나 차단될 가능성이 낮습니다. 다음과 같은 경우 Chrome 모드를 사용하세요.- 내장 브라우저가 대상 페이지를 올바르게 로드하지 못하는 경우
- 웹사이트가 비표준 브라우저를 감지하고 차단하는 경우
- 실제 사용자 동작을 재현하기 위해 더 완전한 브라우저 환경이 필요한 경우
동적 페이지
많은 웹사이트는 초기 페이지 로드 후에 데이터를 불러옵니다. 내장 브라우저를 사용하면 이러한 경우에 필요한 동작을 구성할 수 있습니다. 일반적인 동적 동작은 다음과 같습니다.- 무한 스크롤
- “더 보기” 버튼
- 드롭다운 필터
- 탭
- 팝업
- JavaScript로 렌더링되는 콘텐츠
- 로그인 제한
- 목록 항목을 클릭한 후 열리는 상세 페이지
권장 사항
- 필드를 선택하기 전에 페이지가 완전히 로드될 때까지 기다리세요.
- 수동 탐색에는 탐색 모드를 사용한 다음 선택 모드로 다시 전환하세요.
- 콘텐츠 로드가 느리면 대기 단계를 추가하세요.
- 전체 작업을 실행하기 전에 작은 샘플을 테스트하세요.
- 웹사이트 레이아웃이 변경되면 필드 선택을 다시 확인하세요.
- 실행 중 작업이 다르게 동작할 때는 로그를 사용하세요.
브라우저 기반 작업은 대상 웹사이트의 구조와 동작에 의존합니다. 웹사이트가 변경되면 작업을 업데이트해야 할 수 있습니다.