일부 웹사이트에서는 데이터를 보려면 먼저 로그인해야 합니다. 필요한 세션 상태를 유지하도록 작업을 구성하면 Octoparse에서 로그인이 필요한 페이지를 처리할 수 있습니다.
대상 데이터가 인증 후에만 표시되고 액세스 권한이 있는 경우 로그인 및 쿠키 워크플로를 사용하세요.
로그인 설정이 필요한 경우
다음과 같은 경우 로그인 또는 쿠키가 필요할 수 있습니다.
- 웹사이트에서 계정 뒤에 데이터를 숨김
- 검색 결과 또는 상세 페이지에 인증이 필요함
- 로그인 후 웹사이트에서 다른 콘텐츠를 표시함
- 추출 중 세션이 만료됨
- 로그인 상태를 사용할 수 없어 클라우드 실행이 실패함
- 쿠키가 지역, 언어 또는 사용자별 콘텐츠를 제어함
일반적인 워크플로
웹사이트 열기
로그인 페이지 또는 인증이 필요한 페이지에서 시작합니다.
탐색 모드 사용
일반 브라우저처럼 페이지와 상호 작용해 로그인을 완료하거나 원하는 페이지 상태에 도달합니다.
세션 설정 저장
추출 중 필요한 로그인 또는 쿠키 상태를 사용할 수 있도록 작업을 구성합니다.
작업 테스트
샘플을 실행해 작업이 보호된 콘텐츠에 액세스할 수 있는지 확인합니다.
만료 모니터링
웹사이트에서 사용자를 로그아웃시키거나 쿠키를 무효화하면 작업을 다시 확인합니다.
쿠키와 세션
쿠키는 웹사이트가 브라우저 세션을 인식하는 데 도움이 되는 정보를 저장합니다. 로그인 상태, 환경 설정, 지역, 언어 또는 추적 정보가 포함될 수 있습니다.
수집 작업에서는 세션의 유효 여부에 따라 웹사이트가 다른 콘텐츠를 표시할 수 있으므로 쿠키가 중요합니다.
일반적인 문제
모범 사례
- 사용 권한이 있는 계정을 사용하세요.
- 클라우드 실행 전에 로그인이 필요한 작업을 로컬에서 테스트하세요.
- 동일한 로그인 세션 중에는 IP를 로테이션하지 마세요.
- 쿠키가 만료되면 다시 인증하세요.
- 로그인 리디렉션은 클라우드 로그에서 모니터링하세요.
- 로그인 단계를 최대한 단순하고 안정적으로 유지하세요.
액세스 권한이 있는 데이터만 추출하세요. 로그인 액세스가 있다고 해서 데이터를 수집하거나 재사용할 수 있다는 의미는 아닙니다.
