일반적인 차단 신호
웹사이트는 다음과 같은 신호를 기반으로 추출 작업을 차단하거나 추가 인증을 요구할 수 있습니다.- 짧은 시간에 너무 많은 요청
- 동일한 IP 주소에서 반복되는 접근
- 없거나 비정상적인 브라우저 핑거프린트
- 로그인 또는 쿠키 불일치
- CAPTCHA 인증
- 지역 또는 위치 불일치
- 비정상적인 탐색 동작
- 실행 중 세션 만료
일반적인 증상
차단 방지 옵션
프록시 설정
웹사이트가 IP 주소, 위치 또는 요청 빈도에 민감한 경우 프록시를 사용하세요.
브라우저 핑거프린팅
브라우저 신호가 웹사이트 감지에 어떤 영향을 줄 수 있는지 알아보세요.
CAPTCHA 처리
작업 생성 또는 실행 중 웹사이트에 CAPTCHA가 표시될 때의 대처 방법을 알아보세요.
자동 로그인 및 쿠키
로그인 및 쿠키 워크플로를 통해 세션 기반 작업을 더 안정적으로 유지하세요.
권장 문제 해결 절차
1
로컬 테스트 실행
내장 브라우저에서 작업을 지켜보며 차단이나 실패가 발생하는 지점을 확인합니다.
2
로그인 또는 쿠키 필요 여부 확인
사이트에 계정이 필요한 경우 작업을 실행하기 전에 세션이 유효한지 확인합니다.
3
워크플로 속도 낮추기
대기 시간을 추가하고 빈도를 줄이며 불필요한 반복 동작을 피합니다.
4
프록시 또는 위치 요구 사항 검토
콘텐츠가 지역이나 IP 평판에 따라 달라지는 경우 적절한 프록시 설정을 구성합니다.
5
로컬과 클라우드 동작 비교
작업이 로컬에서는 작동하지만 클라우드에서 실패한다면 클라우드 실행 로그와 사이트 동작을 검토합니다.
권장 사항
- 확장하기 전에 작은 샘플로 테스트하세요.
- 필요 이상으로 작업을 자주 실행하지 마세요.
- 동적이거나 로드가 느린 페이지에는 대기 단계를 추가하세요.
- 로그인 세션과 쿠키를 최신 상태로 유지하세요.
- 작업 설정을 변경한 후 실행 로그를 모니터링하세요.
- 웹사이트 이용 약관, robots 규칙 및 관련 법률을 준수하세요.