Skip to main content
실제 헤디드 브라우저에서 관리형 핑거프린트를 사용해 실행하는 스크래퍼는 안티봇 탐지의 “이 세션이 어떻게 보이는가” 계층을 처리한 것입니다. 하지만 이것만으로는 입구를 통과했을 뿐입니다. 최신 안티봇 시스템은 방문자가 안으로 들어온 뒤 무엇을 하는지도 관찰합니다. 마우스 이동 방식, 클릭 위치, 입력 속도, 읽기 전에 스크롤하는지, 페이지에 머무는지 아니면 곧장 데이터로 이동하는지를 확인합니다. 사람처럼 보이는 행동은 ID 위의 계층이며, 기술적으로 깔끔한 많은 스크래퍼가 여기서 탐지됩니다.

기계만 보이는 행동

행동 신호는 예측 가능하며 안티봇 업계에서 잘 분석되어 있습니다.
  • 마우스가 직선으로 이동합니다. 실제 사용자의 커서는 곡선을 그리고 흔들리며 지나쳤다가 수정합니다. 봇의 커서는 일반적으로 A에서 B까지 직선 경로를 보간합니다.
  • 항상 정확히 중앙 픽셀을 클릭합니다. 사람은 버튼을 겨냥할 뿐 매번 정중앙을 누르지 않습니다. 픽셀 단위로 정확한 클릭은 자동화를 드러냅니다.
  • 타이밍이 일정합니다. 모든 작업 사이에 sleep(2)를 사용하면 코드 그대로의 모습이 드러납니다. 실제 사용자의 간격은 다양하며 때로는 차이가 큽니다.
  • 스크롤과 체류가 없습니다. 봇은 필요한 데이터를 가져오고 떠납니다. 사람은 지나쳐 스크롤하고 둘러보고 망설이며 때로는 위로 다시 스크롤합니다.
  • 탐색이 지나치게 효율적입니다. 봇은 데이터까지 최단 경로를 따릅니다. 사람은 다른 곳으로 이동하여 잘못된 링크를 클릭하고 뒤로 돌아가며 인접 페이지를 탐색합니다.
이러한 행동이 결합되면 일부 안티봇 공급업체가 기술적 핑거프린트만큼 적극적으로 분석하는 행동 핑거프린트가 됩니다.

사람과 유사한 행동 설계

일반적인 해결책은 위의 신호와 일대일로 대응합니다.
  • 마우스 궤적. 선형 moveTo 호출을 곡선을 그리고 흔들리며 가끔 목표를 지나치는 베지어 또는 노이즈가 적용된 경로로 바꿉니다.
  • 클릭 오프셋. 대상 요소의 경계 상자 안에서 항상 기하학적 중앙이 아니라 약간 무작위로 벗어난 위치를 클릭합니다.
  • 타이밍 분포. 고정 대기 시간을 분포에서 추출한 값으로 바꿉니다. 로그 정규 분포가 효과적이며, 작업 간격이 리듬을 띠지 않고 자연스럽게 보이게 합니다.
  • 스크롤 및 체류. 일시 중지가 포함된 스크롤 이벤트를 삽입하고 원하는 데이터가 이미 DOM에 있더라도 페이지에서 일정 시간을 보냅니다.
  • 불완전한 탐색. 가끔 대상이 아닌 링크를 클릭한 뒤 뒤로 돌아가고, 목표 페이지를 방문하기 전에 동등한 페이지 몇 개를 둘러봅니다.
어떤 방법도 단독으로 결정적이지는 않지만 조합하면 행동 서명을 “봇”에서 “모호하거나 사람과 유사함”으로 옮길 수 있습니다.

Octoparse의 접근 방식

Octoparse는 작업 실행의 일부로 실제 탐색 동작을 시뮬레이션합니다. 마우스가 직선이 아닌 곡선 궤적을 따르고, 항상 정중앙이 아니라 대상 요소 내의 무작위 오프셋 위치를 클릭하며, 작업을 일정한 간격이 아닌 다양한 타이밍으로 실행합니다. 운영자가 변화를 직접 스크립팅하지 않아도 이러한 패턴이 안티봇 시스템에서 분석하는 기계적 서명을 없애줍니다. 행동 시뮬레이션은 Octoparse의 능동적 핑거프린트 관리와 함께 작동합니다. 런타임은 세션마다 다른 실제 사용자처럼 보이고, 페이지에 진입한 뒤에도 실제 사용자처럼 행동합니다.

필요한 상황과 불필요한 상황

행동 스텔스에는 엔지니어링, 설정, 때로는 처리량이라는 실제 비용이 따르므로 선택적으로 사용하세요.
  • 가벼운 방어(정적 사이트 또는 방어가 약한 사이트). 생략하세요. 깔끔한 헤디드 브라우저로 충분하므로 다른 부분에 노력을 들이세요.
  • 중간 수준의 방어(속도 제한 + 기본 봇 탐지). 타이밍 분포, 스크롤, 마우스 곡선 같은 행동 요소를 사용하세요.
  • 강력한 방어(Cloudflare, DataDome, HUMAN, Akamai Bot Manager). 필수입니다. 현실적인 행동이 없으면 전체 브라우저 렌더링 비용을 지불하고도 차단됩니다.
판단 원칙은 스텔스 투자를 대상 사이트의 실제 행동에 맞추는 것입니다. 지나치면 작업이 낭비되고 부족하면 모든 것이 낭비됩니다. 행동 스텔스와 함께 사용할 핑거프린트 기법은 브라우저 핑거프린팅을 참조하세요. 이 기법이 대응하는 구체적인 방어 시스템은 CAPTCHA 및 Cloudflare 우회를 참조하세요. 네트워크 계층의 보완책은 로테이션 프록시를 참조하세요.