프록시가 바꾸는 것
프록시는 스크래퍼와 대상 웹사이트 사이에 위치합니다. 웹사이트에는 운영자의 직접 연결 대신 프록시의 IP 주소가 표시됩니다. 이는 다음과 같은 스크래핑 문제에 도움이 됩니다.- 속도 제한. 하나의 IP에 집중되는 대신 요청을 분산할 수 있습니다.
- IP 차단. 차단된 IP를 풀에서 제거할 수 있습니다.
- 지역 제한. 콘텐츠를 이용할 수 있는 지역의 IP를 작업에 사용할 수 있습니다.
- 운영상 개인정보 보호. 운영자의 로컬 IP가 모든 대상 사이트에 노출되지 않습니다.
- 클라우드 병렬 처리. 하위 작업이 하나의 주소를 두고 경쟁하지 않고 별도의 네트워크 경로를 통해 실행될 수 있습니다.
프록시 유형
데이터 센터 프록시
데이터 센터 프록시는 호스팅 공급업체 및 클라우드 인프라에서 제공됩니다. 빠르고 저렴하며 대량으로 쉽게 구매할 수 있습니다. 방어가 약한 사이트, 공개 디렉터리, 주로 요청량만 확인하는 대상에 적합합니다. 알려진 호스팅 대역을 차단하거나 일반 사용자 트래픽을 기대하는 사이트에서는 성능이 좋지 않습니다.주거용 프록시
주거용 프록시는 일반 인터넷 서비스 공급업체에 연결된 IP를 통해 트래픽을 라우팅합니다. 일반 사용자 트래픽과 더 유사해 전자상거래, 검색, 여행 및 기타 보호된 사이트에서 더 성공적인 경우가 많습니다. 비용과 윤리가 상충합니다. IP 풀이 어떻게 조달되고 사용자의 동의를 받았는지 설명할 수 있는 공급업체를 이용하세요. 품질이 낮은 주거용 풀은 법률, 개인정보 보호, 신뢰성 문제를 일으킬 수 있습니다.ISP 프록시
ISP 프록시는 데이터 센터와 주거용 프록시의 중간에 있습니다. 데이터 센터 프록시처럼 호스팅되지만 인터넷 서비스 공급업체에 등록되어 있습니다. 일반적으로 로테이션 주거용 IP보다 안정적이고 일반 데이터 센터 대역보다 의심을 덜 받습니다. 스크래퍼에 고정 세션, 안정적인 지역, 클라우드 호스팅 IP보다 좋은 평판이 필요할 때 유용합니다.모바일 프록시
모바일 프록시는 이동통신사 네트워크를 통해 라우팅합니다. 많은 실제 모바일 사용자가 통신사급 NAT IP를 공유하므로 신뢰도가 매우 높을 수 있습니다. 하지만 비용이 많이 들고 필요 이상의 선택인 경우가 많습니다. 대상 사이트가 모바일 중심이거나 다른 프록시 유형이 계속 실패할 때만 모바일 프록시를 사용하세요.로테이션 전략
프록시 로테이션이 항상 “요청마다 새 IP”를 뜻하는 것은 아닙니다. 올바른 전략은 사이트와 워크플로에 따라 달라집니다.요청별 로테이션
각 요청에서 다른 IP를 사용합니다. 공개 검색 결과나 단순 제품 목록 페이지처럼 상태가 없는 페이지에 사용할 수 있습니다. 쿠키, 장바구니, 로그인 상태 또는 지역 일관성에 의존하는 세션에는 위험합니다. IP를 너무 자주 바꾸면 의심스럽게 보일 수 있습니다.고정 세션
작업자가 일정 시간 또는 세션 전체에서 같은 IP를 유지합니다. JavaScript 사용량이 많은 사이트, 로그인 영역, 페이지 넘기기 흐름, 웹사이트가 연속성을 기대하는 모든 작업에 대체로 더 적합합니다. 예를 들어 스크래퍼가 검색하고 여러 결과 페이지를 열어 상세 정보를 추출하는 동안 한 IP를 유지한 뒤 다음 키워드나 카테고리를 시작하기 전에 교체할 수 있습니다.작업별 로테이션
각 하위 작업이 자체 프록시 ID를 받습니다. 카테고리, 도시, 키워드 또는 URL 묶음 하나가 한 IP나 소규모 풀을 통해 실행됩니다. 하위 작업은 이미 자연스러운 병렬 처리 경계이므로 클라우드 추출과 잘 맞습니다.지역 타겟 로테이션
프록시 지역을 의도적으로 선택합니다. 미국 가격을 수집하는 작업은 미국 IP를 사용하고, 국가별 재고 상태를 비교하는 작업은 지역별로 나누어야 합니다. 브라우저 시간대와 언어도 선택한 지역과 일치해야 합니다.활용 사례에 맞는 프록시 선택
핵심은 네트워크 ID를 탐색 프로필과 일치시키는 것입니다. 브라우저 핑거프린트, 언어, 시간대, 요청 속도, 세션 행동이 사용 중인 IP와 모두 일치할 때 로테이션 프록시 풀이 가장 잘 작동합니다.
일반적인 실수
- 지나치게 자주 로테이션. 클릭할 때마다 새 IP를 사용하면 사람처럼 보이기는커녕 더 부자연스러울 수 있습니다.
- IP 품질 무시. 차단된 저가 IP는 CAPTCHA 빈도를 높일 수 있습니다.
- 지역 혼합. 독일 IP에 미국 시간대와 일본어 헤더를 사용하면 불일치합니다.
- 로그인 중 IP 변경. 로그인한 세션은 일반적으로 고정 상태를 유지해야 합니다.
- 너무 빠른 확장. 프록시가 많다고 과부하가 걸린 대상을 더 안전하게 스크래핑할 수 있는 것은 아닙니다.
- 프록시를 합법성으로 오해. 프록시는 네트워크 라우팅을 바꿀 뿐이며 권한, 서비스 약관, 개인정보 보호 의무 또는 robots.txt 관련 사항을 바꾸지 않습니다.