> ## Documentation Index
> Fetch the complete documentation index at: https://www.octoparse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 웹 스크래핑용 로테이션 프록시

> 스크래퍼가 프록시 로테이션을 사용하는 이유, 데이터 센터·주거용·ISP·모바일 프록시의 차이, 대상 사이트에 맞는 전략 선택 방법을 알아보세요.

IP 기반 차단은 가장 오래된 안티 스크래핑 방어이며 여전히 가장 일반적인 방식 중 하나입니다. 사이트는 한 IP 주소의 요청 수를 세고, 해당 IP를 평판 데이터베이스와 비교하고, 전체 호스팅 대역을 차단하거나, 한 소스의 트래픽이 지나치게 자동화되어 보이면 CAPTCHA를 표시할 수 있습니다.

로테이션 프록시는 여러 IP 주소에 요청을 분산합니다. 올바르게 사용하면 한 IP에 가해지는 부담을 줄이고 스크래퍼를 일반적인 탐색 패턴에 가깝게 작동시킵니다. 잘못 사용하면 불일치하거나 품질이 낮거나 계속 바뀌는 ID에서 수천 개 요청이 발생하여 더 강한 봇 신호를 만듭니다.

## 프록시가 바꾸는 것

프록시는 스크래퍼와 대상 웹사이트 사이에 위치합니다. 웹사이트에는 운영자의 직접 연결 대신 프록시의 IP 주소가 표시됩니다.

이는 다음과 같은 스크래핑 문제에 도움이 됩니다.

* **속도 제한.** 하나의 IP에 집중되는 대신 요청을 분산할 수 있습니다.
* **IP 차단.** 차단된 IP를 풀에서 제거할 수 있습니다.
* **지역 제한.** 콘텐츠를 이용할 수 있는 지역의 IP를 작업에 사용할 수 있습니다.
* **운영상 개인정보 보호.** 운영자의 로컬 IP가 모든 대상 사이트에 노출되지 않습니다.
* **클라우드 병렬 처리.** 하위 작업이 하나의 주소를 두고 경쟁하지 않고 별도의 네트워크 경로를 통해 실행될 수 있습니다.

프록시는 잘못된 선택자, 중단된 페이지 넘기기, 명백한 브라우저 자동화를 해결하지 않습니다. 완전한 안티봇 전략이 아니라 규모 확장 스택의 한 계층입니다.

## 프록시 유형

### 데이터 센터 프록시

데이터 센터 프록시는 호스팅 공급업체 및 클라우드 인프라에서 제공됩니다. 빠르고 저렴하며 대량으로 쉽게 구매할 수 있습니다.

방어가 약한 사이트, 공개 디렉터리, 주로 요청량만 확인하는 대상에 적합합니다. 알려진 호스팅 대역을 차단하거나 일반 사용자 트래픽을 기대하는 사이트에서는 성능이 좋지 않습니다.

### 주거용 프록시

주거용 프록시는 일반 인터넷 서비스 공급업체에 연결된 IP를 통해 트래픽을 라우팅합니다. 일반 사용자 트래픽과 더 유사해 전자상거래, 검색, 여행 및 기타 보호된 사이트에서 더 성공적인 경우가 많습니다.

비용과 윤리가 상충합니다. IP 풀이 어떻게 조달되고 사용자의 동의를 받았는지 설명할 수 있는 공급업체를 이용하세요. 품질이 낮은 주거용 풀은 법률, 개인정보 보호, 신뢰성 문제를 일으킬 수 있습니다.

### ISP 프록시

ISP 프록시는 데이터 센터와 주거용 프록시의 중간에 있습니다. 데이터 센터 프록시처럼 호스팅되지만 인터넷 서비스 공급업체에 등록되어 있습니다. 일반적으로 로테이션 주거용 IP보다 안정적이고 일반 데이터 센터 대역보다 의심을 덜 받습니다.

스크래퍼에 고정 세션, 안정적인 지역, 클라우드 호스팅 IP보다 좋은 평판이 필요할 때 유용합니다.

### 모바일 프록시

모바일 프록시는 이동통신사 네트워크를 통해 라우팅합니다. 많은 실제 모바일 사용자가 통신사급 NAT IP를 공유하므로 신뢰도가 매우 높을 수 있습니다. 하지만 비용이 많이 들고 필요 이상의 선택인 경우가 많습니다.

대상 사이트가 모바일 중심이거나 다른 프록시 유형이 계속 실패할 때만 모바일 프록시를 사용하세요.

## 로테이션 전략

프록시 로테이션이 항상 "요청마다 새 IP"를 뜻하는 것은 아닙니다. 올바른 전략은 사이트와 워크플로에 따라 달라집니다.

### 요청별 로테이션

각 요청에서 다른 IP를 사용합니다. 공개 검색 결과나 단순 제품 목록 페이지처럼 상태가 없는 페이지에 사용할 수 있습니다.

쿠키, 장바구니, 로그인 상태 또는 지역 일관성에 의존하는 세션에는 위험합니다. IP를 너무 자주 바꾸면 의심스럽게 보일 수 있습니다.

### 고정 세션

작업자가 일정 시간 또는 세션 전체에서 같은 IP를 유지합니다. JavaScript 사용량이 많은 사이트, 로그인 영역, 페이지 넘기기 흐름, 웹사이트가 연속성을 기대하는 모든 작업에 대체로 더 적합합니다.

예를 들어 스크래퍼가 검색하고 여러 결과 페이지를 열어 상세 정보를 추출하는 동안 한 IP를 유지한 뒤 다음 키워드나 카테고리를 시작하기 전에 교체할 수 있습니다.

### 작업별 로테이션

각 하위 작업이 자체 프록시 ID를 받습니다. 카테고리, 도시, 키워드 또는 URL 묶음 하나가 한 IP나 소규모 풀을 통해 실행됩니다. 하위 작업은 이미 자연스러운 병렬 처리 경계이므로 클라우드 추출과 잘 맞습니다.

### 지역 타겟 로테이션

프록시 지역을 의도적으로 선택합니다. 미국 가격을 수집하는 작업은 미국 IP를 사용하고, 국가별 재고 상태를 비교하는 작업은 지역별로 나누어야 합니다. 브라우저 시간대와 언어도 선택한 지역과 일치해야 합니다.

## 활용 사례에 맞는 프록시 선택

| 활용 사례           | 프록시 접근 방식                                |
| --------------- | ---------------------------------------- |
| 공개 정적 페이지       | 프록시를 사용하지 않거나 보수적인 속도 제한을 적용한 데이터 센터 프록시 |
| 대규모 제품 카탈로그     | 방어 수준에 따라 로테이션 데이터 센터 또는 주거용 프록시         |
| 검색 엔진 또는 마켓플레이스 | 고정 세션과 핑거프린트 일관성을 갖춘 주거용 또는 ISP 프록시      |
| 로그인한 대시보드       | 계정별 안정적인 IP, 공격적인 로테이션 방지                |
| 지역별 가격 또는 재고 상태 | 국가 또는 지역 타겟 프록시                          |
| 모바일 전용 콘텐츠      | 정말 필요한 경우에만 모바일 프록시                      |

핵심은 네트워크 ID를 탐색 프로필과 일치시키는 것입니다. 브라우저 핑거프린트, 언어, 시간대, 요청 속도, 세션 행동이 사용 중인 IP와 모두 일치할 때 로테이션 프록시 풀이 가장 잘 작동합니다.

## 일반적인 실수

* **지나치게 자주 로테이션.** 클릭할 때마다 새 IP를 사용하면 사람처럼 보이기는커녕 더 부자연스러울 수 있습니다.
* **IP 품질 무시.** 차단된 저가 IP는 CAPTCHA 빈도를 높일 수 있습니다.
* **지역 혼합.** 독일 IP에 미국 시간대와 일본어 헤더를 사용하면 불일치합니다.
* **로그인 중 IP 변경.** 로그인한 세션은 일반적으로 고정 상태를 유지해야 합니다.
* **너무 빠른 확장.** 프록시가 많다고 과부하가 걸린 대상을 더 안전하게 스크래핑할 수 있는 것은 아닙니다.
* **프록시를 합법성으로 오해.** 프록시는 네트워크 라우팅을 바꿀 뿐이며 권한, 서비스 약관, 개인정보 보호 의무 또는 robots.txt 관련 사항을 바꾸지 않습니다.

## 시각적 플랫폼의 처리 방식

통합 스크래핑 플랫폼은 프록시 로테이션을 사용자 지정 인프라가 아닌 작업 설정의 일부로 제공하는 경우가 많습니다. 예를 들어 Octoparse는 클라우드 실행용 IP 로테이션, 로컬 및 클라우드 워크플로용 내장 주거용 프록시, 로컬 실행용 사용자 제공 HTTP 프록시를 지원합니다. 클라우드 추출 모델은 작업을 여러 클라우드 서버에서 실행되는 하위 작업으로 나눌 수 있으므로 트래픽이 하나의 로컬 IP 뒤에 집중되지 않습니다.

더 중요한 것은 일반 원칙입니다. 프록시 설정은 작업 실행 전략과 함께 있어야 합니다. 작업을 하위 작업으로 나누고, 실행 일정을 설정하고, 브라우저 세션을 관리하고, 네트워크 경로를 한곳에서 로테이션하는 스크래퍼는 각 계층을 따로 연결한 스크래퍼보다 운영하기 쉽습니다.

## 실용적인 원칙

작동하는 가장 약한 프록시 전략을 사용하세요. 위험이 낮은 대상은 일반적인 속도와 프록시 없이 시작하세요. 요청량만 문제라면 데이터 센터 프록시를 추가하세요. 평판이 중요하면 주거용 또는 ISP 프록시로 전환하세요. 웹사이트가 연속성을 기대할 때는 항상 고정 세션을 사용하세요. 비용과 복잡성을 정당화할 수 있는 경우에만 모바일 프록시와 공격적인 로테이션을 사용하세요.