Skip to main content
스탠다드 모드와 부스트 모드는 Octoparse 작업을 실행하는 클라우드 추출 옵션입니다. 서로 다른 성능 요구 사항에 맞게 설계되었습니다. 일반적인 클라우드 추출에는 스탠다드 모드를 사용하세요. 작업과 플랜이 더 빠르거나 동시 실행 수가 많은 실행을 지원할 때는 부스트 모드를 사용하세요.

작동 방식

스탠다드 모드

스탠다드 모드에서는 전체 작업이 분할되지 않고 하나의 클라우드 서버에서 실행됩니다. 해당 서버 하나가 모든 데이터 레코드를 순차적으로 수집합니다. 따라서 워크플로가 단순하고 예측 가능하지만 웹사이트 오류나 타임아웃으로 실행이 중단되면 작업을 처음부터 다시 시작해야 합니다. 대규모 데이터세트에서는 하나의 서버가 장시간 실행되므로 실행 도중 실패할 위험도 커집니다. 스탠다드 모드는 소규모 데이터세트, 테스트 실행 또는 한 번에 하나의 활성 로그인 세션만 허용하는 웹사이트에 가장 적합합니다.

부스트 모드

부스트 모드에서는 작업이 여러 하위 작업으로 자동 분할됩니다. 각 하위 작업이 하나의 클라우드 서버에 할당되어 전체 데이터 중 일부만 수집합니다. 하위 작업 수는 구체적인 작업 구성에 따라 달라집니다. 이 병렬 방식은 다음과 같은 이점을 제공합니다.
  • 더 빠른 완료 — 하위 작업이 동시에 실행되어 전체 실행 시간이 크게 줄어듭니다.
  • 더 낮은 데이터 손실 위험 — 각 하위 작업이 더 적은 양의 데이터만 처리하므로 실행 도중 실패해도 영향을 받는 레코드 수가 적습니다.
  • 독립적인 복구 — 한 하위 작업이 실패하면 다른 작업에 영향을 주거나 다시 실행하지 않고 개별적으로 재시작할 수 있어 복구 시간이 크게 줄어듭니다.
속도와 복원력이 중요한 대규모 데이터 수집에는 부스트 모드를 권장합니다.

비교

스탠다드 모드를 사용해야 하는 경우

다음과 같은 경우 스탠다드 모드를 사용하세요.
  • 일반 예약 작업을 실행하는 경우
  • 속도가 주된 제약 조건이 아닌 경우
  • 안정적인 기본 클라우드 실행 모드를 원하는 경우
  • 데이터세트 크기가 중간 정도인 경우
  • 작업 안정성을 아직 검증하는 중인 경우
  • 대상 웹사이트에서 한 번에 하나의 활성 세션만 허용하는 경우
스탠다드 모드는 일반적으로 클라우드 추출의 출발점입니다.

부스트 모드를 사용해야 하는 경우

다음과 같은 경우 부스트 모드를 사용하세요.
  • 더 빠른 추출이 필요한 경우
  • 작업이 더 큰 데이터세트를 수집하는 경우
  • 작업을 더 높은 동시 실행 수로 안전하게 실행할 수 있는 경우
  • 워크플로를 이미 테스트한 경우
  • 플랜에서 해당 모드를 지원하는 경우
실행 시간이 병목이고 사이트 문제를 유발하지 않으면서 더 빠르게 실행할 수 있는 작업에는 부스트 모드가 가장 유용합니다.

부스트 모드 사용 전 확인 사항

작업을 부스트 모드로 전환하기 전에 다음을 확인하세요.
  • 대상 웹사이트가 더 빠른 요청이나 많은 활동을 처리할 수 있음
  • 페이지 넘기기와 상세 페이지 워크플로가 안정적으로 유지됨
  • 안티봇 또는 요청 한도 문제가 증가하지 않음
  • 출력 품질이 일관되게 유지됨
  • 플랜에서 필요한 클라우드 리소스를 지원함
추출 속도가 빠르다고 항상 좋은 것은 아닙니다. 일부 웹사이트에서는 작업을 지나치게 빠르게 실행할 때 실패하거나 요청을 차단하거나 불완전한 데이터를 반환할 가능성이 커집니다.

권장 워크플로

1

먼저 로컬에서 실행

작업이 올바른 필드와 페이지 흐름을 수집하는지 확인합니다.
2

스탠다드 모드에서 실행

클라우드 환경에서 작업이 정상적으로 작동하는지 검증합니다.
3

필요할 때 부스트 모드 사용

작업이 안정적이고 속도가 실제 요구 사항일 때만 부스트 모드를 사용합니다.
4

출력 비교

모드를 전환한 후 레코드 수, 누락된 필드, 중복 및 오류를 확인합니다.