로컬 추출

로컬 추출은 Octoparse 작업을 사용자 컴퓨터에서 실행합니다. 대상 웹사이트는 로컬 환경에서 열리고 처리되며, 수집한 데이터는 기기에 바로 저장됩니다. 실행 중에도 워크플로를 지켜보고 결과를 확인하며 직접 개입할 수 있습니다. 로컬 추출은 무료로 사용할 수 있습니다. 테스트, 소규모 수집, 그리고 무인 확장보다 실행 환경이나 데이터 위치에 대한 통제가 더 중요한 워크플로에 적합한 선택입니다.

​

로컬로 실행하는 이유

​

무료로 로컬에서 수집

클라우드 추출 용량을 구매하지 않고도 로컬에서 작업을 만들고 테스트하고 실행할 수 있습니다. 따라서 로컬 추출은 다음과 같은 경우에 적합합니다.

• Octoparse를 익히고 평가할 때
• 새 작업을 만들고 디버깅할 때
• 일회성 또는 소규모 데이터 수집이 필요할 때
• 클라우드 규모가 필요하지 않은 작업을 가끔 실행할 때

처리 성능, 메모리, 저장 공간, 전원, 네트워크 연결은 사용자 컴퓨터가 제공합니다. 클라우드 추출 비용이 들지 않더라도 로컬 환경을 유지하는 운영 비용까지 사라지는 것은 아닙니다.

​

직접적인 제어와 가시성

로컬 실행은 작업을 만드는 과정과 가깝게 이어집니다. 페이지 탐색과 추출을 실시간으로 관찰하고, 브라우저와 데이터 미리보기를 비교하고, 실행을 일시 중지하거나 중지할 수 있으며, 선택자·대기 조건·로그인·페이지 동작이 예상과 다르게 작동할 때 작업을 조정할 수 있습니다. 그래서 로컬 추출은 특히 다음과 같은 상황에서 유용합니다.

• 새로 만들었거나 최근에 변경한 워크플로를 테스트할 때
• 특정 웹사이트에서 나타나는 동작을 진단할 때
• 누락되거나 잘못되었거나 중복된 값을 확인할 때
• 로그인, 페이지 넘기기, 스크롤, 상세 페이지 동작을 검증할 때
• 직접 지켜보면서 소규모 일회성 수집을 실행할 때

​

로컬 환경 활용

요청은 Octoparse가 실행되는 네트워크 환경에서 발생합니다. 따라서 작업은 로컬 IP 주소, 지역 기반 접근, 인증된 브라우징 세션, 조직 네트워크를 통한 접근처럼 해당 환경에 묶인 조건을 활용할 수 있습니다. 이는 브라우저에서는 작동하는 작업이 클라우드 서버에서는 다르게 동작할 때 도움이 됩니다. 또한 기기 환경에 대한 통제력도 더 크게 유지할 수 있습니다. 승인된 보조 소프트웨어, 네트워크 도구, 시스템 설정을 사용자의 워크플로와 조직 요구 사항에 맞게 관리할 수 있습니다. 이러한 유연성에는 책임이 따릅니다. 로컬 결과는 컴퓨터, 네트워크, 브라우저 세션, 설치된 소프트웨어, 시스템 구성에 따라 달라집니다. 환경이 바뀌면 작업 동작도 영향을 받을 수 있습니다.

​

실행 중인 작업을 기기에 유지

로컬 추출에서는 작업 실행과 수집 데이터가 주로 로컬 기기에서 처리됩니다. 덕분에 추출 데이터가 저장되는 위치를 더 직접적으로 제어할 수 있으며, 데이터가 사용자 관리 환경에 남아 있어야 하는 정책을 지원하는 데 도움이 됩니다. 실제 데이터 처리 방식은 작업, 계정, 내보내기 대상, 사용 중인 서비스에 따라 달라질 수 있습니다. 로컬 실행 자체가 개인정보 보호나 규정 준수를 보장하지는 않습니다. 데이터가 지나는 전체 경로를 함께 살펴보세요.

• 대상 웹사이트는 여전히 사용자 네트워크에서 오는 요청을 받습니다.
• 로그인, 작업 구성 동기화, 작업 공유, 온라인 내보내기를 사용하면 관련 정보가 해당 서비스로 전송될 수 있습니다.
• 내보낸 데이터는 대상의 보안 및 접근 제어를 따릅니다.
• 컴퓨터나 로컬 결과 파일에 접근할 수 있는 사람은 수집한 데이터에도 접근할 수 있습니다.

데이터 처리 요건이 엄격하다면 작업, 계정, 내보내기 대상, 기기 통제, 조직 정책을 함께 확인하세요.

​

자격 증명과 세션 관리

로컬 추출은 데스크톱 환경에서 만들어진 세션에 의존하는 웹사이트에 유용할 수 있습니다. 해당 브라우징 상태를 별도의 클라우드 환경에서 다시 만들어야 하는 부담을 줄여 줍니다. 로그인 자격 증명과 쿠키는 민감한 정보로 취급하세요. 승인된 계정을 사용하고, 기기를 보호하고, 작업 파일과 결과에 대한 접근을 제한하며, 접근 권한이 없는 데이터는 수집하지 마세요.

​

체크포인트 재개로 중단된 작업 복구하기

로컬 추출의 가장 큰 운영상 절충점은 기기 의존성입니다. 실행이 컴퓨터, Octoparse 클라이언트, 전원, 네트워크 연결에 좌우되기 때문입니다. Octoparse 10.2는 체크포인트 재개로 중단에 따르는 손실을 줄여 줍니다. 지원되는 대화형 로컬 실행에서는 출력된 행, 루프 위치, 완료되지 않은 작업 등 추출 진행 상황이 기록됩니다. 실행이 완료 전에 중단되면 작업을 다시 시작할 때 두 가지 선택지가 나타날 수 있습니다.

• Resume은 저장된 실행을 복원하고 남은 데이터를 향해 계속 진행합니다.
• Re-collect는 체크포인트를 버리고 처음부터 시작합니다.

Octoparse는 체크포인트를 사용하기 전에 현재 작업과 대조해 검증합니다. 작업이나 입력 URL이 변경되었거나, 체크포인트가 없거나 손상되었거나, 저장된 상태를 안전하게 연결할 수 없다면 작업은 처음부터 시작해야 합니다. 예약된 로컬 실행도 재개 여부를 묻지 않고 처음부터 시작합니다. 체크포인트 재개는 장시간 로컬 수집을 더 현실적으로 만들어 주지만, 기기를 계속 사용할 수 있게 유지하거나 중단 후 최종 데이터 세트를 검증해야 하는 필요까지 없애지는 않습니다.

​

로컬 추출의 장단점

​

로컬 추출의 한계

로컬 추출은 클라우드 확장성과 관리형 인프라 대신 직접적인 제어를 선택하는 방식입니다.

• 제한된 확장성: 로컬 실행은 컴퓨터 한 대의 CPU, 메모리, 저장 공간, 네트워크 용량에 제한됩니다.
• 기기에 좌우되는 안정성: 정전, 절전 모드 전환, 네트워크 중단, 애플리케이션 종료, 운영체제 문제로 작업이 멈출 수 있습니다.
• 높은 운영 책임: 하드웨어, 운영체제, 소프트웨어 환경, 저장 공간, 보안 통제, 네트워크 가용성을 직접 관리해야 합니다.
• 무인 운영에는 부적합: 컴퓨터가 계속 사용 가능한 상태여야 합니다. 로컬 예약 실행도 가능하지만, 예약 시각에 여전히 기기에 의존합니다.

체크포인트 재개는 지원되는 실행의 진행 상황을 보존해 일부 중단의 손실을 줄여 줍니다. 다만 클라우드 추출과 같은 상시 가용성이나 탄력적인 리소스를 제공하지는 않습니다. 컴퓨터를 끈 뒤에도 작업이 실행되어야 하거나, 반복적인 무인 일정으로 운영해야 하거나, 프로덕션 규모의 수집에 클라우드 리소스를 사용해야 한다면 클라우드 추출을 사용하세요.

​

관련 페이지