체크포인트 재개

체크포인트 재개를 사용하면 중단된 로컬 추출을 작업 전체를 처음부터 다시 수집하지 않고 저장된 진행 상황부터 이어서 진행할 수 있습니다. Octoparse 10.2에서 도입된 이 기능은 오래 실행되는 로컬 작업을 위해 설계되었습니다. 이런 작업에서는 다시 시작할 경우 많은 페이지를 다시 방문하고, 이미 끝난 루프를 반복하며, 이미 수집한 데이터를 다시 기다려야 할 수 있습니다.

​

무엇이 저장되나요

지원되는 로컬 작업이 실행되는 동안 Octoparse는 추출이 중단된 지점을 재구성할 수 있을 만큼의 진행 상황을 기록합니다. 워크플로에 따라 저장되는 체크포인트에는 다음이 포함될 수 있습니다.

• 이미 출력된 행 수
• URL, 텍스트, 항목, 스크롤 루프에서의 현재 위치
• 루프에 남아 있는 항목
• 저장된 지점에 도달하는 데 필요한 워크플로 위치와 페이지
• 부스트 모드 실행에서 개별 하위 작업의 진행 상황

현재 실행에 이미 저장된 추출 데이터는 그대로 유지됩니다. 작업을 재개하면 Octoparse가 해당 실행을 복원하고 남은 데이터를 향해 계속 진행합니다.

​

재개하면 어떻게 되나요

로컬 작업이 상품 페이지 5,000개를 수집하다가 3,200행을 출력한 뒤 중단되었다고 가정해 보겠습니다. 작업을 다시 열거나 시작하면 Octoparse는 저장된 체크포인트가 현재 작업에 속하며 사용할 수 있는지 확인합니다. 유효하다면 실행 화면에 기록된 진행 상황이 표시되고 두 가지 선택지가 제공됩니다.

• Resume은 이전 실행을 복원하고 저장된 워크플로 위치로 돌아가 남은 작업을 이어서 진행합니다.
• Re-collect는 체크포인트를 지우고 처음부터 새 실행을 시작합니다.

재개가 항상 마지막 URL을 열어 바로 다음 행을 추출한다는 뜻은 아닙니다. 일부 워크플로는 저장된 위치에 안전하게 도달하기 위해 탐색이나 루프 상태의 일부를 다시 진행해야 합니다. 이 과정에서 Octoparse는 기록된 진행 상황을 이용해 이미 끝난 작업은 건너뛰고, 다시 진행하며 나온 결과를 새 데이터로 처리하지 않습니다. 저장된 위치에 도달하면 추출이 정상적으로 계속됩니다. 부스트 모드에서는 Octoparse가 하위 작업 단위로도 진행 상황을 복원합니다. 완료된 하위 작업은 건너뛰고, 일시 중지·중지·실패했거나 완료되지 않은 하위 작업은 대기열로 돌아갑니다.

​

어느 정도의 작업을 지킬 수 있나요

효과는 실행이 언제 중단되었는지, 그리고 이미 얼마나 진행되었는지에 따라 달라집니다. 대규모 URL 목록, 깊은 페이지 넘기기, 긴 루프, 하위 작업이 많은 부스트 모드 작업에서 개선 효과가 가장 큽니다. 시작 직후 중단된 실행은 완료 직전에 중단된 실행보다 지킬 수 있는 작업이 적습니다.

​

중단된 로컬 실행 재개하기

​

체크포인트를 사용할 수 없는 경우

체크포인트는 특정 작업 구성과 실행을 나타냅니다. Octoparse는 저장된 진행 상황이 호환되지 않는 작업에 적용되지 않도록 재개 전에 체크포인트를 검증합니다. 다음과 같은 경우에는 다시 수집해야 할 수 있습니다.

• 체크포인트가 생성된 뒤 작업이나 입력 URL이 변경된 경우
• 체크포인트가 없거나 손상되었거나 현재 워크플로와 연결할 수 없는 경우
• 저장된 진행 상황이 다른 로컬 실행 모드에서 생성된 경우
• 이전 실행이 정상적으로 완료되어 남은 작업이 없는 경우
• 예약된 로컬 실행이 시작되는 경우. 예약 실행은 재개 여부를 묻지 않고 처음부터 시작합니다

검증에 실패하면 Octoparse는 해당 체크포인트를 사용할 수 없음으로 표시하고, 불확실한 위치에서 조용히 이어가는 대신 새 실행을 제안합니다.

​

체크포인트 재개, 일시 중지, 재시도

세 동작은 서로 다른 문제를 해결합니다.

​

관련 페이지