Checkpoint-Wiederaufnahme

Mit der Checkpoint-Wiederaufnahme kann eine unterbrochene lokale Extraktion beim gespeicherten Fortschritt fortgesetzt werden, statt die gesamte Aufgabe von vorn zu erfassen. Die Funktion wurde mit Octoparse 10.2 eingeführt und ist für lang laufende lokale Aufgaben gedacht, bei denen ein Neustart bedeuten würde, viele Seiten erneut aufzurufen, abgeschlossene Schleifen zu wiederholen und erneut auf bereits erfasste Daten zu warten.

Was gespeichert wird

Während eine unterstützte lokale Aufgabe läuft, zeichnet Octoparse genug Fortschritt auf, um zu rekonstruieren, wo die Extraktion gestoppt wurde. Je nach Workflow kann der gespeicherte Checkpoint Folgendes enthalten:

Die Anzahl der bereits ausgegebenen Zeilen
Die aktuelle Position in einer URL-, Text-, Element- oder Scroll-Schleife
Die verbleibenden Elemente der Schleife
Die Workflow-Position und die Seite, die zum Erreichen des gespeicherten Punkts nötig sind
Den Fortschritt einzelner Teilaufgaben in einem Lauf im Boost-Modus

Die im aktuellen Lauf bereits gespeicherten extrahierten Daten bleiben erhalten. Bei der Wiederaufnahme stellt Octoparse diesen Lauf wieder her und arbeitet an den verbleibenden Daten weiter.

Was bei der Wiederaufnahme passiert

Angenommen, eine lokale Aufgabe erfasst 5.000 Produktseiten und stoppt nach 3.200 ausgegebenen Zeilen. Wenn Sie die Aufgabe erneut öffnen oder starten, prüft Octoparse, ob der gespeicherte Checkpoint noch zur aktuellen Aufgabe gehört und verwendet werden kann. Ist er gültig, zeigt der Runner den aufgezeichneten Fortschritt an und stellt Ihnen zwei Optionen zur Wahl:

Resume stellt den vorherigen Lauf wieder her, kehrt zur gespeicherten Workflow-Position zurück und setzt die verbleibende Arbeit fort.
Re-collect verwirft den Checkpoint und startet einen neuen Lauf von vorn.

Wiederaufnahme bedeutet nicht immer, die letzte URL zu öffnen und sofort die nächste Zeile zu extrahieren. Manche Workflows müssen einen Teil ihrer Navigation oder ihres Schleifenzustands erneut abspielen, um die gespeicherte Position sicher zu erreichen. Während dieser Wiederholung nutzt Octoparse den aufgezeichneten Fortschritt, um abgeschlossene Arbeit zu überspringen und wiederholte Ausgaben nicht als neue Daten zu behandeln. Sobald die gespeicherte Position erreicht ist, läuft die Extraktion normal weiter. Im Boost-Modus stellt Octoparse den Fortschritt zusätzlich pro Teilaufgabe wieder her: Abgeschlossene Teilaufgaben werden übersprungen, während pausierte, gestoppte, fehlgeschlagene oder unvollständige Teilaufgaben in die Warteschlange zurückkehren.

Wie viel Arbeit erhalten bleibt

Der Nutzen hängt davon ab, wann der Lauf gestoppt wurde und wie viel Arbeit bereits abgeschlossen war.

Ohne Checkpoint-Wiederaufnahme	Mit Checkpoint-Wiederaufnahme
Die Aufgabe ab der ersten Eingabe oder Seite neu starten	Mit dem unfertigen Teil des Laufs weitermachen
Bereits verarbeitete Seiten und Schleifen erneut aufrufen	Aufgezeichneten Schleifen- und Workflow-Fortschritt wiederherstellen
Warten, bis abgeschlossene Teilaufgaben erneut laufen	Abgeschlossene Teilaufgaben im Boost-Modus überspringen
Nach jeder Unterbrechung einen neuen Lauf anlegen	Den vorhandenen Lauf und die erfassten Daten weiterverwenden

Am größten ist der Vorteil bei umfangreichen URL-Listen, tiefer Paginierung, langen Schleifen oder Aufgaben im Boost-Modus mit vielen Teilaufgaben. Ein Lauf, der kurz nach dem Start unterbrochen wird, erhält weniger Arbeit als einer, der kurz vor dem Abschluss stoppt.

Einen unterbrochenen lokalen Lauf fortsetzen

Die Aufgabe erneut starten

Öffnen Sie den unterbrochenen lokalen Lauf oder starten Sie dieselbe Aufgabe aus der Aufgabenliste.

Resume wählen

Wählen Sie Resume, um den vorherigen Lauf wiederherzustellen. Wählen Sie Re-collect, wenn Sie den gespeicherten Fortschritt bewusst verwerfen und die Aufgabe von vorn ausführen möchten.

Auf die Wiederherstellung des Fortschritts warten

Octoparse spielt unter Umständen Seitennavigation oder Workflow-Aktionen erneut ab, bevor die aufgezeichnete Position erreicht wird. Der Runner zeigt an, wann der Fortschritt wiederhergestellt wird und wann der Checkpoint erreicht ist.

Den abgeschlossenen Lauf überprüfen

Prüfen Sie nach Abschluss der restlichen Extraktion die Anzahl der Ausgabezeilen und Beispieldatensätze rund um den Unterbrechungspunkt. Stellen Sie sicher, dass der finale Datensatz die vorgesehenen Eingaben abdeckt und keine unerwartet fehlenden oder doppelten Datensätze enthält.

Wann ein Checkpoint nicht verwendet werden kann

Ein Checkpoint steht für eine bestimmte Aufgabenkonfiguration und einen bestimmten Lauf. Octoparse validiert ihn vor der Wiederaufnahme, damit gespeicherter Fortschritt nicht auf eine inkompatible Aufgabe angewendet wird. Eine erneute Erfassung kann nötig sein, wenn:

Die Aufgabe oder ihre Eingabe-URLs nach dem Erstellen des Checkpoints geändert wurden
Der Checkpoint fehlt, beschädigt ist oder dem aktuellen Workflow nicht zugeordnet werden kann
Der gespeicherte Fortschritt aus einem anderen lokalen Ausführungsmodus stammt
Der vorherige Lauf erfolgreich abgeschlossen wurde und keine Arbeit mehr offen ist
Ein geplanter lokaler Lauf startet; geplante Läufe beginnen von vorn, statt auf eine Entscheidung zur Wiederaufnahme zu warten

Schlägt die Validierung fehl, markiert Octoparse den Checkpoint als nicht verfügbar und bietet einen neuen Lauf an, statt stillschweigend von einer unsicheren Position aus fortzufahren.

Checkpoints werden mit dem lokalen Desktop-Lauf gespeichert. Setzen Sie die Aufgabe in derselben Octoparse-Desktop-Umgebung fort, in der der Fortschritt aufgezeichnet wurde.