Skip to main content
Octoparse verwendet eine browserbasierte Umgebung, um Websites zu öffnen, mit Seitenelementen zu interagieren und Extraktions-Workflows zu erstellen. Dies hilft bei Websites, deren Daten erst nach Klicks, Scrollen, einer Anmeldung oder dem Laden von JavaScript erscheinen.

​
Integrierter Browser

Im integrierten Browser erstellen und testen Sie Aufgaben. Sie können die Zielwebsite öffnen, Elemente auswählen, Aktionen erstellen und eine Vorschau der extrahierten Daten anzeigen. Sie können ihn für Folgendes verwenden:
  • Ziel-URLs öffnen
  • Text, Links, Bilder und andere Elemente auswählen
  • Auf Schaltflächen oder Menüpunkte klicken
  • Paginierung oder unendliches Scrollen verarbeiten
  • Sich anmelden, wenn eine Aufgabe eine Sitzungseinrichtung erfordert
  • Testen, wie eine Seite während der Extraktion geladen wird

​
Auswahlmodus und Browse-Modus

Octoparse verwendet beim Erstellen einer Aufgabe unterschiedliche Interaktionsmodi. Verwenden Sie den Browse-Modus, wenn Sie vor der weiteren Aufgabeneinrichtung manuell mit der Seite interagieren müssen, etwa um sich anzumelden, ein Popup zu schließen, ein Menü zu öffnen oder den gewünschten Seitenzustand für das Scraping aufzurufen.

​
Chrome-Modus

Der Chrome-Modus verwendet statt des integrierten Browsers einen Chrome-Browser, um Seiten zu öffnen und Daten zu erfassen. Da er einen vollwertigen Browser mit einem vollständigen Fingerprint- und Verhaltensprofil verwendet, das einem echten Benutzer sehr nahekommt, ist er stabiler als der integrierte Browser und wird von Websites mit strengen Anti-Bot-Maßnahmen seltener erkannt oder blockiert. Verwenden Sie den Chrome-Modus, wenn:
  • Der integrierte Browser die Zielseite nicht richtig lädt
  • Die Website nicht standardmäßige Browser erkennt und blockiert
  • Eine vollständigere Browserumgebung erforderlich ist, um echtes Benutzerverhalten nachzubilden

​
Dynamische Seiten

Viele Websites laden Daten erst nach dem ersten Seitenaufruf. Mit dem integrierten Browser können Sie Aktionen für diese Fälle konfigurieren. Häufige dynamische Verhaltensweisen sind:
  • Unendliches Scrollen
  • „Mehr laden“-Schaltflächen
  • Dropdown-Filter
  • Tabs
  • Popups
  • Mit JavaScript gerenderte Inhalte
  • Anmeldebarrieren
  • Detailseiten, die nach dem Anklicken eines Listenelements geöffnet werden
Für diese Seiten benötigt die Aufgabe möglicherweise Wartezeiten, Scrollaktionen, Klicks oder Paginierungsschritte.

​
Bewährte Methoden

  • Warten Sie, bis die Seite vollständig geladen ist, bevor Sie Felder auswählen.
  • Verwenden Sie den Browse-Modus für die manuelle Navigation und wechseln Sie danach zurück in den Auswahlmodus.
  • Fügen Sie Warteschritte hinzu, wenn Inhalte langsam geladen werden.
  • Testen Sie eine kleine Stichprobe, bevor Sie die vollständige Aufgabe ausführen.
  • Prüfen Sie die Feldauswahl erneut, wenn eine Website ihr Layout ändert.
  • Verwenden Sie Protokolle, wenn sich eine Aufgabe während eines Laufs anders verhält.
Eine browserbasierte Aufgabe hängt von der Struktur und dem Verhalten der Zielwebsite ab. Wenn sich die Website ändert, muss die Aufgabe möglicherweise aktualisiert werden.