Skip to main content
Websites können automatisierte Zugriffe erkennen oder einschränken, wenn der Datenverkehr ungewöhnlich oder zu häufig erscheint oder vom normalen Browserverhalten abweicht. Octoparse bietet verschiedene Einstellungen und Workflow-Verfahren, die Fehler verringern können. Keine Anti-Blocking-Methode kann jedoch den Zugriff auf jede Website garantieren. Diese Seite erklärt, warum Aufgaben blockiert werden und welche Octoparse-Funktionen helfen können.

Häufige Blockierungssignale

Websites können Extraktionsaufgaben unter anderem anhand der folgenden Signale blockieren oder einer Prüfung unterziehen:
  • Zu viele Anfragen in kurzer Zeit
  • Wiederholter Zugriff von derselben IP-Adresse
  • Fehlende oder ungewöhnliche Browser-Fingerprints
  • Unstimmigkeiten bei Anmeldung oder Cookies
  • CAPTCHA-Prüfungen
  • Nicht übereinstimmende Region oder Standortangabe
  • Ungewöhnliches Navigationsverhalten
  • Während eines Laufs ablaufende Sitzungen

Häufige Symptome

Anti-Blocking-Optionen

Proxy-Einstellungen

Verwenden Sie Proxys, wenn die Website empfindlich auf IP-Adresse, Standort oder Anfragehäufigkeit reagiert.

Browser-Fingerprinting

Erfahren Sie, wie Browsersignale die Erkennung durch Websites beeinflussen können.

CAPTCHA-Verarbeitung

Erfahren Sie, was zu tun ist, wenn eine Website beim Erstellen oder Ausführen einer Aufgabe ein CAPTCHA anzeigt.

Automatische Anmeldung und Cookies

Stabilisieren Sie sitzungsabhängige Aufgaben mit Anmelde- und Cookie-Workflows.

Empfohlener Ablauf zur Fehlerbehebung

1

Lokalen Test ausführen

Beobachten Sie die Aufgabe im integrierten Browser und ermitteln Sie, wo die Blockierung oder der Fehler auftritt.
2

Prüfen, ob Anmeldung oder Cookies erforderlich sind

Wenn die Website ein Konto erfordert, vergewissern Sie sich vor dem Aufgabenlauf, dass die Sitzung gültig ist.
3

Workflow verlangsamen

Fügen Sie Wartezeiten hinzu, reduzieren Sie die Häufigkeit und vermeiden Sie unnötige wiederholte Aktionen.
4

Proxy- oder Standortanforderungen prüfen

Wenn Inhalte von der Region oder dem Ruf der IP-Adresse abhängen, konfigurieren Sie gegebenenfalls Proxy-Einstellungen.
5

Lokales und Cloud-Verhalten vergleichen

Wenn die Aufgabe lokal funktioniert, aber in der Cloud fehlschlägt, prüfen Sie die Cloud-Laufprotokolle und das Verhalten der Website.

Bewährte Methoden

  • Testen Sie eine kleine Stichprobe, bevor Sie skalieren.
  • Führen Sie Aufgaben nicht häufiger als nötig aus.
  • Fügen Sie Warteschritte für dynamische oder langsam ladende Seiten hinzu.
  • Halten Sie Anmeldesitzungen und Cookies aktuell.
  • Überwachen Sie nach Änderungen an den Aufgabeneinstellungen die Laufprotokolle.
  • Beachten Sie Nutzungsbedingungen, robots-Regeln und geltende Gesetze.
Anti-Blocking-Funktionen erhöhen die Zuverlässigkeit, umgehen jedoch nicht jede Einschränkung. Wenn eine Website automatisierten Zugriff ausdrücklich verhindert oder die Erfassung der Daten nicht zulässig ist, dürfen Sie diese nicht scrapen.