Scraping hinter Anmeldeschranken

Viele nützliche Seiten liegen hinter einer Anmeldung: Konto-Dashboards, interne Portale, Mitgliederverzeichnisse, gespeicherte Suchen, Bestellverläufe und private Berichte. Für einen Web-Scraper besteht die Herausforderung nicht nur darin, Benutzername und Passwort einzugeben. Die eigentliche Aufgabe ist, eine gültige authentifizierte Sitzung lange genug aufrechtzuerhalten, um zuverlässig navigieren und Daten extrahieren zu können. Authentifiziertes Scraping sollte auf Daten beschränkt bleiben, auf die Sie zugreifen dürfen. Eine Anmeldung hebt rechtliche, vertragliche, datenschutzrechtliche oder plattformspezifische Verpflichtungen nicht auf. Behandeln Sie diesen Workflow als risikoreicher: Verwenden Sie autorisierte Konten, beachten Sie Zugriffskontrollen und erfassen Sie keine Daten außerhalb der vorgesehenen Kontoberechtigungen.

Was sich nach der Anmeldung ändert

Eine öffentliche Seite lässt sich oft mit einer einfachen HTTP-Anfrage abrufen. Eine angemeldete Seite hängt meist von mehreren Teilen des Browserzustands ab:

Sitzungs-Cookies, die belegen, dass der Benutzer bereits authentifiziert wurde.
CSRF-Token oder Anfrage-Header, die die Website bei Formularübermittlungen und API-Aufrufen erwartet.
Werte im lokalen Speicher oder Sitzungsspeicher, die von Single-Page-Apps verwendet werden.
Weiterleitungslogik, die nicht authentifizierte Besucher zu /login zurückschickt.
Ablaufregeln, die Sitzungen nach einer bestimmten Zeit, Inaktivität, IP-Änderungen oder Sicherheitsereignissen ungültig machen.

Deshalb schlägt es häufig fehl, lediglich eine angemeldete URL in einen Web-Scraper zu kopieren. Die URL ist nur der sichtbare Teil; erst der Sitzungszustand ermöglicht das Laden der Seite.

Ansatz 1: Cookies aus einer echten Sitzung wiederverwenden

Der häufigste Ansatz besteht darin, sich einmal anzumelden, die entstehenden Cookies zu speichern und sie bei späteren Scraping-Läufen wiederzuverwenden. Dies funktioniert gut, wenn die Website Sitzungen über Stunden oder Tage aktiv hält und sie nicht zu eng an ein Gerät oder eine IP-Adresse bindet. Im Code sieht das Muster folgendermaßen aus:

import requests

session = requests.Session()
session.cookies.update({
    "sessionid": "saved-session-cookie",
})

response = session.get("https://example.com/account/orders")
print(response.status_code)

Codieren Sie Cookies in Produktionsumgebungen nicht fest in Quelldateien. Speichern Sie sie sicher, ersetzen Sie sie nach Ablauf und behandeln Sie sie wie Zugangsdaten. Die Wiederverwendung von Cookies funktioniert am besten, wenn die Zielseiten überwiegend serverseitig gerendert werden oder die zugrunde liegende API dieselben Sitzungs-Cookies wie der Browser akzeptiert. Sie wird anfällig, wenn die Website kurzlebige Token, Geräteprüfungen oder häufige Aufforderungen zur erneuten Authentifizierung verwendet.

Ansatz 2: Mit einem Browser anmelden

Einige Websites erfordern einen echten Browser-Anmeldeablauf. Der Web-Scraper öffnet die Anmeldeseite, füllt das Formular aus, sendet es ab, wartet auf die Kontoseite und speichert anschließend den Browserzustand für spätere Läufe.

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    context = browser.new_context()
    page = context.new_page()

    page.goto("https://example.com/login")
    page.fill("#email", "user@example.com")
    page.fill("#password", "correct-horse-battery-staple")
    page.click("button[type='submit']")
    page.wait_for_url("**/account/**")

    context.storage_state(path="auth-state.json")
    browser.close()

Spätere Läufe können den gespeicherten Zustand laden:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch()
    context = browser.new_context(storage_state="auth-state.json")
    page = context.new_page()
    page.goto("https://example.com/account/orders")

Eine browserbasierte Anmeldung ist langsamer als reine Cookie-Anfragen, handhabt jedoch JavaScript-lastige Anmeldeseiten, Weiterleitungen und Speicherwerte zuverlässiger.

Ansatz 3: Anmelde-API nachbilden

Manchmal sendet das Anmeldeformular eine einfache POST-Anfrage an einen Authentifizierungsendpunkt. Wenn der Ablauf unkompliziert und gemäß den Website-Bedingungen zulässig ist, können Sie diese Anfrage direkt mit einem HTTP-Client nachbilden, die zurückgegebenen Cookies erfassen und anschließend auf der Website fortfahren. Dies ist meist weniger stabil als die Browser-Anmeldung, da Authentifizierungsabläufe häufig CSRF-Token, Bot-Prüfungen, Geräte-Fingerprinting oder wechselnde ausgeblendete Felder enthalten. Anhand der Registerkarte „Network“ können Sie erkennen, ob die Anmeldung einfach genug für eine Nachbildung ist oder eine Browsersitzung den sichereren Weg darstellt.

MFA, SSO und Sicherheitsabfragen

Multi-Faktor-Authentifizierung verändert die Gestaltung des Workflows. Ein Web-Scraper sollte nicht versuchen, MFA zu umgehen. Planen Sie stattdessen entsprechend:

Verwenden Sie einen Anmeldeschritt mit menschlicher Mitwirkung und speichern Sie anschließend die authentifizierte Sitzung.
Bevorzugen Sie offizielle APIs oder Dienstkonten, wenn die Website sie anbietet.
Rechnen Sie mit ablaufenden Sitzungen und erstellen Sie einen Workflow zur Aktualisierung oder erneuten Anmeldung.
Verwenden Sie keine persönlichen Konten für unbeaufsichtigte Produktionsaufträge.

Single-Sign-on-Abläufe können noch stärker eingeschränkt sein, da sie mehrere Domains umfassen, Organisationsrichtlinien erfordern oder Sicherheitsabfragen auslösen können, wenn sich die Browseridentität ändert. In diesen Fällen ist ein persistentes Browserprofil oder eine offizielle Integration in der Regel zuverlässiger als ein einfacher HTTP-Client.

Sitzungssicherheit

Authentifiziertes Scraping kann Konten sperren, Warnmeldungen auslösen oder vertrauliche Daten offenlegen, wenn es nachlässig betrieben wird. Nutzen Sie folgende Schutzmaßnahmen:

Separate Konten pro Aufgabe. Vermischen Sie keine unabhängigen Scraping-Aufträge in derselben angemeldeten Sitzung.
IP-Adresse und Browseridentität innerhalb einer Sitzung stabil halten. Ein Proxy-Wechsel während einer Sitzung kann wie eine Kontoübernahme wirken.
Aktionen begrenzen. Angemeldete Bereiche werden häufig strenger überwacht als öffentliche Seiten.
Abmeldeseiten erkennen. Ein Web-Scraper sollte erkennen, wenn er zur Anmeldung weitergeleitet wurde, statt die Anmeldeseite als echte Daten zu analysieren.
Geheimnisse sicher speichern. Zugangsdaten, Cookies und Dateien mit Speicherzuständen sind vertraulich.
Zugriffe bewusst protokollieren. Speichern Sie genügend Laufhistorie für die Fehlerdiagnose, schreiben Sie jedoch keine privaten Seiteninhalte oder Zugangsdaten in Protokolle.

Wie Octoparse dabei hilft

Visuelle Scraping-Tools handhaben authentifizierte Seiten üblicherweise auf zwei Arten: Entweder melden sich Benutzer über einen integrierten Browser an und das Tool bewahrt die resultierenden Cookies und die Browsersitzung auf, oder das Tool simuliert die Anmeldeschritte als Teil der Aufgabe, sodass sich der Web-Scraper vor Beginn der Extraktion anmelden kann. Octoparse folgt diesem allgemeinen Modell. Bei Websites, auf denen die Anmeldung bestehen bleiben kann, authentifizieren sich Benutzer im integrierten Browser und verwenden die gespeicherten Cookies beziehungsweise die Sitzung über mehrere Läufe hinweg wieder. Bei Websites, die eine erneute Anmeldung verlangen, kann die Aufgabe das Anmeldeverhalten simulieren, bevor sie zu den Zielseiten navigiert. Es gelten weiterhin dieselben praktischen Grenzen: MFA kann menschliches Eingreifen erfordern, Sitzungen können ablaufen und das Konto muss zum Zugriff auf die erfassten Daten berechtigt sein.

Wann Sie nicht hinter einer Anmeldung scrapen sollten

Scrapen Sie keine authentifizierten Inhalte, wenn Ihnen die Erlaubnis fehlt, die Daten anderen Benutzern gehören, die Website-Bedingungen den Anwendungsfall untersagen oder ein offizieller Export beziehungsweise eine API verfügbar und der angemessene Kanal ist. Scraping nach Anmeldung sollte autorisierten Workflows vorbehalten bleiben, bei denen der Kontoinhaber eigene zugängliche Daten erfasst oder innerhalb eines genehmigten Geschäftsprozesses handelt. Das technische Muster ist einfach: authentifizieren, Sitzungszustand bewahren, navigieren, Ablauf erkennen und bei Bedarf aktualisieren. Die eigentliche Herausforderung besteht in einem verantwortungsvollen Betrieb.

ERSTE SCHRITTE

WEB-SCRAPING-GRUNDLAGEN

FUNKTIONSWEISE VON WEB-SCRAPERN

ANWENDUNGSFÄLLE

ANLEITUNGEN

Scraping hinter Anmeldeschranken

Was sich nach der Anmeldung ändert

Ansatz 1: Cookies aus einer echten Sitzung wiederverwenden

Ansatz 2: Mit einem Browser anmelden

Ansatz 3: Anmelde-API nachbilden

MFA, SSO und Sicherheitsabfragen

Sitzungssicherheit

Wie Octoparse dabei hilft

Wann Sie nicht hinter einer Anmeldung scrapen sollten

​Was sich nach der Anmeldung ändert

​Ansatz 1: Cookies aus einer echten Sitzung wiederverwenden

​Ansatz 2: Mit einem Browser anmelden

​Ansatz 3: Anmelde-API nachbilden

​MFA, SSO und Sicherheitsabfragen

​Sitzungssicherheit

​Wie Octoparse dabei hilft

​Wann Sie nicht hinter einer Anmeldung scrapen sollten

Was sich nach der Anmeldung ändert

Ansatz 1: Cookies aus einer echten Sitzung wiederverwenden

Ansatz 2: Mit einem Browser anmelden

Ansatz 3: Anmelde-API nachbilden

MFA, SSO und Sicherheitsabfragen

Sitzungssicherheit

Wie Octoparse dabei hilft

Wann Sie nicht hinter einer Anmeldung scrapen sollten