Was ein Proxy verändert
Ein Proxy steht zwischen Scraper und Zielwebsite; die Website sieht seine IP statt der direkten Verbindung des Betreibers. Das hilft bei:- Ratenbegrenzungen: Anfragen verteilen sich auf mehrere IPs.
- IP-Sperren: Eine gesperrte IP wird aus dem Pool entfernt.
- Geobeschränkungen: Eine Aufgabe nutzt eine IP aus der verfügbaren Region.
- Betrieblichem Datenschutz: Die lokale IP wird nicht jedem Ziel offengelegt.
- Cloud-Parallelität: Teilaufgaben nutzen getrennte Netzwerkpfade.
Proxy-Arten
Rechenzentrums-Proxys
Sie stammen von Hosting- und Cloud-Anbietern, sind schnell, günstig und in großer Zahl verfügbar. Sie eignen sich für leicht geschützte Websites und öffentliche Verzeichnisse, versagen aber bei blockierten Hosting-Bereichen oder erwarteten Privatkundenzugriffen.Residential Proxies
Residential Proxies leiten Verkehr über IPs von Privatkunden-Internetanbietern. Sie wirken wie normale Nutzer und sind bei E-Commerce-, Such-, Reise- und anderen geschützten Websites oft erfolgreicher. Nachteil sind Kosten und Ethik: Nutzen Sie Anbieter, die Herkunft und Einwilligung ihres IP-Pools erklären können. Minderwertige Pools verursachen Rechts-, Datenschutz- und Zuverlässigkeitsprobleme.ISP-Proxys
ISP-Proxys werden wie Rechenzentrums-Proxys gehostet, sind aber bei Internetanbietern registriert. Sie sind meist stabiler als rotierende Residential-IP-Adressen und unauffälliger als gewöhnliche Cloud-IP-Bereiche. Sie eignen sich für persistente Sitzungen, stabile Geografie und besseren Ruf.Mobile Proxys
Mobile Proxys leiten über Mobilfunknetze. Viele reale Nutzer teilen Carrier-Grade-NAT-IP-Adressen, weshalb sie hohes Vertrauen genießen können. Sie sind teuer und oft überdimensioniert. Nutzen Sie sie nur für mobile Zielwebsites oder wenn andere Arten dauerhaft scheitern.Rotationsstrategien
Rotation je Anfrage
Jede Anfrage nutzt eine andere IP. Das kann bei zustandslosen Such- oder Produktlistenseiten funktionieren, ist aber für Cookies, Warenkörbe, Anmeldungen oder regionale Konsistenz riskant und kann verdächtig wirken.Persistente Sitzungen
Ein Worker behält die IP für eine Zeit oder Sitzung. Das passt zu JavaScript-lastigen Websites, angemeldeten Bereichen, Paginierung und erwarteter Kontinuität. Beispielsweise bleibt eine IP während Suche, Ergebnisaufrufen und Detailextraktion bestehen und wechselt erst beim nächsten Keyword.Rotation auf Aufgabenebene
Jede Teilaufgabe erhält eine Proxy-Identität. Kategorie, Stadt, Keyword oder URL-Batch läuft über eine IP oder einen kleinen Pool. Das passt zur Cloud-Extraktion und ihrer natürlichen Parallelisierung.Gezielte geografische Rotation
Wählen Sie die Region bewusst: US-Preise über US-IP-Adressen; Ländervergleiche nach Region getrennt. Zeitzone und Browsersprache müssen zur Geografie passen.Proxys nach Anwendungsfall
Netzwerkidentität und Browsing-Geschichte müssen zusammenpassen: Fingerprint, Sprache, Zeitzone, Tempo und Sitzung sollten mit der IP übereinstimmen.
Häufige Fehler
- Zu häufig rotieren: Eine neue IP bei jedem Klick wirkt weniger menschlich.
- IP-Qualität ignorieren: Billige gesperrte IPs erhöhen CAPTCHA.
- Geografie vermischen: Deutsche IP, US-Zeitzone und japanische Sprach-Header passen nicht zusammen.
- IP bei Anmeldung wechseln: Angemeldete Sitzungen sollten meist persistent bleiben.
- Zu schnell skalieren: Mehr Proxys machen Überlastung nicht sicher.
- Proxys mit Rechtmäßigkeit verwechseln: Routing ändert weder Erlaubnis, Bedingungen, Datenschutzpflichten noch robots.txt.