Skip to main content
Das dafür eingesetzte Programm wird üblicherweise als „Web-Scraper“ oder „Web-Crawler“ bezeichnet: Es ruft Seiten auf, liest deren HTML-Inhalte und extrahiert die von Ihnen benötigten Daten – eine Arbeit, für die Informationen andernfalls manuell von Webseiten kopiert werden müssten.

​
Häufige Anwendungsfälle

Zu den häufigen Anwendungsfällen gehören das Erfassen von Produktpreisen auf E-Commerce-Websites, das Sammeln von Nachrichtenartikeln und Stellenanzeigen, die Beobachtung von Wettbewerbern sowie der Aufbau von Datensätzen für Forschungszwecke.

​
Funktionsweise

Ein typischer Scraping-Workflow läuft folgendermaßen ab: Eine HTTP-Anfrage wird an eine URL gesendet, die HTML-Antwort empfangen und analysiert, um die relevanten Elemente mithilfe von CSS-Selektoren oder XPath zu finden. Anschließend werden die extrahierten Daten in einem strukturierten Format wie CSV, JSON oder einer Datenbank gespeichert.

​
Unterschiede zu APIs und manueller Erfassung

Im Vergleich zur manuellen Datenerfassung automatisiert Scraping dieselbe Kopierarbeit. Dadurch ist es schneller, wiederholbar und auf Tausende Seiten skalierbar. Im Gegenzug fallen ein anfänglicher Einrichtungsaufwand und laufende Wartungsarbeiten an, wenn sich das Layout einer Website ändert. Im Unterschied zu einer API liest Scraping dasselbe HTML, das ein Browser anzeigt, statt einen speziellen Datenfeed zu verwenden. Wenn eine Website eine offizielle API anbietet, ist diese üblicherweise die zuverlässigere und vorgesehene Option: Die Daten sind bereits strukturiert, stabil und dokumentiert. Scraping kommt zum Einsatz, wenn keine API verfügbar ist, die API die benötigten Daten nicht bereitstellt oder ihre Einschränkungen zu streng sind. Der Nachteil besteht darin, dass Scraping vom Markup einer Seite abhängt und nach Änderungen daran nicht mehr funktionieren kann.

​
Tools und Bibliotheken

Zu den beliebten Tools und Bibliotheken für Web Scraping gehören Beautiful Soup und Scrapy für Python, Puppeteer und Cheerio für JavaScript sowie No-Code-Plattformen wie Octoparse. No-Code-Plattformen verfolgen einen anderen Ansatz als skriptbasierte Bibliotheken: Octoparse führt Seiten beispielsweise in einem echten Browser aus und ermöglicht es Ihnen, per Point-and-Click einen Web-Scraper zu erstellen. Dabei wird nachgebildet, wie eine Person Seiten aufruft und Daten auswählt, anstatt Extraktionscode zu schreiben. Bei Seiten, deren Inhalte weitgehend mit JavaScript gerendert werden, können Headless-Browser wie Puppeteer oder Playwright einen echten Browser simulieren, um auf dynamisch geladene Daten zuzugreifen.

​
Wichtige Hinweise

Beachten Sie beim Scraping einige grundlegende Punkte: Prüfen Sie stets die robots.txt-Datei und die Nutzungsbedingungen einer Website, um zu verstehen, was zulässig ist. Begrenzen Sie die Anfragerate, um Server nicht zu überlasten, und berücksichtigen Sie, dass in manchen Rechtsordnungen gesetzliche Beschränkungen für das Scraping bestimmter Datenarten gelten.