Skip to main content
Rakuten Ichiba ist Japans größter E-Commerce-Marktplatz. Er veröffentlicht strukturierte Produktpreise, Rezensionen, Lagerbestände und Ranglisten und ist daher ein häufiges Ziel für Preisüberwachung, Wettbewerbsanalysen und Marktforschung. Dieser Leitfaden dient als technische Anleitung dazu, welche Daten Sie aus Rakuten Ichiba extrahieren können und wie Sie durch die Seitenstruktur navigieren. Scrapen Sie nur öffentliche Daten und halten Sie sich an die Nutzungsbedingungen der Website sowie die geltenden Datenschutzgesetze. Die Kriterien für die Rechtmäßigkeit finden Sie unter Ist Web Scraping legal?.

​
Welche Daten können gescrapt werden?

Welche Felder Sie erfassen können, hängt vom Seitentyp ab. Suchergebnisseiten (Übersichtsseiten) enthalten:
  • Produkttitel
  • Preis
  • Versandkosten
  • Gesammelte Punkte
  • Ranglistenposition
  • Anzahl der Rezensionen
  • Shopname
  • Shop-URL
  • URL der jeweiligen Produktdetailseite
Produktdetailseiten enthalten:
  • Produktbeschreibung
  • Produktbilder
  • Varianten (Farbe, Größe usw.)
  • Lagerstatus
  • Verkaufsbedingungen
  • Rezensionsbewertung
Rezensionsseiten enthalten:
  • Rezensionstext
  • Rezensent
  • Bewertungswert
  • Veröffentlichungsdatum
Rezensionstexte sind in hohem Maße urheberrechtlich geschützt. Ihre erneute Veröffentlichung oder Weiterverbreitung nach der Erfassung ist daher eingeschränkt.

​
Seitenstruktur und Navigation

Die Datenerfassung bei Rakuten Ichiba erfolgt in dieser Reihenfolge:
  1. Suchen Sie nach Kategorie oder Stichwort und erfassen Sie die URL der Suchergebnisseite. Die Suchbedingungen werden in den URL-Parametern abgebildet. Eine eigene URL pro Kategorie hält den Erfassungsumfang daher überschaubar.
  2. Erfassen Sie auf der Suchergebnisseite die grundlegenden Produktfelder sowie die URL jeder Produktdetailseite.
  3. Durchlaufen Sie die erfassten Produkt-URLs in einer Schleife und extrahieren Sie die Detailfelder von jeder Produktdetailseite.
  4. Wenn Rezensionen benötigt werden, navigieren Sie zur Rezensionsseite und erfassen Sie sie unter Berücksichtigung des schrittweisen Nachladens.
Wenn Sie entscheiden, ob die Felder der Übersichtsseite ausreichen oder ob Sie zusätzlich Produktdetails und Rezensionen benötigen, verringern Sie die Anzahl der Seitenwechsel und die Belastung der Zielwebsite.

​
Technische Aspekte

​
Dynamisch mit JavaScript geladene Inhalte

Einige Elemente von Rakuten Ichiba sind beim ersten Öffnen der Seite nicht im HTML enthalten, sondern werden erst nach der Ausführung von JavaScript geladen. Ein Scraper, der nur das unverarbeitete HTML abruft, kann diese Elemente nicht erfassen. Um sie zu verarbeiten, stellen Sie die Seite in einem echten Browser dar, der vor der Extraktion JavaScript ausführt. Weitere Informationen finden Sie unter Mit JavaScript gerenderte Seiten scrapen.
Warten Sie darauf, dass das konkrete Element dargestellt wird, und nicht auf das Ereignis für das Laden der Seite. Das Ladeereignis und der Abschluss der Elementdarstellung treten nicht zum selben Zeitpunkt ein.

​
Paginierung

Die Suchergebnisse von Rakuten Ichiba sind auf nummerierte Seiten verteilt. Rezensionen können durch schrittweises Nachladen ergänzt werden. Die Handhabung unterscheidet sich je nach Methode – nummerierte Seiten, Links zur nächsten Seite oder Schaltflächen zum Nachladen. Ermitteln Sie daher zunächst die auf der Zielseite verwendete Methode. Weitere Informationen finden Sie unter Paginierung handhaben.

​
Zugriffskontrolle und Serverlast

Rakuten Ichiba setzt Maßnahmen gegen automatisierte Zugriffe ein. Wenn viele Anfragen innerhalb eines kurzen Zeitraums gesendet werden, ist ein Scraper leichter zu erkennen.
Versuchen Sie nicht, Zugriffskontrollen technisch zu umgehen. Halten Sie Häufigkeit, Umfang und zeitliche Abfolge der Anfragen moderat. Rakuten Ichiba kann für einige Pfade in der robots.txt Disallow festlegen. Prüfen Sie daher die Nutzungsbedingungen und die robots.txt für jede Ziel-URL. Die Kriterien für die Rechtmäßigkeit finden Sie unter Ist Web Scraping legal?.

​
Scraping mit Octoparse

Octoparse stellt Seiten in einem sichtbaren, echten Browser dar. Dadurch können dynamisch mit JavaScript geladene Inhalte ohne Programmierung erfasst werden. Das Durchlaufen von Suchergebnissen und Produktdetails in Schleifen, das Warten auf schrittweise nachgeladene Inhalte und die Planung von Cloud-Läufen werden vollständig im visuellen Editor konfiguriert. Mit der Rakuten-Vorlage zum Scrapen von Produktübersichten können Sie sofort Rakuten-Angebote erfassen. Sie beginnen mit einer URL und können vorab prüfen, welche Felder Sie erhalten.

​
Anwendungsfälle

  • Preisüberwachung: Preise, Versandkosten und Punkte von Wettbewerbsprodukten im Zeitverlauf verfolgen
  • Wettbewerbs- und Marktanalyse: Ranglisten innerhalb einer Kategorie, Anzahl der Rezensionen und Verteilung der Shops einlesen
  • Bestands- und Nachfragesignale: Lagerstatus und Bestseller-Ranglisten kontinuierlich erfassen
  • Rezensionsanalyse: Rezensionsbewertungen und Texttrends aggregieren
Das Scraping von Rakuten Ichiba funktioniert am besten mit einem klar eingegrenzten Ziel: weniger Felder, eine geringere Belastung der Website und Ergebnisse, denen Sie vertrauen können.