Typische Quellen
Beim Scraping von Immobiliendaten werden meist mehrere Quelltypen kombiniert:
Die Immobilienvorlagen von Octoparse und Vorlagen nach dem Muster von Zillow spiegeln die übliche Aufteilung wider: Such- oder Übersichtsseiten dienen zur Ermittlung von Immobilien; Detailseiten liefern ausführlichere Immobiliendaten, Beschreibungen, Fotos, Datumsangaben und Makler- beziehungsweise Kontaktinformationen.
Feldübersicht
Zu den nützlichen Immobilienfeldern gehören:- Angebots-URL
- Anschrift der Immobilie
- Stadt, Bundesland, PLZ/Postleitzahl
- Breiten- und Längengrad
- Angebotsart: Verkauf, Vermietung, verkauft, reserviert
- Preis oder Miete
- Schlafzimmer und Badezimmer
- Wohnfläche
- Grundstücksfläche
- Immobilientyp
- Baujahr
- Vermarktungsdauer
- Angebotsstatus
- Makler und Maklerbüro
- Telefonnummer oder Kontakt-URL
- Beschreibung
- Bild-URLs
- Zeitstempel der ersten und letzten Erfassung
Aktualität und Deduplizierung
Immobilienseiten enthalten besonders viele Duplikate. Dieselbe Immobilie kann auf mehreren Portalen mit leicht abweichenden Anschriften, anderen Fotos oder unterschiedlichen Maklerinformationen erscheinen. Nutzen Sie zur Deduplizierung eine Kombination aus:- Vereinheitlichter Anschrift
- Koordinaten
- Flurstückskennung, sofern vorhanden
- Angebots-URL
- Makler beziehungsweise Maklerbüro und Preis
- Immobilienmerkmalen wie Anzahl der Schlaf- und Badezimmer sowie Wohnfläche
Beispielhafte Workflows
Marktscan für Investoren
Erfassen Sie aktive Angebote in den gewünschten Postleitzahlgebieten, vereinheitlichen Sie den Quadratmeterpreis, vergleichen Sie die Vermarktungsdauer und markieren Sie Immobilien mit kürzlich erfolgten Preissenkungen.Überwachung von Mietobjekten
Erfassen Sie täglich Wohnungs- oder Mietangebote, verfolgen Sie die Angebotsmieten nach Anzahl der Schlafzimmer und erkennen Sie, wenn eine Einheit verschwindet oder erneut angeboten wird.Akquise von Maklern
Scrapen Sie öffentliche Maklerseiten oder Angebotsdetailseiten, um Namen von Maklern, Maklerbüros, Angebotsvolumen und Tätigkeitsgebiet zu erfassen. Nutzen Sie diese Daten zur Markterfassung oder B2B-Ansprache, nicht zur Erfassung privater Kontodaten.Eingabedaten für Bewertungen
Nutzen Sie aktuelle Verkaufsdaten, aktive Angebote, Immobilienmerkmale und Signale aus der Wohngegend als Eingabedaten für Bewertungsmodelle. Wo Genauigkeit entscheidend ist, sollten gescrapte Daten anhand amtlicher Register überprüft werden.Technische Herausforderungen
- Beschränkungen der Kartensuche. Kartenoberflächen zeigen bei einer Zoomstufe oft nur eine begrenzte Anzahl von Markierungen. Teilen Sie große geografische Gebiete in kleinere Regionen auf.
- Dynamische Seiten. Viele Portale stellen Angebote über JavaScript und APIs dar.
- Statusänderungen. Eine Seite kann von aktiv über reserviert zu verkauft wechseln, während die URL unverändert bleibt.
- Verborgene oder uneinheitliche Felder. Grundstücksfläche, Gebühren der Eigentümergemeinschaft, Steuern und Historie werden möglicherweise nur bei einigen Angeboten angezeigt.
- Bildlastige Seiten. Fotos erhöhen Bandbreiten- und Speicherkosten; erfassen Sie lediglich die URLs, sofern Sie die Dateien nicht wirklich benötigen.