Che cosa raccogliere
Lo scraping e-commerce inizia in genere dal catalogo prodotti.
I modelli di Octoparse, Apify e Bright Data separano comunemente l’estrazione da elenchi, dettagli e recensioni, rispecchiando la struttura dei siti e-commerce. Le pagine di elenco offrono ampiezza, quelle di dettaglio tutti i dati del prodotto e quelle delle recensioni segnali su sentiment e qualità.
Flussi di lavoro comuni
Monitoraggio del catalogo
Estrai categorie o risultati di ricerca per individuare prodotti, venditori e posizionamenti. Archivia URL e ID dei prodotti come destinazioni da aggiornare.Arricchimento dei dettagli dei prodotti
Visita le pagine di dettaglio dei prodotti individuati. Raccogli descrizioni, specifiche, immagini, varianti, informazioni sui venditori e disponibilità.Analisi delle recensioni
Raccogli le recensioni separatamente dai dati dei prodotti. Spesso hanno un’impaginazione indipendente e può essere necessario ordinarle dalla più recente per il monitoraggio.Monitoraggio di prezzi e scorte
Aggiorna i prodotti selezionati secondo una pianificazione. Archivia istantanee con data e ora per rilevare variazioni di prezzo, promozioni, esaurimenti e cambi di venditore.Differenze tra le piattaforme
Amazon è l’esempio classico. Le pagine di ricerca e categoria mostrano schede con titolo, prezzo, valutazione, numero di recensioni, immagine e identificativi simili all’ASIN. Le pagine prodotto aggiungono descrizioni, caratteristiche, specifiche, venditore, varianti, classifica, scorte e consegna. Le pagine delle recensioni aggiungono testo, valutazione, indicatori del recensore, numero di voti utili e stato di verifica. Considera ogni tipo di pagina un dataset distinto.
Normalizzazione dei dati
I dati e-commerce devono essere ripuliti prima dell’analisi.- Normalizza valuta e area geografica.
- Converti le quantità per confezione in prezzo unitario.
- Separa il prezzo del prodotto dalle spese di spedizione.
- Uniforma gli stati di disponibilità.
- Associa le varianti ai prodotti principali.
- Elimina i prodotti identici presenti in URL diversi.
- Conserva la data e l’ora della fonte.