Skip to main content
La ricerca di mercato e della concorrenza è uno degli usi più comuni del web scraping. Prezzi, scorte, recensioni, assortimenti e presenza dei punti vendita sono dispersi sul web pubblico: lo scraping consente di raccoglierli continuamente e renderli confrontabili. L’obiettivo non è una raccolta una tantum, ma monitorare nel tempo gli stessi elementi e accumulare dati in una forma che permetta di seguirne i cambiamenti: è questo che dà valore alla ricerca di mercato e della concorrenza.

​
Tipi di dati da raccogliere

I dati da raccogliere dipendono dall’obiettivo. La strategia di prezzo si concentra su prezzi e scorte; la rilevazione della domanda su recensioni e volumi; l’analisi del bacino d’utenza su negozi e ubicazioni.

​
Scelta delle fonti di dati

Scegli le fonti in base al mercato da studiare. Combinare più fonti nello stesso studio, unendo prezzo, reputazione e volume, offre un quadro multidimensionale più completo.

​
Progettazione del monitoraggio storico

I dati per la ricerca di mercato vanno raccolti e confrontati ripetutamente, non una sola volta.
  1. Definisci l’oggetto della ricerca (categorie, area, insieme di concorrenti).
  2. Decidi i campi e gli assi di confronto (prezzo, valutazione, scorte, posizione).
  3. Esegui la raccolta a intervalli programmati (ogni giorno o settimana, abbastanza spesso da rilevare i cambiamenti).
  4. Memorizza istantanee senza sovrascriverle (conserva la data e l’ora di raccolta).
  5. Normalizza i dati per il confronto (uniforma valuta, unità e formattazione).
Conserva le istantanee con la data e l’ora di raccolta invece di sovrascriverle. Potrai analizzare i cambiamenti nel tempo: variazioni dei prezzi, periodi di esaurimento, andamento delle valutazioni e cambiamenti di posizione.

​
Estensione all’analisi della concorrenza

I dati storici consentono di seguire continuamente le mosse dei concorrenti.
  • Variazioni di prezzo: controlla tempi ed entità delle modifiche dei prezzi dei concorrenti.
  • Nuovi prodotti e assortimento: rileva nuovi SKU e articoli rimossi.
  • Andamento delle valutazioni: monitora la crescita del numero di recensioni e le variazioni del punteggio medio.
  • Negozi e ubicazione: rileva nuove aperture e densità dei concorrenti per area.
  • Posizione e visibilità: monitora i cambiamenti nei risultati di ricerca e nelle classifiche.
Definendo i cambiamenti come eventi (calo di prezzo, esaurimento, nuovo prodotto, impennata delle valutazioni), puoi alimentare avvisi e report automatici.

​
Aspetti da considerare

  • robots.txt e termini di servizio: verifica per ogni URL l’autorizzazione al crawling e i relativi termini.
  • Dati personali: riduci al minimo dati come l’identità degli autori delle recensioni; non raccoglierli se non servono.
  • Preferisci le API ufficiali: quando un’API ufficiale o un feed di un partner è adatto al caso d’uso, usalo per primo.
  • Carico del server: nelle esecuzioni programmate, mantieni frequenza e volume moderati per non sovraccaricare il sito di destinazione.
Per i criteri che determinano la legalità, consulta Il web scraping è legale?.

​
Implementazione con Octoparse

Octoparse consente di creare un flusso di lavoro che separa la scoperta (elenchi, ricerca) dall’estrazione (dettagli, recensioni); l’esecuzione programmata nel cloud automatizza il monitoraggio storico. Accumulando i risultati come istantanee, puoi confrontare nel tempo prezzi e valutazioni. Configura esecuzioni ricorrenti con le esecuzioni programmate e usa i modelli di scraping Octoparse come punto di partenza per i siti di destinazione.

​
Risorse correlate