Skip to main content
Le programme qui effectue cette opération est généralement appelé « outil de web scraping » ou « crawler » : il consulte des pages, lit leur contenu HTML et en extrait les données précises dont vous avez besoin, évitant ainsi de copier manuellement des informations depuis des pages web.

​
Cas d’utilisation courants

Les cas d’utilisation courants incluent la collecte des prix de produits sur des sites e-commerce, la récupération d’articles d’actualité ou d’offres d’emploi, la veille concurrentielle et la création de jeux de données pour la recherche.

​
Fonctionnement

Un flux de travail de scraping classique consiste à envoyer une requête HTTP à une URL, recevoir la réponse HTML, l’analyser pour trouver les éléments pertinents à l’aide de sélecteurs CSS ou de XPath, puis enregistrer les données extraites dans un format structuré comme CSV, JSON ou une base de données.

​
Différences avec les API et la collecte manuelle

Par rapport à la collecte manuelle, le scraping automatise le même travail de copier-coller. Il est donc plus rapide, reproductible et applicable à des milliers de pages, mais nécessite une configuration initiale et une maintenance lorsque la mise en page d’un site change. Contrairement à une API, le scraping lit le même HTML que celui affiché par un navigateur, et non un flux de données dédié. Lorsqu’un site propose une API officielle, celle-ci constitue généralement l’option la plus fiable et autorisée : les données sont déjà structurées, stables et documentées. Le scraping est utile lorsqu’aucune API n’existe, qu’elle ne fournit pas les données recherchées ou que ses limites sont trop contraignantes. En contrepartie, il dépend du balisage de la page et peut cesser de fonctionner lorsque celui-ci change.

​
Outils et bibliothèques

Parmi les outils et bibliothèques populaires figurent Beautiful Soup et Scrapy pour Python, Puppeteer et Cheerio pour JavaScript, ainsi que les plateformes no-code comme Octoparse. Ces plateformes adoptent une approche différente des bibliothèques fondées sur des scripts : Octoparse, par exemple, charge les pages dans un véritable navigateur et permet de créer un outil de web scraping par simples clics, en reproduisant la manière dont une personne navigue et sélectionne des données sans écrire de code d’extraction. Pour les pages qui s’appuient fortement sur JavaScript, les navigateurs headless comme Puppeteer ou Playwright peuvent simuler un navigateur réel afin d’accéder aux données chargées dynamiquement.

​
Points à retenir

Avant toute collecte, consultez toujours le fichier robots.txt et les conditions d’utilisation du site pour savoir ce qui est autorisé. Adoptez une fréquence de requêtes raisonnable afin de ne pas surcharger les serveurs et tenez compte des restrictions juridiques applicables à certains types de données selon les pays.