Scraper derrière une page de connexion

De nombreuses pages utiles nécessitent une connexion : tableaux de bord, portails internes, annuaires de membres, recherches enregistrées, historiques de commandes et rapports privés. Il ne suffit pas de saisir un identifiant et un mot de passe : il faut maintenir une session authentifiée valide assez longtemps pour naviguer et extraire les données de manière fiable. Limitez ce scraping aux données auxquelles vous êtes autorisé à accéder. Une connexion n’annule aucune obligation juridique, contractuelle, réglementaire ou de confidentialité. Utilisez des comptes autorisés, respectez les contrôles d’accès et ne dépassez pas leurs permissions.

Ce qui change après la connexion

Cookies de session prouvant l’authentification.
Jetons CSRF ou en-têtes attendus pour les formulaires et API.
Valeurs de stockage local ou de session utilisées par les applications monopages.
Redirections renvoyant les visiteurs non authentifiés vers /login.
Règles d’expiration liées au temps, à l’inactivité, à l’IP ou à un événement de sécurité.

Copier une URL connectée échoue souvent : l’URL n’est que la partie visible, tandis que l’état de session autorise le chargement.

Approche 1 : réutiliser les Cookies d’une vraie session

Connectez-vous une fois, enregistrez les Cookies, puis réutilisez-les. Cette méthode convient aux sessions longues qui ne sont pas fortement liées à un appareil ou une IP.

import requests

session = requests.Session()
session.cookies.update({
    "sessionid": "saved-session-cookie",
})

response = session.get("https://example.com/account/orders")
print(response.status_code)

En production, ne codez jamais les Cookies en dur. Stockez-les en sécurité, renouvelez-les à expiration et traitez-les comme des identifiants. Cette méthode est robuste pour les pages rendues côté serveur ou les API acceptant les mêmes Cookies. Elle devient fragile avec des jetons courts, contrôles d’appareil ou réauthentifications fréquentes.

Approche 2 : se connecter avec un navigateur

L’outil ouvre la page, remplit le formulaire, l’envoie, attend la page du compte, puis enregistre l’état du navigateur.

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    context = browser.new_context()
    page = context.new_page()

    page.goto("https://example.com/login")
    page.fill("#email", "user@example.com")
    page.fill("#password", "correct-horse-battery-staple")
    page.click("button[type='submit']")
    page.wait_for_url("**/account/**")

    context.storage_state(path="auth-state.json")
    browser.close()

Les exécutions suivantes chargent cet état :

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch()
    context = browser.new_context(storage_state="auth-state.json")
    page = context.new_page()
    page.goto("https://example.com/account/orders")

La connexion par navigateur est plus lente que les requêtes avec Cookies, mais gère mieux JavaScript, redirections et valeurs de stockage.

Approche 3 : rejouer l’API de connexion

Si le formulaire envoie une simple requête POST et que les conditions du site l’autorisent, reproduisez-la avec un client HTTP, capturez les Cookies et poursuivez la navigation. Cette solution est souvent moins stable, car les authentifications utilisent des jetons CSRF, contrôles anti-bot, empreintes d’appareil ou champs cachés variables. L’onglet Réseau indique si la requête est assez simple ou si un navigateur est préférable.

MFA, SSO et contrôles de sécurité

Ne tentez jamais de contourner l’authentification multifacteur :

Prévoyez une connexion humaine, puis enregistrez la session.
Préférez les API officielles ou comptes de service disponibles.
Anticipez l’expiration et prévoyez l’actualisation ou la reconnexion.
Évitez les comptes personnels pour les traitements autonomes en production.

Le SSO peut être plus contraignant : plusieurs domaines, politiques d’organisation et alertes lors d’un changement d’identité du navigateur. Un profil persistant ou une intégration officielle est généralement plus fiable.

Sécurité de la session

Séparez les comptes par tâche. Ne mélangez pas des opérations sans rapport dans une session.
Gardez l’IP et l’identité du navigateur stables. Changer de Proxy en cours de session peut ressembler à un détournement de compte.
Limitez le débit. Les espaces connectés sont souvent davantage surveillés.
Détectez les pages de déconnexion. Ne les analysez pas comme des données réelles.
Stockez les secrets en sécurité. Identifiants, Cookies et fichiers d’état sont sensibles.
Journalisez avec discernement. Conservez assez d’historique pour diagnostiquer sans écrire de contenu privé ni d’identifiants.

Rôle d’Octoparse

Les outils visuels permettent généralement de se connecter dans un Navigateur intégré puis de conserver les Cookies et la session, ou de simuler la connexion au début de la tâche. Octoparse suit ce modèle. Si le site maintient la connexion, authentifiez-vous dans le Navigateur intégré et réutilisez la session. S’il exige une nouvelle connexion, la tâche peut la simuler avant d’ouvrir les pages cibles. Les mêmes limites s’appliquent : intervention humaine possible pour la MFA, expiration des sessions et obligation d’autorisation.

Quand ne pas scraper derrière une connexion

Ne collectez pas de contenu authentifié sans permission, s’il appartient à d’autres utilisateurs, si les conditions interdisent cet usage ou si un export ou une API officielle constitue le canal approprié. Réservez cette méthode aux flux autorisés dans lesquels le titulaire collecte ses propres données accessibles ou agit dans un processus approuvé. Le schéma technique est simple : s’authentifier, conserver l’état, naviguer, détecter l’expiration et actualiser. La difficulté réside dans une utilisation responsable.

BIEN DÉMARRER

BASES DU WEB SCRAPING

FONCTIONNEMENT DES OUTILS DE WEB SCRAPING

CAS D’USAGE

GUIDES

Scraper derrière une page de connexion

Ce qui change après la connexion

Approche 1 : réutiliser les Cookies d’une vraie session

Approche 2 : se connecter avec un navigateur

Approche 3 : rejouer l’API de connexion

MFA, SSO et contrôles de sécurité

Sécurité de la session

Rôle d’Octoparse

Quand ne pas scraper derrière une connexion

​Ce qui change après la connexion

​Approche 1 : réutiliser les Cookies d’une vraie session

​Approche 2 : se connecter avec un navigateur

​Approche 3 : rejouer l’API de connexion

​MFA, SSO et contrôles de sécurité

​Sécurité de la session

​Rôle d’Octoparse

​Quand ne pas scraper derrière une connexion

Ce qui change après la connexion

Approche 1 : réutiliser les Cookies d’une vraie session

Approche 2 : se connecter avec un navigateur

Approche 3 : rejouer l’API de connexion

MFA, SSO et contrôles de sécurité

Sécurité de la session

Rôle d’Octoparse

Quand ne pas scraper derrière une connexion