Créer des tâches à partir d’une URL

octoparse detect ouvre le navigateur de l’Extension Octoparse, inspecte la page et génère un fichier de Tâche local. Utilisez-la pour créer une Tâche depuis une URL sans l’application de bureau Octoparse.

Depuis v0.1.32, detect rejette avant la génération les pages de CAPTCHA, accès restreint, défi de sécurité et erreur de service. Le classement écarte aussi plus strictement les zones faibles et les enveloppes de navigation couvrant toute la page. Les pages complexes et parcours de connexion peuvent toujours exiger une vérification manuelle.

Trois modes sont disponibles :

Mode	Quand l’utiliser
`--auto`	Laisser la CLI choisir automatiquement la meilleure zone
`--manual`	Se connecter, fermer un paywall ou sélectionner soi-même la zone
Agent IA (`--agent`)	Un LLM ou outil d’automatisation pilote le Flux de travail

Pour les agents IA, utilisez --agent ou le flux prepare / preview / apply plutôt que --auto, réservé à une sélection directe par la CLI.

detect exige un compte Octoparse valide, des identifiants et Chrome local. Linux arm64 n’est pas pris en charge. Consultez les plateformes d’Extraction locale prises en charge.

Mode automatique

La CLI choisit la meilleure zone candidate et génère un fichier :

octoparse detect <url> --auto --output task.json

Décrivez en langage naturel les données voulues :

octoparse detect <url> --auto --goal "Extract product titles and prices" --output task.json

Recherchez un mot-clé avant la détection, notamment sur les pages de résultats :

octoparse detect <url> --auto --query "keyword" --goal "Extract search results" --output task.json

Obtenez une réponse structurée avec --json :

octoparse detect <url> --auto --goal "..." --output task.json --json

Sans --output, un fichier detected_<host>.json est créé automatiquement.

Choisir un mode de navigateur

Utilisez Chrome for Testing indépendant ou un profil système connecté :

octoparse detect <url> --browser independent --auto
octoparse detect <url> --browser user --browser-id chrome --profile "Default" --manual

La priorité commune documentée par octoparse browser --help est : option de commande, OCTOPARSE_BROWSER, réglage octoparse browser use enregistré, puis independent. Le mode utilisateur existe sous Windows et macOS.

Mode manuel

Il ouvre une surcouche de navigateur permettant de se connecter, fermer les fenêtres et choisir la zone :

octoparse detect <url> --manual
octoparse detect <url> --manual --goal "Get article titles and links"

Utilisez --save-session pour stocker les Cookies des sites exigeant une connexion et les réutiliser lors des exécutions locales :

octoparse detect <url> --manual --save-session --session-name my-session --output task.json

Les sessions de Cookies ne couvrent pas tous les sites, notamment ceux exigeant localStorage, une liaison à l’appareil ou une nouvelle vérification.

Valider la Tâche générée

octoparse task validate <taskId> --task-file task.json

Exécutez ensuite un échantillon local :

octoparse run <taskId> --task-file task.json --max-rows 10 --headless

Exportez les résultats de l’échantillon :

octoparse data export <taskId> --source local --format xlsx

Flux de travail d’agent IA

Pour les flux pilotés par LLM ou automatisés, utilisez le contrat agent au lieu de --auto. Commencez par lire les capacités :

octoparse capabilities --json

La réponse contient machineContract.recipes.createTaskFromUrlWithAgent, le flux recommandé pour les agents.

En une seule opération (le plus rapide)

Utilisez --agent avec un runner local fiable capable de lire un fichier de contexte et d’écrire un plan :

octoparse detect <url> \
  --agent \
  --agent-command "path/to/your/agent-runner" \
  --goal "Extract search results" \
  --output task.json \
  --yes \
  --run-sample 5 \
  --json

La réponse est une enveloppe JSON unique contenant la Tâche, l’aperçu et le résultat de l’échantillon.

Procédure auditable étape par étape

Pour les audits ou réparations, utilisez la séquence prepare / preview / apply.

Préparer le contexte agent

Exportez le contexte de la page pour la planification.

octoparse detect <url> \
  --prepare-agent \
  --goal "Extract product titles and prices" \
  --output context.json \
  --json

context.json contient les zones candidates, échantillons de champs, captures visuelles et un decisionSummary.

Écrire un plan

Créez plan.json depuis context.json avec le schéma octopus.detect.agent-plan.v1. Ouvrez la capture annotée située dans context.visualArtifacts.annotatedScreenshotPath avant de choisir les champs, puis ajoutez les preuves visualReview au plan.

Prévisualiser le plan

Validez-le avant la génération finale.

octoparse detect \
  --preview-agent-plan plan.json \
  --agent-context context.json \
  --json

Si data.pass vaut false, corrigez le plan avant de l’appliquer.

Appliquer le plan

Générez le fichier local final.

octoparse detect \
  --apply-agent-plan plan.json \
  --agent-context context.json \
  --output task.json

Vous pouvez ensuite inspecter et valider task.json, ou l’utiliser dans une exécution CLI locale.

Dépanner detect

Problème	Vérification
Chrome ne démarre pas	Exécutez `octoparse doctor`, consultez `chrome` et essayez `--chrome-path /path/to/chrome`
`LINUX_ARM64_UNSUPPORTED`	Passez à Linux x64 ou utilisez l’Extraction dans le cloud
`LOGIN_SESSION_REQUIRED`	Utilisez `--manual` pour vous connecter et `--save-session` pour enregistrer la session
L’aperçu renvoie `pass: false`	Modifiez `candidateId` ou les champs dans `plan.json`, puis relancez l’aperçu
Résultats vides ou incorrects	Consultez `context.resultValidationPolicy` ; des champs isolés manquants dans des publicités ou lignes hétérogènes sont souvent normaux

VUE D’ENSEMBLE

BIEN DÉMARRER