Web scraping avec Python : guide complet pour 2026

Vous êtes sans doute confronté à une situation bien concrète. Vous avez besoin de prix compétitifs, d'annonces, d'avis, de catalogues, de données publiques ou de contenus provenant de portails spécialisés. L'alternative est presque toujours la même : copier-coller manuel, exportations incomplètes, API limitées ou données dispersées sur des pages que personne dans l'entreprise ne parvient à rassembler de manière systématique.

C'est ici qu'un web scraper with python cesse d'être un exercice technique et devient un actif opérationnel. Python est le choix le plus pratique quand vous voulez passer de pages web à des jeux de données propres, car il vous permet de commencer avec des scripts simples puis d'évoluer vers des crawlers plus avancés, de l'automatisation de navigateur et des pipelines d'analyse.

Dans le contexte italien, cette question revêt une importance encore plus grande. Python est désormais la norme dans le domaine de l'automatisation et de l'analyse de données, et le scraping est l'une des applications les plus utilisées en entreprise. Mais ce ne sont pas ceux qui « récupèrent des données » qui font vraiment la différence. Ce sont ceux qui savent choisir la bonne bibliothèque, éviter les erreurs classiques, respecter le RGPD et les conditions d'utilisation, et fournir des données que l'entreprise peut lire et exploiter.

Table des matières

• Introduction : transformer le web en source de données stratégiques
• Python fonctionne bien car il réduit la friction
• Le bon choix dépend du site
• Une stack légère pour les pages statiques
• Quand un vrai navigateur est nécessaire
• Quand le projet cesse d'être un script
• Tableau comparatif rapide
• Préparer l'environnement et les dépendances
• Inspecter la page avant d'écrire du code
• Écrire un scraper de base avec Requests et BeautifulSoup
• Nettoyer et sauvegarder les résultats
• Comprendre pourquoi une page renvoie des données vides
• Les défenses anti-bot ne se contournent pas par la force brute
• Public ne signifie pas usage libre
• Une checklist minimale de conformité
• Comment structurer le passage des données aux insights
• Principaux points clés à retenir
• Conclusion : commencez à exploiter la puissance des données web

Introduction : Faire du Web une source de données stratégiques

La plupart des premiers projets de scraping partent d'un besoin simple : surveiller les prix d'un concurrent, collecter des titres sur un portail spécialisé, dresser une liste de produits, suivre des appels d'offres ou des annonces. Le problème n'est pas de trouver les données. Le problème est de les collecter de manière reproductible, propre et suffisamment fiable pour pouvoir s'en servir dans la prise de décision.

Un web scraper with python résout précisément ce problème. Il vous permet de visiter une page, d'en télécharger le contenu, d'identifier les éléments utiles et de les sauvegarder dans un format structuré. Si vous travaillez bien dès le départ, vous pouvez transformer une activité manuelle et fragile en un flux stable.

Ce que les tutoriels omettent souvent, c'est justement l'aspect le plus important du travail concret. Il ne suffit pas de « faire du scraping ». Il faut choisir le bon niveau de complexité. Requests et BeautifulSoup suffisent pour de nombreux sites. D'autres nécessitent Selenium ou Playwright, car le contenu est généré par JavaScript. Pour les projets de plus grande envergure, c'est là que Scrapy entre en jeu. Et lorsque les données concernent des personnes, des profils ou des coordonnées, il faut également respecter un cadre juridique précis.

Un bon scraper n'est pas celui qui extrait le plus de données. C'est celui qui extrait les bonnes données, avec le moindre coût de maintenance.

Pourquoi Python est l'outil idéal pour le web scraping

Python domine cet espace pour une raison pratique. Il vous permet de passer très rapidement d'une idée à un script fonctionnel, sans trop sacrifier quand le projet grandit. Sur le marché italien, ce n'est pas seulement une préférence technique. Selon les données 2023 de l'Osservatorio Digital Innovation du Politecnico di Milano, Python est adopté par 75 % des entreprises italiennes dans l'analyse de données et l'automatisation, le web scraping figurant parmi les principales applications. Dans le même sillage, en 2022, 40 % des PME lombardes ont mis en place des scrapers Python pour le suivi des prix concurrents, avec une augmentation de la compétitivité de 25 % dans le retail, comme le rapporte la page de référence de l'Université du Texas sur le scraping avec Python.

Python fonctionne bien car il réduit les frictions

Le principal atout de Python, c'est sa lisibilité. Que ce soit pour expliquer un script à un collègue, déboguer des sélecteurs HTML ou modifier la logique d'extraction dans deux semaines, la clarté du code compte plus qu'on ne le pense.

La deuxième force réside dans l'écosystème. Il existe des bibliothèques bien établies pour presque tous les niveaux de travail :

• Requests pour télécharger du HTML ou interroger des endpoints.
• BeautifulSoup pour naviguer dans le DOM et récupérer texte, liens et attributs.
• Selenium et Playwright pour les sites qui dépendent du rendu du navigateur.
• Scrapy quand vous devez organiser spiders, pipelines, retry et export de manière plus industrielle.
• Pandas quand l'étape suivante consiste à nettoyer et analyser les données.

Le bon choix dépend de l'emplacement

C'est là que beaucoup de débutants se trompent. Ils voient Selenium et pensent que c'est toujours la meilleure solution. Ce n'est pas le cas.

Pour une page statique, utiliser un navigateur complet revient à consommer davantage de ressources, à écrire un code plus lent et à multiplier les points de défaillance. À l'inverse, se contenter d'utiliser Requests sur un site qui charge les données via JavaScript aboutit à un résultat classique : un code HTML presque vide et aucune donnée utile.

Il vaut mieux raisonner ainsi :

• Site simple et HTML déjà présent. Commencez avec Requests + BeautifulSoup.
• Site avec contenus chargés après le load. Passez à Playwright ou Selenium.
• Beaucoup de pages, structure récurrente, besoin de crawl. Envisagez Scrapy.
• Données disponibles via un endpoint JSON. Mieux vaut utiliser cet endpoint que parser le HTML.

Règle pratique : choisissez toujours l'outil le plus simple qui parvient réellement à lire les données dont vous avez besoin.

Un autre avantage de Python est que cette transition se fait progressivement. Vous n'avez pas besoin de tout réécrire à chaque fois. Souvent, vous pouvez conserver la logique d'analyse et ne modifier que la manière dont vous récupérez la page.

Choisir les bibliothèques Python adaptées à chaque tâche

La façon la plus utile de choisir une bibliothèque n'est pas de se demander laquelle est « la meilleure ». La bonne question est autre : quel type de site dois-je lire, combien de temps ce projet doit-il durer et combien de maintenance puis-je me permettre ?

Un rapport 2025 d'Unioncamere Lombardia indique que de nombreuses entreprises tech lombardes utilisent Python pour le scraping, contribuant de manière significative à la valeur économique régionale. Dans le même cadre, Scrapy enregistre un taux d'adoption de 45 % parmi les développeurs italiens et Selenium est utilisé dans 55 % des projets nécessitant une interaction avec des sites JavaScript, avec une réduction des blocages par CAPTCHA de 90 % lorsqu'il est associé à des proxys, selon la page de référence de ScraperAPI dédiée au scraping avec Python.

Une pile légère pour les pages statiques

Si le contenu figure déjà dans le code HTML initial, ne te complique pas la tâche.

Requests + BeautifulSoup reste le point de départ le plus judicieux pour :

• les sites éditoriaux à structure régulière
• les annuaires publics simples
• les pages produit rendues côté serveur
• les pages de listing sans interactions particulières

Cette pile est idéale lorsque vous souhaitez :

• démarrer rapidement un scraper
• déboguer facilement
• sauvegarder les données en CSV ou JSON
• garder un code lisible même pour des collègues non spécialistes

Un exemple tout simple :

import requestsfrom bs4 import BeautifulSoupurl = "https://example.com/news"response = requests.get(url, timeout=20)response.raise_for_status()soup = BeautifulSoup(response.text, "html.parser")for article in soup.select("article"):title = article.select_one("h2")link = article.select_one("a")if title and link:print(title.get_text(strip=True), link.get("href"))

Cette méthode fonctionne bien tant que les données se trouvent effectivement dans le code source HTML. Avant de l'utiliser, ouvrez « Afficher le code source de la page », et pas seulement « Inspecter ». Si les données ne figurent pas dans le code source, Requests ne suffit pas à lui seul.

Quand il faut un vrai navigateur

Si vous constatez un chargement asynchrone, des boutons « Charger plus », un défilement infini, des contenus générés par des frameworks front-end ou des interactions utilisateur obligatoires, alors le parseur HTML seul ne suffit pas à résoudre le problème.

Dans ces cas, Selenium et Playwright entrent en jeu.

Selenium est un choix stable et très répandu. Il convient quand vous avez besoin de :

• cliquer sur des boutons
• remplir des champs
• attendre des éléments chargés par le navigateur
• gérer des sites complexes avec des flux utilisateur

Playwright tend à offrir une API plus moderne et plus propre. Si vous débutez aujourd'hui, de nombreuses équipes le trouvent plus simple pour :

• des attentes plus fiables
• la gestion multi-navigateur
• une automatisation headless ordonnée
• des interactions sur les SPA et interfaces modernes

Compromis réel : l'automatisation des navigateurs offre plus de puissance, mais entraîne également une consommation de mémoire plus importante, des délais plus longs et davantage de maintenance.

Si tu peux lire une API JSON dans le trafic réseau, n'hésite pas à le faire. C'est presque toujours plus fiable que de simuler des clics et des défilements.

Quand le projet cesse d'être un simple scénario

Il arrive un moment où l'on ne se contente plus de « faire du scraping ». On met en place un processus.

C'est ici que Scrapy devient intéressant. Pas parce qu'il est plus simple, mais parce qu'il organise mieux :

• les files de requêtes
• la gestion de la pagination
• les retry
• le throttling
• les pipelines de nettoyage
• les exports structurés

Je le recommande lorsque vous devez travailler sur de nombreuses catégories, de nombreuses pages ou plusieurs domaines avec des logiques récurrentes. Pour une extraction ponctuelle, c'est souvent trop. En revanche, pour un robot d'indexation fonctionnant en continu, cela vous évite de réinventer des composants que vous disperseriez autrement dans des scripts distincts.

Tu peux également adopter une approche hybride :

1. Requests pour des tests rapides.
2. Playwright pour vérifier les cas dynamiques.
3. Scrapy quand le processus passe en production.

Tableau comparatif rapide

BibliothèqueCas d'utilisation idéalGestion JavaScriptCourbe d'apprentissageVitesseRequestsPages statiques, API, prototypes rapidesNonFaibleÉlevéeBeautifulSoupAnalyse HTML simple et lisibleNonFaibleMoyenneSeleniumInteraction avec le navigateur, formulaires, clics, sites dynamiquesOuiMoyenneFaiblePlaywrightSites dynamiques modernes, attentes plus solidesOuiMoyenneMoyenneScrapyExploration à grande échelle, processus structurésNon native, doit être étendueÉlevéeÉlevée

Guide pratique pour créer votre premier scraper

La première version d'un scraper doit savoir faire quelques choses correctement. Lire une page. Trouver les bons éléments. Nettoyer le texte. Enregistrer le résultat dans un format utile. Rien de plus.

Préparer le local et les dépendances

Veillez à ce que le projet reste isolé. Un environnement virtuel vous évite les conflits et rend le travail reproductible.

N'installez que le strict nécessaire :

pip install requests beautifulsoup4

Structure initiale de base :

• scraper.py pour le code
• output.csv pour l’export
• un fichier README interne avec l’URL cible, les sélecteurs utilisés et les notes opérationnelles

Cela peut paraître banal, mais le fait de répertorier dès le départ les sélecteurs utilisés vous fera gagner du temps lorsque le site changera.

Vérifiez la page avant d'écrire du code

Ouvre la page cible dans ton navigateur et utilise les outils de développement. Cherche les nœuds qui contiennent réellement les données qui t'intéressent.

Supposons que l'on veuille extraire :

• titre de l’actualité
• lien vers l’actualité

Vérifie trois choses :

1. Le contenu est-il dans le code source HTML ?
2. Les éléments ont-ils des classes ou des balises suffisamment stables ?
3. Le lien est-il absolu ou relatif ?

Ne choisissez pas de sélecteurs fragiles, comme des classes générées automatiquement par le frontend. Si vous pouvez sélectionner un article, un h2 ou une zone avec une structure cohérente, votre scraper durera plus longtemps.

Écrire un scraper basique avec Requests et BeautifulSoup

Voici un exemple complet et clair.

import csvimport requestsfrom bs4 import BeautifulSoupfrom urllib.parse import urljoinBASE_URL = "https://example.com"TARGET_URL = "https://example.com/news"headers = {"User-Agent": "Mozilla/5.0"}response = requests.get(TARGET_URL, headers=headers, timeout=20)response.raise_for_status()soup = BeautifulSoup(response.text, "html.parser")rows = []for card in soup.select("article"):title_el = card.select_one("h2")link_el = card.select_one("a")if not title_el or not link_el:continuetitle = title_el.get_text(strip=True)link = urljoin(BASE_URL, link_el.get("href", "").strip())if title and link:rows.append({"titolo": title,"url": link})with open("output.csv", "w", newline="", encoding="utf-8") as f:writer = csv.DictWriter(f, fieldnames=["titolo", "url"])writer.writeheader()writer.writerows(rows)print(f"Elementi estratti: {len(rows)}")

Pour un premier web scraper with python, cette structure est déjà plus que suffisante.

Le flux est linéaire :

• vous téléchargez la page
• vous construisez le parser
• vous sélectionnez les blocs répétés
• vous extrayez les champs
• vous enregistrez l’output

Nettoyer et enregistrer les résultats

C'est ici que se joue la qualité des données. Les problèmes les plus courants ne sont pas d'ordre technique. Ils sont d'ordre opérationnel :

• titres avec des espaces superflus
• liens relatifs
• lignes dupliquées
• encodage irrégulier
• champs vides

Avant de livrer le CSV, ouvrez-le vraiment. Si le fichier doit finir dans Excel, il vaut mieux vérifier que les colonnes et les caractères sont lisibles. Si vous avez besoin d’aide sur cette étape, ce guide d’Electe peut être utile pour savoir comment gérer les fichiers CSV dans Excel.

Un scraper qui génère un fichier CSV erroné ne fait que déplacer le problème en aval. Il ne le résout pas.

De bonnes habitudes à adopter dès maintenant :

• Utilisez strip() pour nettoyer le texte.
• Validez les champs critiques avant de sauvegarder.
• Normalisez les URL avec urljoin.
• Contrôlez les doublons si la page répète des éléments.
• Gérez les erreurs HTTP avec raise_for_status().

Si le résultat te semble fragile, c'est qu'il l'est. Avant d'ajouter de nouvelles fonctionnalités, assure-toi que la base est solide.

Surmonter les obstacles avancés tels que JavaScript et les mesures anti-bot

Lorsqu'un scraper renvoie une page presque vide, le problème ne vient généralement pas de Python. Le problème réside dans le modèle de rendu du site. De nombreuses interfaces modernes chargent les données après le code HTML initial, via des requêtes asynchrones ou des composants JavaScript. Requests télécharge le document initial. Il n'exécute pas le navigateur.

Comprendre pourquoi une page renvoie des données vides

Avant de passer à Selenium ou Playwright, jette un coup d'œil rapide aux outils de développement :

• vérifiez l’onglet Network
• filtrez les requêtes Fetch/XHR
• recherchez les réponses JSON
• vérifiez si les données utiles proviennent d’endpoints séparés

Si vous trouvez une interface API propre et lisible, c'est souvent la meilleure solution. Vous obtenez des données mieux structurées, moins de bruit HTML et moins de maintenance.

Si, en revanche, le site génère réellement le contenu dans le navigateur, il utilise l'automatisation du navigateur. Dans ce cas, il faut définir des délais d'attente appropriés. La bonne approche n'est pas de « patienter 5 secondes en croisant les doigts ». Il s'agit d'attendre la présence de l'élément ou la satisfaction d'une condition observable.

On ne combat pas les défenses anti-bots par la force brute

De nombreux sites bloquent les pratiques de scraping agressives afin de protéger leur infrastructure, leurs données et l'expérience utilisateur. Si vous envoyez trop de requêtes, utilisez des en-têtes inhabituels ou ouvrez des sessions de navigateur de manière répétitive, le site réagira.

Les erreurs les plus courantes sont toujours les mêmes :

• Requêtes trop rapides qui déclenchent le rate limiting.
• En-têtes pauvres ou incohérents qui trahissent un script.
• Sessions sans état lorsque le site attend des cookies ou des tokens.
• Sélecteurs basés sur des clics répétitifs qui se cassent dès que le frontend change.

L'approche professionnelle est plus sobre :

• Ralentissez le rythme des requêtes.
• Utilisez des sessions là où la continuité est nécessaire.
• Définissez des en-têtes crédibles et cohérents.
• Réduisez le nombre de pages visitées aux données réellement nécessaires.
• Préférez les endpoints structurés au rendu complet lorsque c’est possible.

Il ne sert à rien de se lancer dans toutes les mesures anti-bots comme s'il s'agissait d'un défi technique. Si le site est clairement hostile au scraping, demandez-vous si les données sont réellement accessibles de manière durable et conforme.

Concevoir des scrapers résilients, c'est réduire les frictions avec le site, et non pas gagner une course contre ses défenses.

Le scraping éthique et légal dans le respect du RGPD en Italie

L'aspect le plus souvent négligé dans les projets de scraping n'est pas le parseur. C'est la responsabilité. Dans le contexte italien, cela revêt une importance bien plus grande lorsque les données concernent des personnes, des profils professionnels, des CV, des coordonnées ou des informations provenant de portails d'emploi.

Selon les données AGID 2025, plusieurs PME italiennes ont fait l’objet d’amendes pour des violations liées au scraping de données UE, avec un nombre considérable de sanctions en Lombardie et en Vénétie en 2024-2025. La même source signale que le scraping de noms sur des portails d’emploi peut comporter des risques pénaux au sens de l’art. 167 du D.Lgs 196/03. Le renvoi figure dans le guide pratique de Real Python sur le web scraping.

« Public » ne signifie pas « libre d'utilisation »

C'est le premier malentendu qu'il faut dissiper. Le fait qu'une donnée soit accessible en ligne ne signifie pas que vous pouvez la collecter, la combiner, la conserver et la réutiliser sans aucune limite.

Dans un travail sérieux, il faut vérifier au moins quatre éléments :

• Robots.txt. Ce n’est pas le seul critère juridique, mais il indique l’orientation du site.
• Conditions d’utilisation. Certains sites interdisent expressément l’extraction automatique ou la réutilisation.
• Présence de données personnelles. Noms, emails, profils, avis identifiables, CV.
• Finalité du traitement. Vous devez savoir pourquoi vous collectez, combien de temps vous conservez et qui y accède.

Pour vous orienter sur le consentement, la collecte et la conformité, cet approfondissement d’Electe sur les cookies et la vie privée en ligne, réglementations UE vs USA, Google Consent Mode et gestion des consentements peut également être utile.

Une liste de contrôle minimale de conformité

Si vous devez développer un scraper au sein d'une entreprise, ce principe de base est incontournable :

• Limitez le périmètre. Collectez uniquement les champs nécessaires à la finalité déclarée.
• Évitez les données personnelles non indispensables. Si elles ne sont pas nécessaires, ne les extrayez pas.
• Pseudonymisez ou anonymisez lorsque possible, dès la pipeline.
• Documentez la provenance des données et la logique de collecte.
• Définissez des durées de conservation cohérentes avec l’usage réel.

Le but ici n'est pas de devenir avocat. Il s'agit de travailler en professionnels. Un scraper bien conçu n'est pas seulement efficace. Il est aussi défendable.

De l'extraction à l'action grâce à la plateforme ELECTE

De nombreux projets s'arrêtent trop tôt. L'équipe parvient à extraire les données, enregistre un fichier CSV et met peut-être à jour ce fichier chaque semaine. Puis le processus s'arrête là. Sans nettoyage, comparaison historique, reporting ni prévision, la valeur ajoutée reste partielle.

Comment organiser la transition des données vers les informations exploitables

Voici le passage pertinent :

1. Extraire des données cohérentes à partir de sources web.
2. Normaliser les champs, formats, noms et clés.
3. Historiser les relevés.
4. Comparer variations, exceptions et tendances.
5. Analyser dans un environnement qui rend la donnée lisible aussi pour le business.

Si vous travaillez dans le commerce de détail, cela peut signifier surveiller les prix de la concurrence et les promotions au fil du temps. Dans le domaine de la finance ou de la conformité, cela peut signifier enrichir les contrôles et les listes de surveillance à l'aide de sources publiques. En marketing, les avis et les contenus rédactionnels peuvent alimenter les classements qualitatifs et les analyses de tendances.

Lorsque le flux devient récurrent, il vaut mieux relier le scraping à un système d’analyse plutôt qu’à un dossier de fichiers locaux. Pour ceux qui doivent intégrer des données collectées depuis des sources externes dans un écosystème plus large, il peut être utile de voir aussi comment Electe gère l’intégration via API avec profil Postman vérifié.

Le principe est simple. Le scraping permet de collecter des données brutes. La valeur ajoutée apparaît lorsque ces données brutes sont intégrées à un processus décisionnel.

Principaux points à retenir

• Python est le choix le plus pratique quand vous voulez construire un scraper lisible, extensible et connectable à l’analyse de données.
• La bonne bibliothèque dépend du site. Requests et BeautifulSoup pour le HTML statique. Playwright ou Selenium pour les contenus dynamiques. Scrapy pour des processus plus larges.
• Le premier vrai travail est de comprendre la page, pas d’écrire du code.
• Les données brutes ne suffisent pas. Elles doivent être nettoyées, validées et enregistrées dans un format réutilisable.
• Le RGPD, les conditions d’utilisation et les données personnelles ne sont pas des détails secondaires. Ils font partie du projet.
• Un web scraper with python n’a de sens que s’il mène à de meilleures décisions, pas s’il produit des fichiers oubliés.

Conclusion : commencez à exploiter la puissance des données Web

Pour créer un bon scraper, il faut faire des choix judicieux. Le bon outil pour le bon site. Des sélecteurs stables. Un résultat propre. Un rythme de requêtes contrôlé. Une attention particulière aux aspects juridiques dès le départ.

C’est pour cette raison que le web scraper with python reste un des projets les plus utiles pour les analystes, les équipes digitales et les PME. Il vous permet de transformer le web en une source opérationnelle de données, sans dépendre uniquement d’exports manuels ou d’intégrations limitées.

Mais l'objectif final n'est pas l'extraction. C'est l'utilisation. Si vous reliez les données collectées à des rapports, des tendances, des alertes et des données historiques, le scraping cesse d'être une tâche technique pour devenir un véritable outil d'aide à la décision.

Vous avez déjà collecté les données. L’étape suivante consiste à les transformer en insights clairs et exploitables. Avec Electe, plateforme de data analytics IA pour les PME, vous pouvez connecter différentes sources, préparer les données plus rapidement et obtenir des rapports et des analyses qui aident vraiment le business à décider. Si vous voulez passer de fichiers bruts à une prise de décision plus rapide, cela vaut le coup de voir comment ça fonctionne.