L’essentiel
- Crawl, indexation et classement sont trois étapes distinctes
- Googlebot découvre les pages par les liens, les sitemaps et les redirections
- Une page non explorée ne peut pas être indexée
- Le robots.txt contrôle l’exploration, pas l’indexation
- Un crawl SEO avec un outil comme Screaming Frog simule le passage d’un robot sur votre site
Comment fonctionne le crawl de Google#
Googlebot dispose d’une liste d’URL à visiter. À chaque page, il télécharge le code HTML, note le code HTTP et extrait les liens pour allonger sa liste. Les pages qui dépendent du JavaScript passent ensuite par une étape de rendu, parfois différée : c’est le sujet du rendu JavaScript.
Les trois étapes se suivent dans cet ordre :
- Crawl : Google trouve et lit la page.
- Indexation : il analyse son contenu et décide de la stocker dans son index.
- Classement : il la positionne sur les requêtes pour lesquelles elle est pertinente.
Beaucoup de problèmes SEO se situent à la première étape sans que personne ne le voie. Une page explorée mais « non indexée » dans la Search Console n’a pas le même problème qu’une page « détectée, actuellement non indexée », que Google connaît mais n’a pas encore pris le temps d’explorer.
Comment Google découvre les pages#
- Les liens internes : c’est la voie principale. Une page sans aucun lien interne (page orpheline) est difficile à trouver.
- Le sitemap XML : il liste les URL à explorer, sans garantir leur indexation.
- Les liens externes : un backlink peut faire découvrir une page.
- Les redirections : Google suit la destination.
Depuis 2024, Google explore la quasi-totalité des sites avec son robot mobile : c’est la version mobile des pages qui compte.
Le crawl budget#
Google n’explore pas un site à l’infini. Le crawl budget est le nombre de pages qu’il accepte d’explorer sur une période, selon la capacité du serveur et l’intérêt qu’il porte au site. Sur un site de quelques centaines de pages, ce n’est pas un sujet. Sur un catalogue e-commerce avec des filtres qui génèrent des milliers d’URL, il devient central.
Le crawl SEO : simuler le passage d’un robot#
En SEO, « faire un crawl » veut aussi dire lancer un outil qui parcourt le site comme le ferait Google. Screaming Frog, que j’utilise sur chaque mission, relève pour chaque URL le code HTTP, la balise title, les directives d’indexation, la balise canonique, la profondeur de clic et les liens entrants.
Ce que je cherche en priorité dans un crawl :
- les pages importantes trop profondes (plus de trois ou quatre clics depuis l’accueil) ;
- les liens internes vers des pages en erreur ou redirigées ;
- les URL à paramètres générées par les filtres ;
- les pages en noindex ou canonisées vers une autre URL alors qu’elles devraient se positionner.
Croisé avec les données de la Search Console et, quand c’est possible, avec les logs serveur, le crawl est la base de tout audit SEO technique.
Questions fréquentes#
Quelle différence entre crawl et indexation ?
Le crawl, c’est la visite de la page par le robot. L’indexation, c’est la décision de l’enregistrer dans l’index du moteur. Une page peut être explorée sans être indexée.
Comment savoir si Google explore mon site ?
Le rapport « Statistiques sur l’exploration » de la Google Search Console montre le nombre de requêtes de Googlebot par jour, les codes de réponse et les types de fichiers. Les logs serveur donnent le détail URL par URL.
Comment accélérer le crawl d’une nouvelle page ?
En la reliant depuis des pages déjà bien explorées, en l’ajoutant au sitemap et en demandant une indexation via l’outil d’inspection d’URL de la Search Console.
Un crawl Screaming Frog peut-il ralentir mon site ?
Sur un petit serveur, oui. Il suffit de limiter la vitesse de crawl dans les réglages de l’outil.