Avoir un site visible et bien indexé. Comment ça marche ?

Un site invisible est un site inutile. Et pour être vu, vous devez vous assurer que Google trouve et indexe correctement votre site. Non pas une fois mais chaque fois que vous publierez quelque chose de nouveau. C’est ici qu’intervient l’optimisation technique pour rendre votre site visible des moteurs de recherche. Comment faire et comment savoir si Google vous voit ?

Sommaire

Sans indexation, pas de trafic et pas de visibilité
Vérifier la présence de votre site sur Google
- site:exemple.com
Mon site n’est pas indexé, pourquoi ?
Diagnostiquer les problèmes d’indexation
Pour un site visible rapidement, aidez Google
Certaines pages ne devraient pas être indexées
Consultez une agence SEO pour vérifier votre visibilité
Lectures recommandées

Sans indexation, pas de trafic et pas de visibilité

Une évidence pour commencer cet article : lorsque vous publiez un nouveau site, il ne s’annonce pas tout seul aux moteurs de recherche. Ce sont des robots d’exploration (appelés crawlers ou bots) qui font le travail et qui le trouvent. Pour rappel, ces robots parcourent à longueur de journée des milliards de pages Web en suivant des liens internes et externes dans le but d’indexer et d’organiser tout le contenu qu’ils trouvent.

L’index de Google est une gigantesque banque de données qui fonctionne comme une bibliothèque. Lorsque vous recherchez des informations sur un sujet donné, Google fouille dans son catalogue (index) pour vous fournir une liste de données pertinentes (classée en fonction de ses algorithmes). Cela mène à la page de résultats que vous connaissez bien (les SERPs – search engine results page).

Google construit son index en analysant et sauvegardant (indexing) de multiples informations sur chaque page visitée (crawling), puis en les stockant dans son index.

Source : Cité Scolaire Beaumont-Redon

Peu importe donc le temps, l’énergie et l’argent que vous dépensez à créer « le site parfait », si votre site n’est pas indexé, Google ne peut pas l’afficher. Votre visibilité et vos chances d’obtenir du trafic organique sont donc nulles. Pour bien comprendre comment Google organise l’information qu’il trouve sur le net, je vous invite d’ailleurs à visionner la vidéo de Matt Cutts (sous-titrée en français).

Vérifier la présence de votre site sur Google

La manière la plus rapide et la plus simple de vérifier si votre site est visible, et « indexé » correctement, c’est de demander à Google de lister toutes les pages qu’il a indexées. Avec la syntaxe suivante :

site:exemple.com

(remplacer exemple.com par l’url de votre site – sans http(s), sans www, sans espace)

Vous saurez ainsi précisément combien de pages sont indexées par Google (ou Bing ou Yahoo). Cela peut d’ailleurs varier d’un jour à l’autre, en fonction du passage des robots.

Vous pouvez ensuite comparer ces résultats avec la liste des pages de votre site. L’outil de Google pour les webmasters, la Google Search Console, vous résume ainsi la situation :

Comme vous le constatez les pages et les images sont indexées séparément. Toutes deux peuvent amener du trafic vers votre site. D’où l’intérêt évident de bien optimiser vos images.

Mon site n’est pas indexé, pourquoi ?

Si votre site n’est pas indexé, il peut y avoir plusieurs raisons à cela.

Help ! Mon site est invisible.

Si votre site est tout récent, il se peut que les robots de Google ne l’ait pas encore détecté. Mais s’il existe depuis quelque temps (semaines / mois) et si Google n’a rien indexé, c’est qu’il ne le voit pas. Les raisons les plus courantes sont techniques :

Un fichier htaccess bloque le site. C’est un fichier de configuration des serveurs http Apache.
Un fichier robots.txt bloque l’indexation. Ce fichier communique des directives spécifiques aux robots de Google concernant l’exploration, l’accès et l’indexation du contenu. S’il contient par exemple une balise <noindex>, Google n’indexera pas votre site.
Les réglages de WordPress empêchent l’indexation (ce qui est une pratique courante en phase de pré-production, pour éviter de montrer un site en chantier).
Le niveau de qualité est insuffisant. Google peut parcourir votre site et décider de ne pas l’indexer. Si votre site est jugé de faible valeur, a peu de contenu (ou pas de contenu du tout), Google peut décider de ne pas indexer une partie ou la totalité de vos pages dans le but de maintenir ses standards.

Quand sera indexé votre nouveau site ?

Savoir quand un nouveau site sera indexé est une question à laquelle on ne peut répondre avec certitude. Car même si tout est fait correctement, en suivant scrupuleusement les directives fournies par Google, cela dépend de facteurs indépendants de votre volonté.

Dans la mesure où les robots d’exploration parcourent des milliards de pages à longueur de journée, et qu’ils doivent régulièrement y revenir pour garder leurs informations à jour, on comprend qu’il peut se passer un certain temps entre le moment où vous publiez votre site et le moment où Google (ou Bing ou autre) l’explore : quelques minutes, un jour, une semaine, voire même quelques mois dans certains cas.

Mais il y a moyen d’accélérer ce processus comme nous le verrons plus loin.

Certaines pages ne sont pas indexées, que faire ?

Si une ou plusieurs pages manquent, passez en revue la liste des pages indexées et identifiez celles que le moteur de recherche n’a pas reprises. Ici aussi plusieurs raisons possibles :

La présence de certaines balises métas – Évaluez les pages qui ne sont pas indexées pour vous assurer qu’elles n’ont pas les balises méta <META NAME= » ROBOTS » CONTENT= » NOINDEX, NOFOLLOW »>. Cette balise meta particulière interdit aux robots d’accéder à la page, ce qui à son tour empêche la page d’être indexée.
un problème de duplicate content, ou de contenu de peu de valeur.
Un problème technique, lié à un renvoi vers une page 404 ou un problème de chargement.
Un maillage interne défectueux: vérifiez les URL de vos liens internes

Diagnostiquer les problèmes d’indexation

Si les crawlers ne trouvent pas votre site, après vérification des points que je viens d’évoquer, pensez à (faire) créer un plan de site xml complet (une liste de toutes les pages à indexer), que vous soumettrez ensuite à Google, pour l’aider à découvrir vos pages Web.

Si votre site est indexé, il y a probablement encore moyen d’améliorer son indexation. L’importance d’une bonne indexation est bien sûr fonction du type de site ou de page concerné. Logiquement, un site e-commerce mal indexé est bien plus critique qu’un article de blog personnel peu visible. D’autant plus que le trafic organique est la forme de trafic la plus rentable pour les entreprises (puisqu’il ne coûte rien). Autant l’optimiser au maximum !

Trouvez et corrigez les erreurs techniques

Pour rappel, les principales sources de blocages sont techniques :

Mauvaise configuration du fichier robot.txt
Erreur dans le fichier .htaccess
Erreurs d’URL (erreurs 404, accès refusé, URL non suivies)
Problème de connectivité ou de DNS
Absence de sitemap

N’oubliez pas d’indexer tous les (sous)-domaines

Si vous passez de http à http, vous changez de domaine. Dans ce cas, les pages de votre site sont indexées sous la forme https://example.com au lieu de http:// example.com. Pour éviter que Google ne vous trouve plus, assurez-vous de mettre en place des redirections 301 de la version http vers la version https de chaque page afin que Googlebot (et les internautes) sachent où aller.
De même, assurez-vous que les versions avec ou sans www sont correctement indexées. En effet, pour Google, example.com et www.example.com sont deux URL distinctes qui peuvent présenter des contenus différents. C’est pourquoi il traite ces deux URL comme deux sites distincts dans la Search Console. A configurer correctement pour éviter le duplicate content.
Enfin, il se peut également que votre site soit situé dans un sous-dossier, notamment s’il est hébergé sur une plateforme gratuite (www.example.com/rollergirl/).

Corrigez les erreurs de lecture (crawl)

Parfois certains liens renvoient vers des pages inexistantes ou déplacées. Votre site a alors une multitude d’erreurs de lecture (crawl). Vous pouvez les identifier grâce à la Google Search Console.

Analysez le rapport de couverture de l’index

Ce rapport de Google Search Console vous aide à corriger toutes les erreurs d’indexation. Le graphique représente le nombre total d’URL connu de Google, et dans le cas des URL exclues, détaille pourquoi elles le sont : anomalie, redirection, introuvable, balise « noindex », etc.

Pour plus d’explication, reportez-vous à la page sur le Rapport de couverture de l’index de Google.

Pour un site visible rapidement, aidez Google

Vous l’aurez compris, pour analyser correctement ce qui se passe sur votre site, commencez par installer Google Search Console.

Accélérer l’indexation grâce à un sitemap

Pour accélérer le processus d’indexation, commencez par soumettre votre sitemap (plan de site) à Google via la Google Search Console. Car même si les sitemaps n’influencent pas votre « ranking » ils inciteront Google à indexer votre site plus rapidement et plus efficacement.

Avez-vous créé la page ou demandé son indexation récemment ? Google peut mettre du temps à indexer votre page. Laissez passer au moins une semaine après l’envoi d’un sitemap ou d’une demande d’indexation avant d’envisager l’éventualité d’un problème. Si les modifications apportées à votre page ou votre site sont récentes, patientez une semaine avant de revérifier s’ils sont présents dans l’index Google.

Pensez d’ailleurs à garder votre sitemap à jour sur Google Search Console. Passez une ou deux fois par mois vérifier ce qui se passe sur GSC.

Optimiser votre site Web pour l’indexation

Pour s’assurer que les pages indexées restent correctement indexées, que les nouvelles pages sont bien ajoutées à la liste, et que les pages non désirées ne sont pas incluses, il est important de procéder régulièrement à un examen des points suivants :

Soignez l’ergonomie de votre site web. Est-ce que tout fonctionne comme il se doit d’un point de vue technique ? Le serveur gère-t-il la charge comme il se doit ?
Améliorez votre maillage interne. Avez-vous suffisamment de liens internes pour encourager un crawling régulier ? Multipliez les liens d’une page à l’autre (mais sans en abuser), c’est utile pour les moteurs de recherche mais aussi pour garder vos visiteurs plus longtemps sur votre site.
Utilisez un fil d’ariane. Les pages sont-elles correctement imbriquées et placées dans les bonnes catégories ? Maintenir une structure interne logique est très important pour montrer aux moteurs de recherche que vos pages valent la peine d’être indexées.

Si vous voulez attirer du trafic de qualité vers votre site, vous devrez donc vous familiariser avec tous ces concepts ou consulter quelqu’un qui sait exactement comment vérifier ces choses et apporter les changements nécessaires.

Quelques conseils pour booster l’indexation de votre site

Publiez régulièrement

La création de contenu est l’un des deux facteurs de classement les plus importants dans les SERPs. Si votre site est lancé depuis quelque temps, pour maintenir un bon niveau d’indexation., la meilleure recette est de publier régulièrement du nouveau contenu ou de mettre à jour d’anciens contenus. Car plus vous mettrez à jour votre site, plus les robots de Google passeront pour vérifier les nouveautés.

Pratiquez le link building

Les robots accèdent à votre site par des liens. Il existe de nombreuses façons de générer des liens qui pointent vers votre site. Vous pouvez le faire en écrivant des articles ou en postant des commentaires sur des sites Web pertinents. Vous pouvez également créer des liens vers votre site sur vos profils sociaux (Twitter, Facebook, LinkedIn). Ou afficher les photos présentes sur votre site sur Pinterest ou Instagram, créer des vidéos et les téléchargez sur YouTube, des présentations sur Slideshare, en ajoutant à chaque fois un lien vers votre site dans la description, etc.

Nettoyez votre site Web

Certains éléments de votre site peuvent diminuer le taux d’exploration, comme le duplicate content, les pages inutiles, certaines images, etc. Utilisez les fichiers Robots.txt pour indiquer aux robots comment parcourir les pages de votre site et les empêcher d’indexer les pages non pertinentes. Optimisez vos images pour les inclure dans les résultats de recherche en installant le plugin Google image sitemap.

Utilisez un serveur avec un bon niveau de disponibilité (uptime)
Lorsque vous hébergez votre site sur un serveur fiable qui ne subit pas de temps d’arrêt régulier, votre site est accessible aux robots Google à tout moment. Par conséquent, les robots augmenteront leur taux de recherche, et votre site sera indexé plus rapidement.
Autre recommandation : optimisez la vitesse de chargement de votre site. Google n’a pas de temps à perdre ! Plus votre site sera rapide, meilleure sera l’indexation. De plus Google privilégie les sites rapides car il proposent une meilleure expérience utilisateur.

Partagez et faites connaître votre site

Un autre méthode toute simple d’obtenir des liens vers votre site ou blog consiste à soumettre votre nouvelle URL à des répertoires en ligne (annuaires business, locaux, …). Cette tactique est bien sûr utile pour faire connaître votre site à des clients potentiels mais cela peut aussi aider à accélérer l’indexation.

Certaines pages ne devraient pas être indexées

Certaines pages de votre site ne devraient pas être indexées. Par exemple, les pages utilitaires. Vous pouvez demander à Google de ne pas indexer des pages telles que :

Les pages « admin » et « login »: il est évident que ces pages ne devraient pas être indexées.
Les pages panier, création de compte, authentification, mot de passe oublié, etc. dans un site e-commerce.
Les pages de media – sur WordPress, ces pages risquent de diluer la qualité de votre indexation
Les pages de remerciement: ce sont les pages sur lesquelles on atterrit après s’être inscrit à une liste de diffusion ou après avoir téléchargé un livre blanc. Si ces pages sont indexées, vous pourriez perdre des prospects puisqu’ils ne doivent plus remplir de formulaire.
Les résultats de recherche interne – créer un lien vers une page de recherche est le meilleur moyen de gâcher l’expérience de recherche des internautes.
Le duplicate content– le sites est accessible avec ou sans www ; des articles accessibles via différentes URL, des pages d’A/B testing ; des pages au contenu très similaire (par exemple, des variations d’un même produit sur un site e-commerce) ; la version imprimable d’une page Web. Dans tous ces cas de figure, les différentes versions n’ont pas besoin d’apparaître dans les résultats de recherche. Ne gardez qu’une page indexée.

source : Neil Patel

Si vous avez un site e-commerce, avec des centaines de milliers de produits, indexer des pages peu importantes peut devenir un problème, parce que vous voulez que les robots de Google concentrent leurs efforts sur les pages importantes.

Pour en savoir plus, je vous invite à lire Neil Patel, qui explique pourquoi ne pas indexer certaines pages moins importantes peut vous aider à obtenir plus de trafic.

Consultez une agence SEO pour vérifier votre visibilité

Bien qu’il soit tout à fait possible de vous lancer dans vos propres recherches, il est parfois difficile de prendre le temps de réaliser un audit de votre propre site web. Heureusement, il existe de nos jours des agences qui ont décidé de se spécialiser dans ce travail. Ainsi, en faisant appel à une agence SEO, c’est à dire qui se spécialise dans le référencement naturel, vous mettrez toutes les chances de votre côté pour arriver à vos fins. En effet, ces agences ont l’habitude de vérifier la visibilité de nombreux sites web, et elles peuvent parfois vous proposer des prestations pour améliorer votre visibilité en ligne.

De cette façon, les agences qui se spécialisent dans le SEO arrivent à se différencier des autres en travaillant sur trois aspects bien distincts : la technique, le contenu, et le netlinking. Au delà de la vérification de votre présence sur les moteurs de recherche comme Google, les agences SEO peuvent vous proposer des prestations qui vous permettront de dépasser vos concurrents. Bien que ce travail soit parfois très long (cela peut prendre plusieurs mois ou années), il est primordial de le démarrer au plus tôt.