Les moteurs de recherche Bing et Yandex proposent une nouvelle solution d'indexation avec IndexNow, un protocole qui permet aux sites web d'avertir les moteurs lorsqu'une page est créée, modifiée ou supprimée, permettant ainsi un crawl plus utile et efficace. Reste à voir si Google va adhérer au système...
Bing avait déjà lancé une première idée au mois de mars dernier, avec l'idée d'une soumission automatique d'une page web nouvellement créée ou modifiée, directement depuis un CMS comme WordPress.
Et cette idée a fait son chemin puisque, en partenariat avec Yandex, le moteur de recherche de Microsoft lance et annonce le système IndexNow (on relèvera le design du site rappelant fortement celui sur les Sitemaps XML, ce qui n'est certainement pas un hasard), un nouveau protocole qui permet aux sites Web d'informer les moteurs de recherche à chaque fois que le contenu de leur site Web est créé, mis à jour ou supprimé. À l'aide d'une API, une fois que les moteurs de recherche sont informés des mises à jour, ils crawlent le site et reflètent les changements dans leur index et leurs résultats de recherche.
Cela évite donc du crawl « pour rien » (si la page n'a finalement pas été modifiée depuis la dernière visite du robot) et soulage le serveur, puisque chaque visite du moteur devient « utile ».
IndexNow pour les développeurs
Si vous êtes un développeur, voici comment intégrer le nouveau système dans votre site :
- Générez une clé supportée par le protocole en utilisant l'outil de génération de clé en ligne.
- Hébergez la clé dans un fichier texte nommé avec la valeur de la clé, à la racine de votre site web.
- Commencez à soumettre des URL lorsque vos URL sont ajoutées, mises à jour ou supprimées. Vous pouvez soumettre une URL ou un ensemble d'URL par appel d'API.
Pour soumettre une URL, vous pouvez envoyer une simple requête HTTP contenant l'URL modifiée et votre clé, comme ceci : https://www.bing.com/IndexNow?url=url-changed&key=your-key
IndexNow pour les non-développeurs
Plusieurs CMS ont d'ores et déjà annoncé l'intégration du protocole dans leur système. Il sera alors automatisé sans intervention humaine :
- WordPress : Microsoft Bing a fourni le code open-source pour supporter IndexNow afin d'aider WordPress et d'autres CMS à adopter IndexNow.
- Wix prévoit d'intégrer IndexNow.
- Duda supportera IndexNow dans quelques semaines.
Plusieurs réseaux de diffusion de contenu (CDN) travaillent également sur ce système : Cloudflare soutient l'initiative. Akamai également.
Il est également à noter que les solutions Botify et onCrawl ont plannifié l'intégration d'IndexNow à leur suite d'outils de crawl et d'aide à l'indexation.
Les questions : le spam et Google ?
Bien sûr, ce qui fera le plein succès (ou pas) de ce nouveau protocole sera l'adhésion (ou pas) de Google à cette nouvelle donne. Pour l'instant, la firme de Mountain View ne s'est pas prononcée sur le sujet et nos questions à ce sujet auprès de Bing n'ont pas reçu de réponses claires (mais quand même une réponse pleine d'optimisme sur la solution proposée 🙂 ).
Autre interrogation : les sites web qui ne joueront pas le jeu et enverront des demandes de crawl inutiles et incessantes aux moteurs. En même temps, il sera assez facile pour ces derniers de détecter ce type de pratiques malsaines et de pénaliser, voire de beaucoup moins crawler les « contrevenants »…
La documentation technique au sujet d'IndexNow sur le sité dédié au prootocole. Source : Abondance.
Superbe initiative et bienvenue au moment où beaucoup de webmasters et SEO commençaient en avoir marre des indexations erratiques de Google ! Une raison supplémentaire de ne pas négliger Bing et Yandex !
Super de voir les concurrents de Google bouger un peu, si ça peut faire bouger les lignes et améliorer tout le monde c’est vraiment pas mal !