“Que dois-je savoir sur les appels d’API et le crawling ?” La réponse de Google

REMARQUE : ce qui est abordé ici n’englobe peut-être pas la totalité de ce que vous devez savoir sur les API, en particulier dans votre situation. Cependant, lorsque John Mueller de Google a été interrogé sur le sujet, il a mentionné quelques éléments.

Cet article relaie ce qu’il a dit.

Google organise fréquemment ce que l’on appelle des “Office Hours”, qui sont en fait des sessions de questions-réponses enregistrées. Les webmasters, les référenceurs et les entrepreneurs sont les bienvenus à ces sessions et peuvent poser des questions sur divers aspects de Google Search.

Lors de l’Office-Hours de Google SEO en anglais du 8 octobre 2021, une question a été posée sur les appels API :

“J’ai un site Web qui se connecte à des API du côté client pour obtenir des données. Ces URL sont-ils inclus dans le budget d’exploration ? Si vous interdisez ces URL, cela créera-t-il des problèmes ?”

La vidéo ci-dessous est mise en file d’attente jusqu’au moment où la question a été posée :

La première chose à considérer : Les API sont-elles incluses lorsque votre page est rendue ?

La réponse de John a été la suivante :

“Je pense donc qu’il y a deux choses à considérer. D’une part, si ces API sont incluses dans le rendu d’une page, alors oui, elles seront incluses dans l’exploration, et elles compteront dans votre budget d’exploration, essentiellement parce que nous devons explorer ces URL pour rendre la page.

Vous pouvez les bloquer

“Vous pouvez les bloquer par le biais de robots.txt si vous préférez qu’elles ne soient pas explorées ou utilisées pendant le rendu.

“C’est à vous de décider si vous préférez le faire. En particulier si vous avez une API dont la maintenance est assez coûteuse ou qui nécessite beaucoup de ressources, cela peut parfois être judicieux.

La deuxième chose à prendre en compte : Si vous interdisez le crawling

“La partie délicate, je suppose, est que si vous interdisez l’exploration de votre point de terminaison d’API, nous ne pourrons utiliser aucune donnée sur les retours d’API pour l’indexation. Ainsi, si le contenu de votre page provient uniquement de l’API et que vous interdisez l’exploration de l’API, nous n’aurons pas ce contact. C’est en quelque sorte le seul aspect de la question.

“Si l’API ne fait que quelque chose de complémentaire à la page, comme dessiner une carte ou – je ne sais pas – un graphique d’un tableau numérique que vous avez sur une page, ou quelque chose comme ça, alors peut-être que ça n’a pas d’importance si ce contenu n’est pas inclus dans l’indexation.

Comment la page fonctionne-t-elle lorsque l’API est bloquée ? Conséquences ?

“L’autre chose est que parfois, la façon dont une page fonctionne lorsque l’API est bloquée n’est pas triviale.

“En particulier, si vous utilisez JavaScript et que les appels API sont bloqués à cause de robots.txt, vous devez gérer cette exception d’une manière ou d’une autre. Et selon la façon dont vous intégrez le JavaScript sur la page, ce que vous faites avec l’API, vous devez vous assurer qu’elle fonctionne toujours.

“Si l’appel à l’API ne fonctionne pas et que le reste du rendu de la page est complètement interrompu, nous ne pouvons pas indexer grand-chose car il n’y a plus rien à rendre.

“Cependant, si l’appel API est interrompu et que nous pouvons toujours indexer le reste de votre page, cela peut être parfaitement correct. Ce sont donc les options qui s’offrent à nous.

“Je pense que c’est plus délicat si vous gérez une API pour d’autres personnes, parce que si vous interdisez le crawling, vous avez en quelque sorte cet effet de second ordre : le site Web de quelqu’un d’autre peut dépendre de votre API. Et selon ce que votre API fait, alors soudainement, leur site web n’a pas de contenu indexable.

“Et il se peut qu’il ne s’en aperçoive même pas parce qu’il n’était pas conscient que vous aviez soudainement ajouté un disallow à cet endroit.

“Et cela peut avoir des effets indirects. Mais, en fin de compte, c’est vous qui décidez.

Donc, ce sont quelques éléments à prendre en compte : Le budget de l’API et du crawl, les conséquences potentielles du blocage de Googlebot de l’API, et si vous exécutez une API pour des utilisateurs/logiciels secondaires ou tiers.

Source : Chaîne YouTube Google Search Central