“El sitio de mi empresa tuvo una caída del 90% en las solicitudes de rastreo. ¿Qué pasó?” Google responde

Por supuesto, todos sabemos que para ser indexado en el motor de búsqueda de Google (que es un precursor de ser clasificado), su sitio debe poder ser rastreado por Googlebot.

Hay algunos factores que determinan la probabilidad de que Googlebot rastree un número suficiente de páginas, y esos factores conforman algo llamado presupuesto de rastreo.

Durante el horario de oficina de SEO de Google en inglés del 22 de octubre de 2021, John Mueller, quien es un defensor de búsqueda en Google, respondió a una pregunta sobre el rastreo.

Un participante le preguntó a John (y estoy parafraseando):

“Recientemente, la solicitud de rastreo en el sitio de mi empresa ha caído casi en más del 90%. Comprobamos todos los aspectos según el documento oficial de google como robots.txt… y también [comprobamos] otros posibles factores técnicos que [han causado] una caída repentina en las solicitudes de rastreo.

“¿Qué más recomiendas que también verifiquemos?”

El video a continuación está en cola hasta la marca ~ 7:25, que es cuando se hizo esta pregunta.

Demanda de rastreo y capacidad de rastreo

John comenzó su respuesta (que he parafraseado y limpiado para mayor claridad):

“Entonces … me suena como… nuestros sistemas tienen problemas para acceder a su contenido lo suficientemente rápido, por lo que cuando se trata de la cantidad de solicitudes que hacemos en un sitio web, tenemos dos tipos de cosas que equilibramos.

“Por un lado, la demanda de rastreo, que es cuánto queremos rastrear desde un sitio web, y suponiendo que este sea un sitio web razonable, entonces la demanda de rastreo generalmente se mantiene bastante estable. Puede subir si vemos mucho contenido nuevo; puede bajar si vemos… muy poco contenido, pero por lo general, estos cambios son muy lentos con el tiempo.

“Y el otro lado es la capacidad de rastreo. Esto es lo mucho que creemos que el servidor puede soportar desde el rastreo sin causar ningún problema, y esto es algo que evaluamos a diario, y puede reaccionar con bastante rapidez si pensamos que hay un problema crítico en el sitio web.

“Entonces, para problemas críticos, pensamos en cosas como errores del servidor. Si vemos muchos errores del servidor, si no podemos acceder al sitio web correctamente, si la velocidad del servidor baja significativamente (por lo tanto, no es el momento de renderizar una página, sino el momento de acceder a los archivos HTML directamente).

“Y esos son los tres aspectos que juegan en eso y, si, por ejemplo, la velocidad disminuye significativamente, lo verías en el Informe de estadísticas cruzadas en Search Console …”

Y, si Google piensa que está contribuyendo a los problemas de su sitio …

Entonces, para estar seguro, no creo que Googlebot pueda causar estos problemas en su sitio. En cambio, tal vez la semilla del problema fue alguna limitación con su sitio (como que su servidor alcanzara cerca de su capacidad), y luego, la aparición de Googlebot lo empujó más allá, lo que resultó en una desaceleración.

Pero con eso en mente, John dijo: “Sí, y eh, eso es algo en lo que … si creemos que causamos problemas por gatear demasiado, lo reduciremos con bastante rapidez”.

(Creo que está hablando de reducir la frecuencia de rastreo, lo que tiene sentido si su servidor tiene problemas para responder).

La persona que hizo la pregunta luego siguió con una confirmación:

“Oh, ya veo. Por lo tanto, el tiempo de respuesta es muy relevante y está altamente relacionado con la solicitud de llamada”.

Juan respondió: “Correcto. Sí, correcto”.

Errores 4XX (nivel 400) y 5XX (nivel 500)

Las preguntas y respuestas continuaron. Se le preguntó a John: “¿Crees que los códigos de respuesta de nivel 400 y 500 pueden reducir la tasa de rastreo?”

La respuesta de Juan fue:

“Errores de nivel 500, definitivamente. Esos son errores del servidor, que veríamos como potencialmente problemáticos. 400 errores son menos problemáticos, porque básicamente es contenido [que] no existe, por lo que podemos rastrear normalmente.

“Entonces, si una página desaparece, eso no es un problema. Si tiene un error del servidor, eso es un problema”.

O, para reafirmar mi comprensión de las respuestas de John: Entonces, si hay un problema de nivel 400, eso no es un problema (en lo que respecta al rastreo). Si hay un problema de nivel 500, eso es un problema (en lo que respecta al rastreo).

Hubo algunas preguntas más que se hicieron, que eran básicamente preguntas que iban más allá en este tema. Puedes escucharlos en el video mencionado anteriormente.

Si desea un recurso adicional, hay un documento de Google titulado Guía del propietario de sitios grandes para administrar su presupuesto de rastreo, que contiene mucha de la información clave que es la base de lo que lee aquí.

Fuente: Canal de YouTube de Google Search Central