El Googlebot de 2022 por mucho evergreen que sea el Chromium que lo sustenta todavía lo cierto es que no ejecuta JS el 99% de las veces que rastrea los sitios web.
Si tu sitio es estático y no necesitas que Google profundice demasiado, quizá te puedas permitir el lujo de pintarle un sitio con alta carga de JS y simplemente esperando unas pocas semanas o incluso meses en el peor de los casos, Google acabe indexándotelo.
Pero cuando necesitas velocidad de rastreo e indexación, deberás plantearte hacer lo que se conoce como SSR, es decir, traducirle a Googlebot el JS de tu web para al menos a los bots, servirle html plano mucho más fácil de digerir para los bots actuales.
Existe otra opción para cuando no sabemos o queremos ejecutar procesos complicados en nuestro servidor. Pongamos un ejemplo, Google habla inglés y nuestra web español. No se entienden. ¿Qué hacemos? Aprendemos inglés (SSR) o contratamos un traductor, en este caso prerender.io que «traduce» o interpreta más bien, el JS de nuestra web para devolverle HTML a Googlebot.
Para usar prerender.io simplemente necesitarás agregar unos registros DNS y luego instalar un servicio en tu servidor que haga derivar las peticiones de Googlebot a prerender.io o mucho más fácil poner tu web tras Akamai, Google Cloud, CloudFlare o servicios similares y que sean ellos quienes hagan de Hub.
Tras unas semanas usándolo en varios clientes bajo Vtex IO y Adobe Experience Manager estas son algunas conclusiones o tips que quizá te ayuden a tomar la decisión de usarlo o te resuelvan alguna duda si ya lo estás usando.
- Puedes agregar un sitemap, pero solo servirá para que descubra antes las URLs y las tenga precacheadas antes de la petición de Googlebot. Esto acelerará mucho los tiempos. De unos 5s a 0.5s. Tiene una funcionalidad para hacer pings o leer rss con «cambios. Hasta ahora solo puedes modificar que actualice de 1 a 30 días, a más actualizaciones, más créditos consumes.
- Es perfectamente normal que tras instalarlo, comiencen a salir errores de rastreo de JS en Google Search Console. Pero es simplemente porque Googlebot aparte de cachear URLs, también cachea URIs (con i) de .js, .css, .jpg, etc. Las URIs (con i) de esos .JS, dejan de estar accesibles para Googlebot porque únicamente le sirve .html. De ahí los errores que desaparecerán en unas pocas semanas / meses.
- Si tu sitio no es responsive, tienes que marcarlo y cacheará 2 versiones de tu web, con desktop y mobile. Gastarás el doble de créditos.
- Si quieres ahorrar créditos puedes agregar parámetros a la lista de URLs a ignorar y no cachear (los bots irían a origen), pero sobre todo, excluir de la lista de bots a todos menos a Google.
- Te manda reporte de errores semanal por email, en formato agregado, por nº de errores de cada URL. No puedes llegar a este informe vía web, solo a través del email.
Contrátalo a través de este enlace.
Cómo ahorrar cuota en prerender.io
Al igual que ocurre con los tokens en IA, hay muchas formas de ahorrar para conseguir lo mismo, en prerender.io muchas veces desperdiciamos cuota por no tener bien configurado la herramienta de prerenderizado JS, especialmente útil para las IAs.
- En primer lugar, la mejor manera de ahorrar aunque está únicamente disponible a partir del plan PRO, es mediante las «Custom caching options«. Si hay zonas de la web más dinámicas que otras, pongamos reglas de cacheo o recacheo más cortas que en zonas menos dinámicas. El plan starter únicamente cuenta con «Flexible caching options» y el Growth con «Premium caching options«
- En segundo lugar, si necesitas inmediatez y poder servirle a los bots la página rápida sin esperar a que se prerenderize en tiempo real, lo ideal es conectar el API o los sitemaps, para que prerender.iko «prepare» la versión para bots antes de que un bot se la pida. Así preparará «solo lo nuevo», no ahorra, pero es la mejor manera de que recachee solo lo necesario sin mirar tanto los días de expiración.
- En tercer lugar, configurar los días por defecto cada cuanto quieres que se cachee de nuevo si nada lo ha hecho recachearse antes, entre 12 horas o 30 días… la respuesta debería estar clara si todo lo anterior está bien configurado. Este punto es «por si acaso»
- Además, no deberíamos tener hits ni a 404 ni a 301, si tenemos, deberíamos intentar cambiar todo lo posible en nuestra web o en internet, para no tenerlos. O al menos, no tener muchos.
- El cache hit ratio, si tenemos todo más o menos bien configurado, debería estar por encima del 90% o incluso 95%.
- Por otro lado, en el dashboard general podemos ver bots que más consumen, podemos ver como por ej bingbot sigue siendo altamente ineficiente a pesar de IndexNow, ChatGPT es un devorador de recursos… etc etc. Ahí podemos sacar datos para evaluar mejor las decisiones sobre qué bots mandar a prerender.io o no.
- También es importante ignorar todos aquellos parámetros que no cambien el contenido, que cacheen y sirvan la versión sin el parámetro, lo hacen muchos CDNs ya incluso por defecto. Es decir, miweb.com/?utm_from_telegram servirá lo mismo que miweb.com
¿ Cómo detectar a prerender.io?
Rangos de IPs: https://ipranges.prerender.io/ipranges-all.txt y explicación
Algunas ideas de bots que podríamos meter en el listado de User Agents a prerenderizar:
googlebot
adsbot-google
apis-google
mediapartners-google
google-safety
feedfetcher-google
googleproducer
google-site-verification
Googlebot
Googlebot-Image
Googlebot-Video
Googlebot-News
Googlebot-Discovery
Storebot-Google
Google-InspectionTool
GoogleOther
GoogleOther-Image
GoogleOther-Video
Google-Extended
bingbot
YandexBot
yabrowser
Yahoo
Slurp
YahooSeeker
Yahoo-Blogs
Yahoo-MMCrawler
Yahoo-FeedSeeker
Teoma
Baiduspider
baidu
naver
seznambot
sznprohlizec
qwantbot
ecosia
DuckDuckBot
duckduckbot
duckassistbot
DuckAssistBot
applebot
Applebot
Applebot-Extended
facebookexternalhit
facebookcatalog
facebookbot
meta-externalagent
Meta-ExternalAgent
Meta-ExternalFetcher
twitterbot
linkedinbot
slackbot
pinterestbot
tiktok
tiktokspider
bytespider
discordbot
GPTBot
ChatGPT-User
ChatGPT-User/2.0
ClaudeBot
Claude-Web
PerplexityBot
Perplexity-User/1.0
cohere-ai
anthropic-ai
OAI-SearchBot
quillbot.com
YouBot
MyCentralAIScraperBot
MistralAI-User/1.0
Quora-Bot
Y más:
cohere-ai
quillbot.com
YouBot
MyCentralAIScraperBot
Quora-Bot
MistralAI-User/1.0
YandexBot
yabrowser
Yahoo
Slurp
YahooSeeker
Yahoo-Blogs
Yahoo-MMCrawler
Yahoo-FeedSeeker
Teoma
Baiduspider
baidu
naver
seznambot
sznprohlizec
qwantbot
ecosia
DuckDuckBot
duckduckbot
duckassistbot
DuckAssistBot
applebot
Applebot
Applebot-Extended
facebookexternalhit
facebookcatalog
facebookbot
meta-externalagent
Meta-ExternalAgent
Meta-ExternalFetcher
instagram
twitterbot
linkedinbot
whatsapp
slackbot
pinterest
pinterestbot
tiktok
tiktokspider
bytespider
discord
Por último, cómo decidir entre activbar o no el recaching?
1. Con Recaching en ON (Recomendado para la mayoría)
Cuando el Recaching está encendido, el sistema funciona de forma proactiva y automatizada.
- Cómo funciona: Tú defines un tiempo de vida para tu caché (por ejemplo, 7 días). Cuando una página cumple esos 7 días, Prerender.io añade automáticamente esa URL a la Caching Queue.
- El proceso en segundo plano: Mientras la URL está en la cola esperando a ser procesada, si Googlebot visita tu web, Prerender le sirve la versión antigua (la que ya expiró) para que no espere. Mientras tanto, en segundo plano, el renderizador procesa la cola, visita tu web real, genera el nuevo HTML y actualiza la caché.
- Ventaja: Googlebot nunca experimenta tiempos de carga lentos (TTFB bajo garantizado) y tu caché se mantiene fresca de forma automática.
2. Con Recaching en OFF
Cuando apagas el Recaching, la Caching Queue deja de funcionar de forma automática para la expiración del tiempo. El sistema se vuelve reactivo.
- Cómo funciona: Si fijas que la caché dure 7 días, al cumplirse el plazo, Prerender.io elimina por completo la página de su memoria. La URL no va a la Caching Queue de forma automática.
- El problema del «Hit» frío: Cuando Googlebot llegue al día siguiente a pedir esa página, como ya no existe en la caché de Prerender, el bot tendrá que esperar en tiempo real a que Prerender cargue la web, ejecute el JavaScript y le devuelva el HTML.
- Desventaja: El tiempo de respuesta (TTFB) para el bot de búsqueda se dispara, lo cual puede perjudicar el Core Web Vitals (especialmente el INP o el LCP) y tu presupuesto de rastreo (crawl budget).