Crawl Sculpting

nofollow en los enlaces internos

Tras el experimento de las redirecciones 301, 302 y 307. Llega el turno de experimentar sobre qué hacen los bots con los enlaces internos. El nofollow lleva más de 10 años entre nosotros, todos estamos de acuerdo en que la época dorada del pr sculpting ya pasó, pero y el “crawl sculpting“? Si ya lo hacemos con el robots.txt, ¿por qué no probar a ver qué pasa con los links nofollows? No hay mejor forma de verlo que con los logs de los bots. Empiezo una serie de experimentos con uno muy sencillito, 3 links anidados, unos nofollow y otros dofollow. A ver que pasa… pondré aquí las conclusiones.

X-Robots-Tag http header

Otros dos experimentos para comprobar si podemos ahorrar otros 2 céntimos de cuota de rastreo.

En primer lugar vamos a comprobar si Googlebot se descarga todo el HTML de una petición donde la cabecera le devuelve un “none” (noindex, nofollow). Entendería que se descargase el destino de una URL de un canonical, para comprobar que verdaderamente hay lo que dice haber, entendería que se descargase el html de una url donde el none está en el HTML, ¿pero si se lo decimos en las cabeceras? ¿realmente es necesario? Experimentemos con 2 ficheros php con las cabeceras configuradas para devolver un none y un noindex. De nuevo, pondré aquí las conclusiones.

El segundo es parecido, pero esta vez con canonical en las cabeceras. ¿Descubrirá el nuevo contenido a la misma velocidad que si incluimos el canonical en el html? Se gana algo introduciendo el canonical en los encabezados más allá de despistar a tu competencia 🙂 Probemos!

CategoríasSEO

Deja un comentario