77. Crawl Budget

Recordad que me podéis encontrar en Seo Profesional el Podcast

Podéis descargar  la APP gratuita y sin publicidad en:

Que Es Crawl Budget

El tiempo que google pasa en tu página web.

Dependido de la accesibilidad de la web, autoridad y velocidad Google dará un Crawl budget menor o superior.

Beneficios para el SEO

Está estrechamente relacionado que las páginas con más trafico son las páginas que más visita el BOT o el Crawler de Google..

¿Se puede indicar a Google por dónde tiene que pasar? y debemos hacerlo

A través de la arquitectura, la profundidad de los enlaces con etiquetas Follow nofollow. Con index no index

Posibles problemas de rastreo:

* DNS

* SERVIDOR

* Generación de Urls dinámicas

* Tiempo de espera agotado

* Cabeceras incompletas

* Sin respuesta

* Robots.txt

* Flash, JS

Optimizar el Crawl budeget

Tener una arquitectura correcta y clara.

Utilizar el enlazado interno de forma correcta

Evitar errores 404.

Excluir las páginas que no queremos rastrear a través del fichero robots.txt

Páginas eliminadas pero no borradas del Sitemap

Páginas no index pero no excluidas

Paginaciones infinitas por ejemplo el Calendario

Detectar el número de páginas que están recibiendo tráfico orgánico.

Hacer uso adecuado de los metadatos y los atributos noindex & nofollow.

No tener contenido duplicado, el Bot es capaz de  detectar si se está ofreciendo el mismo contenido en otras páginas de nuestro sitio y darnos una frecuencia de rastreo inferior al detectar el mismo contenido en varias páginas dentro de nuestro sitio.

El bloquear una página a través del fichero robots.txt puede ser un tiempo muy preciado que la araña del buscador no perderá en entrar en esa página y rastrearla.

Es necesario  tener un mapa web en formato XML (Sitemap)  con toda la lista de URL que queremos indexar y las más importantes.

El Sitemap tiene un límite de 50.000 urls.

https://www.google.com/webmasters/tools/googlebot-report

Desde Search Console podemos limitar la frecuencia de rastreo.