SEO Profesional es un Podcast de SEO| SEM | Analítica | GTM | WPO | Marketing Online & la actualidad de este fantástico sector

62. Todo lo que tienes que saber sobre robots.txt

04.27.2016 - By Juan Carlos Díaz | SEO | Google Ads | Analítica | WPO | GTMPlay

Download our free app to listen on your phone

Download on the App StoreGet it on Google Play

Buenos días oyentes. Me podéis encontrar en Podcast seo

 

¿Qué es?

Es un archivo de texto plano que recomienda unas indicaciones a crawlers y bots de los buscadores

Es un archivo público que se encuentra en  midominio.com/robots.txt

El archivo prohíbe el acceso o permite a leer el contenido

Hay que tener cuidado con lo que se pone ya que no hay privacidad ninguna.

 

¿Qué beneficios tiene para el SEO?

Si lo tienes mal la puedes liar muy gorda, pero si lo tienes de forma correcta no vas a posicionar mejor que tu competencia.

Comprobar su funcionamiento en Webmaster Tools

¿Qué son los Bots, Crawlers y Spiders?

Google, como otros buscadores, utiliza sus propias arañas para ir rastreando todas las páginas webs.

Esto no significa que estos Bots vayan a cumplir las recomendaciones de este archivo.

 

Directrices más comunes

User-agent: *

Disallow:

* User-agent – Indica qué tipo de robot debe cumplir con las directivas que se indiquen a continuación.

* Disallow – Deniega el acceso a un directorio o página concreta.

* Allow – Funciona al contrario que la directiva Disallow, permitiendo el acceso a directorios y páginas. Se puede utilizar para sobrescribir la directiva Disallow parcial o totalmente.

* Sitemap – Indicar la ruta donde se encuentra un mapa del sitio en XML.

* Crawl-delay – Indica al robot el número de segundos que debe esperar entre cada página. Puede ser útil en casos en los que se necesita reducir la carga del servidor

 

¿Robots.txt impide la indexación?

No.

Muestro el siguiente ejemplo

More episodes from SEO Profesional es un Podcast de SEO| SEM | Analítica | GTM | WPO | Marketing Online & la actualidad de este fantástico sector