Ücretsiz SEO Eğitimi serisinin bu podcastinde teknik SEO konularından Robots.txt dosyası nedir, SEO çalışmalarında nasıl kullanılmalıdır konularını tüm detaylarıyla işledik.
Bu videoyu kısaca özetlemek gerekirse:
Robots.txt, web yöneticilerinin arama motoru botlarına web sitelerindeki sayfaların nasıl taranacağını bildirmek için oluşturdukları bir metin dosyasıdır.
Bu dosya websitesinin kök dizininde bulunur bu nedenle adresi de siteadi.com/robots.txt şeklindedir. Standart bir robots.txt dosyası user-agent (kullanıcı aracısı) ve disallow komutu ile oluşturulur.
Robots.txt Syntaxına bakmamız gerekirse:
User-agent: Web tarayıcı ismi
Disallow: Bir kullanıcı aracısına belirli bir URL'yi taramamasını söylemek için kullanılan komut.
Allow: Googlebot’a, üst sayfasına veya alt klasörüne izin verilmemiş olsa bile bir sayfaya veya alt klasöre erişebileceğini söyleyen komut.
Crawl-delay: Bir tarayıcının sayfa içeriğini yüklemeden ve taramadan önce kaç saniye beklemesi gerektiği. (googlebot için geçerli değildir, search console tarama hızı bölümünden ayarlayabilirsiniz).
Google, robots.txt spesifikasyonları hakkında bilgi almak için: https://developers.google.com/search/reference/robots_txt bu linke tıklayabilirsiniz.
Taranabilir bir websitesinin önemi hakkında daha fazla detay ve SEO çalışmalarına başlamadan bilinmesi gerekenleri merak ediyorsanız: https://www.youtube.com/watch?v=hX-b5AR8HRE videosunu izlemenizi tavsiye ediyorum.
Yine Teknik SEO konusunda temel bilgilerinizi gözden geçirmek ve tazelemek isterseniz: https://www.youtube.com/watch?v=Zq1UNqAVmP4 videosunu da izlemeniz faydalı olacaktır.
Ayrıca bu eğitimlere toplu olarak baştan sonra seotional.com dijital pazarlama ve SEO blogumuzdan da ulaşıp, takip edebilirsiniz.