Arama motorlarının hepsinin ortak bir özelliği bulunmaktadır. Kullanıcılarına doğru bilgiyi, hızlı bir biçimde sunmak. İnternet sitenizde yayınladığınız bilgilerin doğruluğunu önceki yazılarımızda anlattığımız birkaç algoritma belirlemektedir lakin ‘’hızlı biçimde sunmak’’ robots.txt belgesinden geçmektedir.
Her arama motorunun kendi örümcekleri ve kendi algoritması
vardır lakin her internet sitesinin bir adet robots.txt dosyası vardır. Bu
‘’.txt’’ uzantılı metin belgesi sayesinde hangi arama motorunun sitenizi dizine
eklemesini, hangi sayfanızı eksik tutmasını hatta daha detaya inersek örneğin,
Google botları x sayfamı dizine eklesin ama Edge botları x sayfamı dizine
eklemesin gibi komutlar verebilirsiniz.
Neden internet sitemizin dizine eklenmesini engellemek
isteyeyim ki sorunuzu duyar gibiyim. Örneğin, siz bir E-Ticaret sitesi
sahibisiniz ve bütün sayfalarınızı dizine eklettiniz. Kullanıcınız arama
sonuçlarında neden ‘’sepete ekle’’ sayfanızı görsün? Kullanıcılarınız ürünleri
bile eklemeden ‘’sepete ekle’’ sayfanızı görsün ister misiniz? Eğer cevabınız
evet ise yanlış bir dijital pazarlama ve SEO stratejisi izlediğinizi
diyebiliriz.
Robots.txt Dosyasının Önemi Nedir?
Bu metin belgesi sayesinde gereksiz ve dizine eklenmemesi
gereken ama sitenizde bulunması zorunlu sayfaları engelleyerek, sitenizin daha
hızlı taranmasını sağlayabilirsiniz. Bu sayede tarama bütçemizi daha verimli
kullanmış ve hızlı indeks almış oluruz. Ayrıca arama motoru örümcekleri
sitenizi taramaya geldiği zaman direkt olarak ana sayfanıza daha sonra alt
sayfalarınıza gelmez. Önce bu metin belgesine sonrasında belgenin içerisinde ki
belirttiğiniz sayfalara gider.
Eğer Robots.txt dosyasına yanlış bir kod yazarsanız, belki
de bütün sayfalarınızı dizine eklemeden kaldırmış olabilirsiniz. Bu da
sitenizin tamamının SERP sıralamalarının kalkmasına neden olabilir.
Nasıl Oluşturulur?
Robots.txt dosyasını oluşturmak için yazılım konusunda
uzmanız olmanıza gerek yok. Kodları ve bu kodları nasıl kullanabileceğinizi
bilmeniz sizin için yeterli olacaktır. Eğer biliyorsanız basit bir şekilde
fareniz ile sağ tık yaparak yeni metin belgesi oluştur demeniz yeterli
olacaktır. İstediğiniz ayarlamaları yaptıktan sonra metin belgesinin adını
‘’robots.txt’’ yapmayı unutmayınız.
WordPress vb. tarzda hazır altyapılar kullanıyorsanız, Yoast
SEO, Rankmath, All In One SEO gibi eklentileri sitenize kurarak da kolayca
oluşturabilirsiniz.