Çoğu deneyimli blogcu, robots.txt dosyasının ne olduğunu ve neden bu dosyaya ihtiyacınız olduğunu kesinlikle bilir. Ancak birkaç yazar, WordPress'e bir blog kurduktan sonra hemen bir robots.txt dosyası oluşturmak için acele eder.
Robots.txt, sitenizin kök dizinine yüklenen ve tarayıcılar için talimatlar içeren bir metin dosyasıdır. Kullanımının temel amacı, sitedeki tek tek sayfaların ve bölümlerin indekslenmesini yasaklamaktır. Bununla birlikte, robots.txt'yi kullanarak, doğru etki alanı aynasını belirtebilir, site haritasının yolunu belirtebilir ve benzerlerini yapabilirsiniz.
Çoğu modern arama motoru, popüler CMS'de iyi gezinmeyi öğrendi ve genellikle bunun için tasarlanmamış içeriği dizine eklemeye çalışmaz. Örneğin, doğrudan robots.txt dosyasında belirtmeseniz bile Google, WordPress blog yönetici alanınızı dizine eklemez. Ancak bazı durumlarda doğrudan yasaklamaların kullanılması yine de faydalı olabilir. Ve öncelikle yinelenen içeriğin yasaklanmasından bahsediyoruz.
Bazı web yöneticileri, içerikleri ana sayfanın içeriğini kısmen kopyaladığından, kategori ve etiket sayfalarının dizine eklenmesini yasaklayacak kadar ileri gitmektedir. Ancak çoğu, makale içeriğini tamamen kopyalayan ve arama motorlarına yönelik olmayan geri izleme ve besleme sayfalarını yasaklamakla sınırlıdır. Böyle bir önlem sadece sitenin sonuçlarını "daha temiz" hale getirmekle kalmayacak, aynı zamanda özellikle yeni Google Panda algoritmasının devreye girmesinden sonra sizi olası arama filtrelerinden de kurtaracaktır.
Bir robots.txt dosyası için önerilen yönergeler şunlardır (neredeyse tüm WordPress bloglarında çalışır):
Kullanıcı Aracısı: * İzin Verme: /wp-login.php İzin Verme: /wp-register.php İzin Verme: /xmlrpc.php İzin Verme: / wp-admin İzin Verme: / wp-include İzin Verme: / wp-content / plugins İzin Verme: / wp-content / cache İzin verme: / wp-content / temalar İzin verme: / geri izleme / İzin verme: / feed / İzin verme: * / geri izleme / İzin verme: * / feed /
Lütfen robots.txt dosyasında wp-admin ve wp-includes yönetim klasörlerinin indeksleme için tamamen kapalı olduğunu unutmayın. wp-content klasörü, blogunuzdan dizine eklenmesi gereken tüm resimleri içeren uploads dizinini içerdiğinden yalnızca kısmen kapatılmıştır.
Tek yapmanız gereken yukarıdaki koddan direktifleri kopyalamak (her direktifin yeni bir satıra yazılması gerektiğini unutmayın), robots.txt adlı bir metin dosyasına kaydetmek ve sitenizin kök dizinine yüklemek.
Google Web Yöneticisi Araçları ve Yandex Web Yöneticisi arayüzleri aracılığıyla robots.txt dosyasının düzgün çalışıp çalışmadığını her zaman kontrol edebilirsiniz.
