robots.txt
Robots.txt, arama motorları ve yapay zeka tarayıcılarına hangi yolları alıp hangilerini alamayacağını söyler. Sitenin kökünde düz metin olarak durur. Dosya, basit User-agent ve Disallow direktiflerinden oluşur.
Operasyonda ne anlama gelir
MobiTaste robots.txt dosyası iki şey yapar: birincisi, pazarlama sayfalarının tamamen taranabilmesini söyler; ikincisi, kullanıcı oturumu içeren admin ve owner panellerini yasaklar. Aynı dosya site haritasının yolunu da bildirir: Sitemap: https://mobitaste.com/sitemap.xml. Yapay zeka tarayıcıları (GPTBot, ClaudeBot, PerplexityBot gibi) bu dosyayı saygıyla okur ve yasakladığınız yollardan içerik almazlar. Sahip tarafında düzenleme gerekmez; dosya otomatik üretilir.
Neden önemli
Yanlış yapılandırılmış robots.txt, tüm sitenin aramadan silinmesine yol açabilir; tek bir Disallow: / satırı yeterlidir. Doğru yapılandırma, hassas yolların (örneğin admin paneli) arama sonuçlarında çıkmamasını sağlar. Sahip için ikinci kazanç içerik kontrolüdür: AI motorlarına hangi sayfaların alıntılanabilir olduğunu söyleyebilir. Restoran müşteri verisi içeren yolların robots.txt ile dışlanması, KVKK uyumu açısından genel iyi pratiktir; ama tek başına yeterli bir koruma katmanı değildir, asıl izolasyon kimlik doğrulamada uygulanır.
İlgili terimler
- Site haritası: robots.txt’nin yolunu bildirdiği makine okur dosya.
- llms.txt: yapay zeka motorları için kanonik URL listesi içeren tamamlayıcı dosya.
- Şema işaretleme: taranabilen sayfaların içinde duran makine okur veri.
- hreflang: taranan sayfaların dil eşlemelerini bildiren etiket.