Behlül Göktepe
Ücretsiz teknik SEO aracı

robots.txt Tester

Bir URL’nin Googlebot ve AI crawlerları için izin durumunu, kararı veren kuralla birlikte gör.

RFC 9309GooglebotAI crawlers
Nasıl çalışır

Karar, grup özgüllüğü ve yol uzunluğundan gelir.

  • Önce crawler tokenına en uzun uyan user-agent grubu seçilir. Yıldız grubu en genel gruptur.
  • Yol tarafında eşleşen en uzun kural kazanır. Uzunluk eşitse Allow, Disallow karşısında öne geçer.
  • Dolar işareti kuralın yolun sonunda bitmesini ister. Sorgu dizesi bu yüzden ayrı değerlendirilir.
Sınırlar

Sonuç bir canlı tarama günlüğü değildir.

  • Bu test Google’ın ürün tokenı eşleşmesini ve RFC 9309 yol kurallarını birlikte yorumlar. Her botun canlı davranışı birebir aynı olmayabilir.
  • 4xx ve 5xx durumları kural satırı değildir. Ekrandaki açıklama bu ayrımı gösterir.
  • Yapıştırılan dosya karşı siteye istek göndermez. Uzak test ise yalnızca herkese açık HTTP(S) adresini kabul eder.
Veri yaklaşımı

Gönderdiğin adres kalıcı bir kullanıcı profili oluşturmak için saklanmaz.

URL kontrolü hedef siteye sunucudan istek gönderir. Yerel ağ, metadata servisi, giriş gerektiren veya gizli adres kullanma.

Kaynaklar

Kontrol mantığı herkese açık spesifikasyonlara ve resmi dokümanlara dayanır.

İlgili işler

Aynı kararı veren sayfalar

Araç

robots.txt Oluşturucu

Arama motorları ve AI crawlerları için güvenli robots.txt kuralları oluşturun.

Araç

AI Crawler Listesi

Arama, cevap üretimi, eğitim ve kullanıcı isteğiyle fetch yapan botları tek yerde karşılaştırın.