Behlül Göktepe
Ücretsiz teknik SEO aracı

robots.txt Oluşturucu

Arama botları ile AI eğitim botlarını aynı dosyada, amacı karıştırmadan ayır.

RFC 9309Amaç ayrımıÜcretsiz

robots.txt

Ayarlarını seç ve dosyayı oluştur.
Nasıl çalışır

Preset, tokenın işine göre kural üretir.

  • Eğitim preset’i GPTBot, ClaudeBot, Google-Extended, CCBot ve benzeri eğitim veya kontrol tokenlarını kapatır.
  • Aynı preset Googlebot, Bingbot ve OAI-SearchBot gibi arama veya cevap tokenlarını açık bırakır.
  • Tüm AI botlarını kapatmak, kullanıcının isteğiyle sayfa getiren tokenları da kapsar.
Sınırlar

Bu dosya bir güvenlik duvarı değildir.

  • robots.txt uyumlu botlar için bir istektir. Şifre, üyelik veya gizli dosya koruması sağlamaz.
  • Her şeyi engelle ayarı ek yolları yok sayar ve tüm user-agent grubunu kapatır.
  • Dosyayı yayına almadan kendi tokenlarınla test et. Sağlayıcı adları değişebilir.
Veri yaklaşımı

Gönderdiğin adres kalıcı bir kullanıcı profili oluşturmak için saklanmaz.

URL kontrolü hedef siteye sunucudan istek gönderir. Yerel ağ, metadata servisi, giriş gerektiren veya gizli adres kullanma.

Kaynaklar

Kontrol mantığı herkese açık spesifikasyonlara ve resmi dokümanlara dayanır.

İlgili işler

Aynı kararı veren sayfalar

Araç

robots.txt Tester

Googlebot ve AI crawlerlarının belirli bir URL’ye erişip erişemediğini kural satırıyla birlikte görün.

Araç

AI Crawler Listesi

Arama, cevap üretimi, eğitim ve kullanıcı isteğiyle fetch yapan botları tek yerde karşılaştırın.