robots.txt Oluşturucu
Arama motorları ve AI crawlerları için güvenli robots.txt kuralları oluşturun.
AI Crawler Listesi
Arama, AI cevap, model eğitimi ve kullanıcının isteğiyle yapılan getirmeyi aynı listede karşılaştır.
26 tokenrobots.txtAmaç ayrımı
| Crawler | Sahibi | Amaç |
|---|---|---|
Googlebot | Google Arama. Google arama altyapısını kullanan AI yüzeyleri de bu tokenla ilişkilidir. | |
Bingbot | Microsoft | Bing araması ve Bing’e dayanan deneyimler |
Applebot | Apple | Apple arama ve keşif |
DuckDuckBot | DuckDuckGo | DuckDuckGo araması |
YandexBot | Yandex | Yandex araması |
| Crawler | Sahibi | Amaç |
|---|---|---|
OAI-SearchBot | OpenAI | OpenAI arama keşfi ve cevaplarda kullanılacak sayfaları getirme |
Claude-SearchBot | Anthropic | Claude arama keşfi |
PerplexityBot | Perplexity | Perplexity arama ve cevapları |
DuckAssistBot | DuckDuckGo | DuckDuckGo AI cevap özellikleri |
Amzn-SearchBot | Amazon | Amazon arama ve AI cevap keşfi |
MistralAI-Index | Mistral AI | Mistral AI indeks ve arama keşfi |
| Crawler | Sahibi | Amaç |
|---|---|---|
GPTBot | OpenAI | Model geliştirme ve eğitim taraması |
ClaudeBot | Anthropic | Model geliştirme ve eğitim taraması |
Google-Extended | Gemini ve Vertex eğitim/grounding kullanımı için kontrol tokenı. Ayrı bir arama botu değildir. | |
Applebot-Extended | Apple | Üretken model kullanımı için kontrol tokenı |
CCBot | Common Crawl | Common Crawl arşivi. Model veri setlerinde sık kullanılır. |
meta-externalagent | Meta | Meta AI model verisi toplama |
Bytespider | ByteDance | ByteDance tarayıcısı |
Amazonbot | Amazon | Amazon’un arama ve AI ürünlerinde kullandığı tarayıcı |
MistralAI-Training | Mistral AI | Mistral AI eğitim tarayıcısı |
| Crawler | Sahibi | Amaç |
|---|---|---|
ChatGPT-User | OpenAI | Kullanıcı ChatGPT içinde bir sayfa istediğinde yapılan getirme |
Claude-User | Anthropic | Kullanıcı Claude içinde bir sayfa istediğinde yapılan getirme |
Perplexity-User | Perplexity | Kullanıcı Perplexity içinde bir sayfa istediğinde yapılan getirme |
meta-externalfetcher | Meta | Kullanıcı Meta AI içinde bir sayfa istediğinde yapılan getirme |
Amzn-User | Amazon | Kullanıcı Amazon AI içinde bir sayfa istediğinde yapılan getirme |
MistralAI-User | Mistral AI | Kullanıcı Mistral içinde bir sayfa istediğinde yapılan getirme |
Nasıl kullanılır
Önce amacı ayır, sonra tokenı seç.
- Liste bir robots.txt kararı için başlangıçtır. Sağlayıcının güncel dokümanı esas alınır.
- Google-Extended ve Applebot-Extended ayrı arama botu değil, kontrol tokenıdır.
- Bir eğitim botunu kapatmak, arama görünürlüğünü kapatmak zorunda olduğun anlamına gelmez.
Sınırlar
Bu sayfa canlı bir engel testi değildir.
- Tokenın sende gerçekten engelli olup olmadığını robots.txt tester ile kontrol et.
- İsimler ve politikalar değişir. Listeyi tek başına hukuki bir opt-out metni sayma.
Kaynaklar
Kontrol mantığı herkese açık spesifikasyonlara ve resmi dokümanlara dayanır.
İlgili işler
Aynı kararı veren sayfalar
robots.txt Tester
Googlebot ve AI crawlerlarının belirli bir URL’ye erişip erişemediğini kural satırıyla birlikte görün.
robots.txt ve AI Crawlerları: Ne Engellenmeli?
AI arama, eğitim ve kullanıcı isteği botlarını ayırarak robots.txt kararlarını nasıl vereceğinizi öğrenin.