Zekabi

Yapay zeka botları ve robots.txt: hangisine izin vermeli?

Kısaca

Yapay zeka cevaplarında görünmek istiyorsanız arama için çalışan botlara izin verin: ChatGPT için OAI-SearchBot, Claude için Claude-SearchBot, Perplexity için PerplexityBot ve Google aramasının yapay zeka özellikleri için Googlebot. Model eğitimi için çalışan GPTBot ve ClaudeBot ayrı botlardır; bunları engellemek, içeriğinizin gelecekteki modellerin eğitiminde kullanılmamasını istemek demektir ve arama botlarının erişimini kapatmaz. Google-Extended ise bir bot değil, robots.txt'de kullanılan bir izin adıdır: kapatırsanız içeriğiniz gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki cevapların dayanağında kullanılmaz, Google aramasındaki yeriniz değişmez.

Yapay zeka botlarının üç türü

Yapay zeka şirketlerinin botları üç ayrı iş yapar ve her biri robots.txt'de kendi adıyla anılır:

  • Eğitim botları: modellerin eğitimi için sayfa toplar. Örnek: GPTBot, ClaudeBot.
  • Arama botları: yapay zekanın arama özelliği için sayfaları tarar ve dizinler. Örnek: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Kullanıcı isteğiyle çalışan botlar: bir kullanıcı yapay zekaya soru sorduğunda ya da bir sayfayı açmasını istediğinde o sayfayı getirir. Örnek: ChatGPT-User, Claude-User, Perplexity-User.

robots.txt, sitenizin kökünde duran ve botlara hangi yolları tarayabileceklerini söyleyen metin dosyasıdır. robots.txt'ye uyan bir bot, dosyada kendi adını taşıyan grubu, adı hiçbir grupta geçmiyorsa User-agent: * grubunu okur.

OpenAI'ın botları

  • OAI-SearchBot: sitelerin ChatGPT'nin arama özelliklerinde gösterilmesi için tarar. OpenAI'ın belgesine göre bu botu engelleyen siteler ChatGPT'nin arama cevaplarında gösterilmez, yalnız gezinme bağlantısı olarak görünebilir.
  • GPTBot: OpenAI'ın modellerinin eğitiminde kullanılabilecek içeriği toplar. Engellemek, içeriğinizin eğitimde kullanılmamasını istediğinizi gösterir.
  • ChatGPT-User: ChatGPT'de bir kullanıcının isteğiyle sayfa açar ve web'i kendiliğinden taramaz. OpenAI'ın belgesine göre robots.txt kuralları bu bota uygulanmayabilir.

OpenAI'ın belgesine göre her bot ayrı ayarlanır: örneğin GPTBot'u engelleyip OAI-SearchBot'a izin verebilirsiniz. robots.txt değişikliğinin OpenAI'ın arama sonuçlarına yansıması yaklaşık 24 saat sürebilir.

Anthropic'in botları

  • ClaudeBot: Anthropic'in modellerinin eğitimi için sayfa toplar. Engellemek, sitenizin bundan sonraki içeriğinin eğitimde kullanılmamasını istediğinizi gösterir.
  • Claude-SearchBot: Claude'un arama cevaplarının kalitesini iyileştirmek için web'i tarar. Engellerseniz sayfalarınız Claude'un araması için dizinlenmez.
  • Claude-User: bir kullanıcı Claude'a soru sorduğunda sayfa açar. Engellerseniz Claude, kullanıcının sorusu için sitenizden içerik getiremez.

Anthropic'in belgesine göre botları robots.txt'deki yönergelere uyar; IP adreslerini engellemek ise sitenizin dışarıda kalmasını kalıcı olarak sağlamayabilir.

Google'da Googlebot ve Google-Extended

Google aramasının yapay zeka özellikleri için ayrı bir bot gerekmez: bu özellikler Googlebot'un taradığı ve Google'ın dizinine aldığı sayfaları kullanır. Google'ın belgesine göre bu özelliklerde görünmek için sayfanın dizinde olması ve arama sonuçlarında açıklama metniyle gösterilebilir olması yeterlidir; ek bir teknik şart yoktur.

Google-Extended ise bir bot değil, robots.txt'de kullanılan bir izin adıdır. Google'ın belgesine göre Google-Extended'ı engellemek, içeriğinizin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki cevapların dayanağında kullanılmasını engeller; sitenizin Google aramasına girmesini etkilemez ve sıralamada kullanılmaz. Google'ın botları kendiliğinden tararken robots.txt kurallarına her zaman uyar.

Perplexity'nin botları

  • PerplexityBot: sitelerin Perplexity'nin arama sonuçlarında gösterilmesi ve bağlantı verilmesi için tarar. Perplexity'nin belgesine göre temel modellerin eğitimi için kullanılmaz.
  • Perplexity-User: bir kullanıcının isteğiyle sayfa açar. Perplexity'nin belgesine göre bu bot robots.txt kurallarını genellikle dikkate almaz.

Perplexity'nin belgesine göre robots.txt değişikliğinin yansıması 24 saati bulabilir.

Hangi yapay zeka botuna izin vermeli?

Karar iki soruya dayanır:

  1. Yapay zeka cevaplarında görünmek istiyor musunuz? İstiyorsanız arama botlarına izin verin: OAI-SearchBot, Claude-SearchBot, PerplexityBot ve Googlebot. Bunları engellemek, yapay zekanın aradığında sayfanızı bulmasını zorlaştırır.
  2. İçeriğinizin model eğitiminde kullanılmasını istiyor musunuz? İstemiyorsanız GPTBot'u, ClaudeBot'u ve Google-Extended'ı engelleyin. Bu tercih arama botlarının erişimini kapatmaz; ama eğitim bilgisi de yapay zekanın markanızı tanımasının bir yoludur.

Kullanıcı isteğiyle çalışan botları (ChatGPT-User, Claude-User, Perplexity-User) engellemek, bir kullanıcı yapay zekadan sayfanızı açmasını istediğinde içeriğinizin getirilmesini önleyebilir; OpenAI ve Perplexity'nin belgelerine göre bu botlar robots.txt kurallarına her zaman uymayabilir.

Örnek robots.txt dosyası

Arama botlarına izin veren, eğitim botlarını ve Google-Extended'ı engelleyen bir örnek:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Googlebot ve adı dosyada geçmeyen diğer botlar User-agent: * grubuna bakar; dosyanızda böyle bir grup yoksa sitenin tamamını tarayabilir. Bir botu adıyla bir gruba yazarsanız o bot yalnız kendi grubunu okur: giriş ve hesap sayfaları gibi kapalı tutmak istediğiniz yolları o gruba da ekleyin.

Zekabi'nin robots.txt tercihi

Zekabi, bu yazıda adı geçen bütün botlara izin verir; eğitim botları da dahil. Zekabi'nin işi yapay zekaların markaları nasıl anlattığını ölçmektir ve kendisiyle ilgili doğru bilginin yapay zekalara ulaşmasını ister. Yalnız giriş, hesap ve yönetim sayfaları gibi herkese açık olmayan yollar bütün botlara kapalıdır.

Zekabi'nin dosyası: https://zekabi.com/robots.txt

robots.txt değişikliğinden sonra kontrol

  • Dosyanın yayında olduğunu görün: tarayıcınızda sitenizin adresinin sonuna /robots.txt yazıp açın.
  • Güvenlik ve CDN ayarlarına bakın: bazı güvenlik hizmetleri yapay zeka botlarını robots.txt'den bağımsız olarak engelleyebilir.
  • Sunucu kayıtlarına bakın: botların sitenize gelip gelmediğini ve hangi sayfaları açtığını sunucu kayıtlarından görebilirsiniz.

Sitenizin yapay zeka tarayıcılarına açık olup olmadığını ücretsiz dar kapsamlı GEO analizi ile görebilirsiniz.

Sık sorulanlar

GPTBot'u engellersem ChatGPT'nin aramasında görünmez miyim?

OpenAI'ın belgesine göre görünmeye devam edebilirsiniz: GPTBot model eğitimi içindir, ChatGPT'nin aramasında gösterilmeyi OAI-SearchBot belirler. İkisi ayrı ayarlanır.

Google-Extended'ı kapatırsam Google sıralamam düşer mi?

Google'ın belgesine göre hayır. Google-Extended, sitenizin Google aramasına girmesini etkilemez ve sıralamada kullanılmaz.

robots.txt botları gerçekten durdurur mu?

robots.txt bir istektir, teknik bir engel değildir. Google, botlarının kendiliğinden tararken robots.txt kurallarına her zaman uyduğunu, Anthropic de botlarının robots.txt yönergelerine uyduğunu söylüyor; OpenAI ve Perplexity ise kullanıcı isteğiyle çalışan botlarının bu kurallara her zaman uymayabileceğini belirtiyor.

robots.txt ile llms.txt aynı şey mi?

Hayır. robots.txt botlara hangi yolları tarayabileceklerini söyler; llms.txt ise siteyi yapay zeka araçları için özetleyen bir dosya önerisidir. llms.txt'nin işe yarayıp yaramadığını ayrı bir yazıda anlattık.

Son güncelleme: 25 Ekim 2026

Kaynaklar

zekabi.com'un çalışması için zorunlu çerezler kullanıyoruz. İzin verirseniz analiz çerezleri ve reklamların size göre seçilmesi için reklam çerezleri de kullanırız. Çerez Politikası