Yapay zekâ cevaplarında görünmek istiyorsanız arama/atıf botlarına izin verin: OAI-SearchBot (ChatGPT arama)[1], Claude-SearchBot (Claude)[2], PerplexityBot (Perplexity)[3], Bingbot (Copilot) ve Googlebot (AI Overviews). Eğitim botları (GPTBot, ClaudeBot, Google-Extended[4], meta-externalagent[5], CCBot) ayrı bir karardır; engellemek içeriğinizin model eğitiminde kullanılmasını sınırlar, arama cevaplarındaki görünürlüğü doğrudan kesmez.
Hangi bot ne yapıyor?
| Bot | Şirket | Amaç | Önerimiz |
|---|---|---|---|
OAI-SearchBot | OpenAI[1] | ChatGPT arama sonuçları | İzin ver |
ChatGPT-User | OpenAI | Kullanıcı isteğiyle ziyaret | İzin ver |
GPTBot | OpenAI | Model eğitimi | Tercih |
Claude-SearchBot | Anthropic[2] | Claude arama indeksi | İzin ver |
Claude-User | Anthropic | Kullanıcı isteğiyle ziyaret | İzin ver |
ClaudeBot | Anthropic | Model eğitimi | Tercih |
PerplexityBot | Perplexity[3] | Perplexity arama indeksi | İzin ver |
Perplexity-User | Perplexity | Kullanıcı isteğiyle ziyaret | İzin ver |
Googlebot | Arama + AI Overviews / AI Mode | İzin ver | |
Google-Extended | Google[4] | Gemini eğitimi ve Gemini uygulamalarında grounding | Tercih |
Bingbot | Microsoft | Bing indeksi → Copilot | İzin ver |
meta-webindexer | Meta[5] | Meta AI arama kalitesi | İzin ver |
meta-externalagent | Meta | Eğitim / doğrudan indeksleme | Tercih |
CCBot | Common Crawl | Açık web arşivi (birçok modelin eğitim verisi) | Tercih |
Örnek robots.txt
Arama ve atıf botlarına açık, eğitim botlarına kapalı bir yapılandırma örneği (kendi tercihinize göre düzenleyin):
# Arama ve atıf botları: serbest
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: meta-webindexer
Allow: /
# Model eğitimi botları: kapalı (tercihe bağlı)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
# Diğer her şey
User-agent: *
Allow: /
Disallow: /panel/
Sitemap: https://ornek.com/sitemap.xmlBu sitenin kendi dosyası tüm yapay zekâ botlarına açıktır: robots.txt. Çünkü amacımız alıntılanmak.
robots.txt temiz ama bot yine de giremiyor olabilir
- CDN / güvenlik duvarı: Cloudflare gibi sağlayıcıların “AI botlarını engelle” ayarları ve bot yönetimi kuralları robots.txt’den bağımsız çalışır. Panelinizi kontrol edin.
- JavaScript’e bağımlı içerik: Bot sayfaya girse de metin JavaScript ile yükleniyorsa çoğu zaman boş bir sayfa görür.
- Giriş duvarı ve çerez bariyeri: İçeriği tamamen örten açılır pencereler ayrıştırmayı bozabilir.
- Sahte bot trafiği: Kötü niyetli tarayıcılar bu adları taklit edebilir; OpenAI ve Perplexity gibi şirketler doğrulama için IP aralıklarını yayımlıyor[1][3].
Tümünü saniyeler içinde kontrol etmek için: GEO Hazırlık Testi.
Sıkça sorulan sorular
01GPTBot’u engellemeli miyim?
Bu bir tercih meselesidir. GPTBot model eğitimi içindir; OpenAI’ye göre ChatGPT arama görünürlüğünü OAI-SearchBot belirler. İçeriğinizin eğitimde kullanılmasını istemiyorsanız GPTBot’u engelleyip OAI-SearchBot’a izin verebilirsiniz.
02Yapay zekâ botlarının siteme girip girmediğini nasıl anlarım?
Sunucu erişim kayıtlarında kullanıcı aracısı (user-agent) adlarını arayın ve şüpheli trafiği şirketlerin yayımladığı IP aralıklarıyla doğrulayın. Hızlı bir robots.txt ve erişim kontrolü için GEO Hazırlık Testi’ni kullanabilirsiniz.
03robots.txt kullanıcı isteğiyle gelen botları engeller mi?
Her zaman değil. OpenAI, ChatGPT-User için robots.txt kurallarının uygulanmayabileceğini; Perplexity, Perplexity-User’ın robots.txt’i genellikle dikkate almadığını belirtiyor. Anthropic ise Claude-User dahil üç botunun da robots.txt’e uyduğunu söylüyor.
Kaynaklar
- OpenAI — Overview of OpenAI crawlers · erişim 27 Eylül 2026
- Anthropic — Claude crawlers and robots.txt · erişim 27 Eylül 2026
- Perplexity — Perplexity Crawlers · erişim 27 Eylül 2026
- Google — Google’s common crawlers (Google-Extended) · erişim 27 Eylül 2026
- Meta — Meta Web Crawlers · erişim 27 Eylül 2026