REHBER № 06SON GÜNCELLEME · 7 DK OKUMA

Teknik

AI botları ve robots.txt: hangisine izin vermeli, hangisini engellemeli?

Yapay zekâ şirketleri web’i farklı amaçlarla tarayan ayrı botlar kullanıyor: biri modeli eğitmek için, biri arama cevaplarında kaynak göstermek için, biri de kullanıcı bir linki açtırdığında. Hepsini tek kalemde engellemek, istemeden yapay zekâ aramasından da çıkmak demek olabilir.

Hazırlayan: Vextoo Geo Agency Ekibi · Son güncelleme:

✳ Kısa cevap

Yapay zekâ cevaplarında görünmek istiyorsanız arama/atıf botlarına izin verin: OAI-SearchBot (ChatGPT arama)[1], Claude-SearchBot (Claude)[2], PerplexityBot (Perplexity)[3], Bingbot (Copilot) ve Googlebot (AI Overviews ve AI Mode). Eğitim botları (GPTBot, ClaudeBot, CCBot) ayrı bir karardır; engellemek içeriğinizin model eğitiminde kullanılmasını sınırlar, arama cevaplarındaki görünürlüğü doğrudan kesmez. İki istisna var: Google-Extended[4] Gemini eğitiminin yanında Gemini uygulamalarında kaynak gösterilmeyi de belirler; meta-externalagent[5] eğitimin yanında doğrudan indeksleme de yapar. 30 Ekim 2026’da duyurulan ortak __usage_ai-training belirteci için aşağıdaki bölüme bakın.

Hangi bot ne yapıyor?

BotŞirketAmaçÖnerimiz
OAI-SearchBotOpenAI[1]ChatGPT arama sonuçlarıİzin ver
ChatGPT-UserOpenAIKullanıcı isteğiyle ziyaretİzin ver
GPTBotOpenAIModel eğitimiTercih
Claude-SearchBotAnthropic[2]Claude arama indeksiİzin ver
Claude-UserAnthropicKullanıcı isteğiyle ziyaretİzin ver
ClaudeBotAnthropicModel eğitimiTercih
PerplexityBotPerplexity[3]Perplexity arama indeksiİzin ver
Perplexity-UserPerplexityKullanıcı isteğiyle ziyaretİzin ver
GooglebotGoogleArama + AI Overviews / AI Modeİzin ver
Google-ExtendedGoogle[4]Gemini eğitimi ve Gemini uygulamalarında groundingTercih
BingbotMicrosoftBing indeksi → Copilotİzin ver
meta-webindexerMeta[5]Meta AI arama kalitesiİzin ver
meta-externalagentMetaEğitim / doğrudan indekslemeTercih
CCBotCommon CrawlAçık web arşivi (birçok modelin eğitim verisi)Tercih

AI Overviews ve AI Mode’dan çıkmak robots.txt ile değil, Search Console’daki Search generative AI kontrolüyle olur; Google’a göre bu kontrol normal aramadaki sıralamayı ve model eğitimini etkilemez[10].

Örnek robots.txt

Arama ve atıf botlarına açık, eğitim botlarına kapalı bir yapılandırma örneği (kendi tercihinize göre düzenleyin):

# Arama ve atıf botları: serbest
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: meta-webindexer
Allow: /

# Model eğitimi botları: kapalı (tercihe bağlı)
# Not: Google-Extended’ı kapatmak Gemini uygulamalarında kaynak gösterilmeyi de kapatır
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

# Diğer her şey
User-agent: *
Allow: /
Disallow: /panel/

Sitemap: https://ornek.com/sitemap.xml

Bu sitenin kendi dosyası tüm yapay zekâ botlarına açıktır: robots.txt. Çünkü amacımız alıntılanmak.

Yeni: tek satırla eğitim tercihi (__usage_ai-training)

30 Ekim 2026’da OpenAI, Google, Microsoft ve Anthropic, eğitim tercihini birden fazla şirkete tek bir robots.txt grubuyla bildirmeyi destekleyeceklerini açıkladı. __usage_ai-training bir bot adı değil, bir politika belirteci; IETF’teki AIPREF çalışmasına dayanıyor[6][7][8][9].

# Katılımcı sağlayıcılara: içeriğimi model eğitiminde kullanmayın
User-agent: __usage_ai-training
Disallow: /
  • Durum (6 Kasım 2026): Anthropic desteği uygulamaya başladığını söylüyor[9]; Microsoft 1 Şubat 2027’de başlıyor[7]; Google 2027’yi[6], OpenAI önümüzdeki ayları hedefliyor[8]. Mevcut GPTBot, ClaudeBot ve Google-Extended kuralları geçerli kalıyor.
  • Google’da dikkat: Belirteçle eğitimi kapatıp Google-Extended’ı ayrıca yazmazsanız Google bunu Google-Extended’ı kapatmışsınız gibi yorumlayacak. Gemini uygulamalarında kaynak gösterilmeye açık kalmak için Google-Extended’a açıkça izin vermeniz gerekiyor. Google-Extended hem Gemini eğitimini hem Gemini’deki kaynak gösterilmeyi kapsadığı için Google’da bu ikisini ayrı ayrı seçemiyorsunuz[4][6].
  • Microsoft’ta ayrı bir tercih: Microsoft, eğitimin yanına içeriğin yapay zekâ cevaplarında kaynak (grounding) olarak kullanılması için sayfa düzeyinde ayrı bir tercih ekliyor. Bunu kapatanların yapay zekâ deneyimlerinde marka görünürlüğünün azalacağını kendisi yazıyor; klasik Bing sonuçlarına girmeyi ise etkilemiyor. 1 Mart 2027’den sonra NoArchive ve NoCache eğitim ya da grounding tercihi olarak okunmayacak[7].

robots.txt temiz ama bot yine de giremiyor olabilir

  • CDN / güvenlik duvarı: Cloudflare gibi sağlayıcıların “AI botlarını engelle” ayarları ve bot yönetimi kuralları robots.txt’den bağımsız çalışır. Panelinizi kontrol edin.
  • JavaScript’e bağımlı içerik: Bot sayfaya girse de metin JavaScript ile yükleniyorsa çoğu zaman boş bir sayfa görür.
  • Giriş duvarı ve çerez bariyeri: İçeriği tamamen örten açılır pencereler ayrıştırmayı bozabilir.
  • Sahte bot trafiği: Kötü niyetli tarayıcılar bu adları taklit edebilir; OpenAI ve Perplexity gibi şirketler doğrulama için IP aralıklarını yayımlıyor[1][3].

Tümünü saniyeler içinde kontrol etmek için: GEO Hazırlık Testi.

Sıkça sorulan sorular

01GPTBot’u engellemeli miyim?

Bu bir tercih meselesidir. GPTBot model eğitimi içindir; OpenAI’ye göre ChatGPT arama görünürlüğünü OAI-SearchBot belirler. İçeriğinizin eğitimde kullanılmasını istemiyorsanız GPTBot’u engelleyip OAI-SearchBot’a izin verebilirsiniz.

02Yapay zekâ botlarının siteme girip girmediğini nasıl anlarım?

Sunucu erişim kayıtlarında kullanıcı aracısı (user-agent) adlarını arayın ve şüpheli trafiği şirketlerin yayımladığı IP aralıklarıyla doğrulayın. Hızlı bir robots.txt ve erişim kontrolü için GEO Hazırlık Testi’ni kullanabilirsiniz.

03robots.txt kullanıcı isteğiyle gelen botları engeller mi?

Her zaman değil. OpenAI, ChatGPT-User için robots.txt kurallarının uygulanmayabileceğini; Perplexity, Perplexity-User’ın robots.txt’i genellikle dikkate almadığını belirtiyor. Anthropic ise Claude-User dahil üç botunun da robots.txt’e uyduğunu söylüyor.

04Sitemi AI Overviews ve AI Mode’dan nasıl çıkarırım?

robots.txt’teki Google-Extended bunu yapmaz; Google Arama’yı etkilemez. 31 Ağustos 2026’dan beri Search Console’da Ayarlar altında bir Search generative AI kontrolü var: siteyi AI Overviews, AI Mode ve Discover’daki yapay zekâ özelliklerinden çıkarır, genellikle birkaç gün içinde etkili olur. Google’a göre normal aramadaki sıralamayı ve model eğitimini etkilemez. Görünürlük hedefliyorsanız açık bırakın.

Kaynaklar

  1. OpenAI — Overview of OpenAI crawlers · erişim 27 Eylül 2026
  2. Anthropic — Claude crawlers and robots.txt · erişim 27 Eylül 2026
  3. Perplexity — Perplexity Crawlers · erişim 27 Eylül 2026
  4. Google — Google’s common crawlers (Google-Extended) · erişim 27 Eylül 2026
  5. Meta — Meta Web Crawlers · erişim 27 Eylül 2026
  6. Google Search Central Blog — Supporting a shared AI training control for websites (30 Ekim 2026) · erişim 6 Kasım 2026
  7. Bing Blog — Your content, your choice: clearer preferences for training and grounding (Ekim 2026) · erişim 6 Kasım 2026
  8. OpenAI — Making it easier for websites to express AI training preferences (30 Ekim 2026) · erişim 6 Kasım 2026
  9. IETF ai-control — Kevin Kelley (Anthropic), training preference signal taslağı (30 Ekim 2026) · erişim 6 Kasım 2026
  10. Search Console Yardım — Search generative AI control · erişim 6 Kasım 2026

Sıradaki adım

Markanız yapay zekâ cevaplarının neresinde?

Ücretsiz ön taramada markanızın 6 yapay zekâ motorundaki mevcut durumunu çıkarır, 48 saat içinde dönüş yaparız.