Hangi yapay zekâ botu sitenize girsin? robots.txt oluşturun
Yapay zekâ ve arama botlarını tek tek açın ya da kapatın, özel yollarınızı ve sitemap adresinizi ekleyin; robots.txt dosyanızı kopyalayın ya da indirin. Araç tarayıcınızda çalışır.
Son güncelleme:
robots.txt üretici
Yapay zekâ ve arama motoru botları · özel yollar tüm botlara uygulanır
Yapay zekâ botları
İşaretli = izinli. Cevap motorları (OAI-SearchBot, Claude-SearchBot, PerplexityBot…) kapalıysa içeriğiniz cevaplara giremez.
Arama motoru botları
İşaretli = izinli; izinli olanlar aşağıdaki özel yollara uyar.
Her satıra bir yol: /admin. İstisna için “Allow: /yol”. Bu yollar * grubuna ve izinli yapay zekâ botlarının grubuna birlikte yazılır.
Her satıra bir tam adres. Birden çok sitemap’iniz varsa hepsini ayrı satırlara yazın.
User-agent: * Disallow: /admin Disallow: /dashboard Disallow: /api/ # Yapay zekâ botları: izinli. Bot kendi grubunu okur, * grubunu değil; bu yüzden özel yollar burada da yazılı. User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-User User-agent: Claude-SearchBot User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot User-agent: meta-externalagent User-agent: Amazonbot User-agent: DuckAssistBot Allow: / Disallow: /admin Disallow: /dashboard Disallow: /api/ # Yapay zekâ botları: kapalı User-agent: Bytespider User-agent: cohere-ai Disallow: /
Nasıl kullanılır?
- Dosyayı sitenizin köküne yükleyin:
https://siteniz.com/robots.txt - Neden özel yollar yapay zekâ grubunda da yazılı: RFC 9309’a göre adıyla bir grubu olan bot yalnız o grubu okur, * grubunu hiç okumaz. Yalnız * grubuna yazılan /admin, GPTBot’a açık kalırdı.
- robots.txt bir erişim denetimi değildir; özel sayfaları oturum ve yetkiyle koruyun.
- CDN ya da güvenlik duvarı (Cloudflare “AI botlarını engelle” gibi) robots.txt’den bağımsız engelleyebilir; AI erişim testiyle doğrulayın.
Sınırlamalar — dürüst notlar
- 01robots.txt bir istektir, zorunluluk değildir: kurallara uymayan botları yalnız sunucu ya da WAF düzeyinde engelleyebilirsiniz.
- 02Araç mevcut robots.txt dosyanızı okumaz; kendi kurallarınız varsa üretilen metni onlarla birleştirerek yükleyin.
- 03Kuralların sitenizde nasıl çözüldüğünü görmek için dosyayı yükledikten sonra robots.txt ve sitemap kontrolü aracını çalıştırın.
Sıkça sorulan sorular
robots.txt yapay zekâ görünürlüğünü nasıl etkiler?
Yapay zekâ asistanlarının canlı web aramasında sayfanızı okuyan botlar (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) robots.txt kurallarına uyar. Bu botları kapatırsanız asistan sayfanızı okuyamaz ve cevapta sizi kaynak gösteremez. Eğitim botlarını (GPTBot, ClaudeBot) kapatmak ise ayrı bir karardır.
Eğitim botunu kapatıp arama botunu açık bırakabilir miyim?
Evet. Her bot kendi User-agent grubunu okur; GPTBot’u kapatıp OAI-SearchBot’u açık bırakmak mümkündür. Önemli kural: bir bot için ayrı grup yazdığınızda o bot `*` grubundaki yasakları artık okumaz, bu yüzden özel alanlarınızı (panel, yönetim) her grupta tekrar yasaklamanız gerekir.
Dosyayı yükledikten sonra nasıl kontrol ederim?
Dosyayı sitenizin köküne (siteniz.com/robots.txt) yükleyin, ardından robots.txt ve sitemap kontrolü aracıyla hangi botun hangi yola girebildiğini satır satır görün. Sunucunuz ya da CDN’iniz botları ayrıca engelliyorsa robots.txt izin verse bile bot sayfaya ulaşamaz; AI erişim testi bunu da gösterir.
Verilerim kaydediliyor mu?
Hayır. Araç tamamen tarayıcınızda çalışır; seçimleriniz sunucumuza gönderilmez, hesap ya da e-posta istenmez.
Tek tarama fotoğraf çeker; Yanıt her gün ölçer.
Panelde markanızın ChatGPT, Claude ve Gemini cevaplarında nasıl anıldığını her gün ölçün, rakiplerinizle karşılaştırın. 14 gün ücretsiz deneme, kart gerekmez.