Sunucu kayıtlarınızda YanitBot mu gördünüz?
YanitBot, Yanıt IO’nun panel araçları ve denetimleri için herkese açık sayfaları okuyan tarayıcıdır. Kendiliğinden web’i gezmez: biri alan adınızı bir araca girdiğinde, sınırlı bir bütçeyle sitenizi okur ve durur.
Yalnızca herkese açık olanı okur.
- Girilen alan adının ana sayfası ve ilgili birkaç sayfa (ör. bir ürün sayfası, hakkında/iletişim)
- robots.txt, sitemap.xml, llms.txt
- HTTP başlıkları (güvenlik başlıkları, yönlendirme zinciri, canonical)
- Sayfadaki HTML: title, meta, H1, Open Graph, JSON-LD şemaları, hreflang, bağlantılar
- Giriş gerektiren sayfalar, formlar, çerezler ya da oturum verisi
- JavaScript çalıştırma (ham HTML okunur; JS ile render edilen içerik görünmeyebilir — bunu uyarı olarak söyleriz)
- Kişisel veri: ziyaretçi, müşteri ya da sipariş bilgisi istenmez. Çekilen içerik yalnız şu durumlarda OpenRouter (ABD) üzerinden bir yapay zekâ modeline gönderilir: GEO skoru (sayfanın ana metninden bir bölüm), içerik denetimi (sayfanın ana metninden bir bölüm), kanibalizasyon denetimi (sayfaların başlığı, H1’i, açıklaması ve ana metninin başı), ajans ön analizi (sayfanın ana metninden bir bölüm) ve kayıt sırasındaki soru önerisi (sitenin başlığı ve açıklaması). Ayrıntı KVKK aydınlatma metninde; diğer araçlarda gönderilmez
- Görsel, video ya da ikili dosya indirme (yalnız başlık/boyut bilgisi)
Yalnızca herkese açık web sitenizi tarıyoruz; kişisel verinizi yapay zekâ servislerine göndermiyoruz.
Küçük, kısa, tanımlı.
İstemiyorsanız, engelleyin.
robots.txt’deki YanitBot ve * kurallarına bugün yalnız kırık link bulucu bakar, o da kısmen: engellenen iç sayfaları gezmez, yani içeriklerini okuyup yeni bağlantı toplamaz. Girdiğiniz başlangıç sayfasını ise her durumda okur ve sayfalarda bulduğu bağlantıların durumunu, engelli adresler dahil, HEAD isteğiyle (hata dönerse kısa bir GET ile) kontrol eder. Diğer araçlar (birden çok sayfa okuyan e-ticaret testi ve panelin kanibalizasyon denetimi dahil) robots.txt kuralına bakmaz. Bu yüzden bugün kesin yol sunucu ya da WAF düzeyinde User-Agent engelidir: 403/503 aldığımızda taramayı bırakır ve aracı kullanan kişiye “bot koruması nedeniyle taranamadı” deriz.
User-agent: YanitBot Disallow: /
Not: Bu sayfa YanitBot’u anlatır; yapay zekâ şirketlerinin kendi tarayıcıları (GPTBot, ClaudeBot, Google-Extended, PerplexityBot…) ayrı user-agent’lardır ve ayrı kurallarla yönetilir. Onları engellerseniz yapay zekâ cevaplarında görünürlüğünüz etkilenebilir; Yanıt IO panelindeki robots.txt kontrolü bunu ayrıca gösterir.
Sorunuz mu var?
Beklenmedik trafik, yanlış tarama ya da kaldırma talebi için bize yazın; bir iş günü içinde döneriz. Taramaya konu alan adını ve tarihi eklerseniz kaydı hemen buluruz.