robots.txt & sitemap · ücretsiz · kayıt gerekmez
Arama motorları ve AI botları sitenize girebiliyor mu?
Bir site adresi girin: robots.txt dosyanızı satır satır çözümleyelim, GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ve Google-Extended için kapı açık mı kapalı mı gösterelim, sitemap’inizin geçerliliğini kontrol edip içinden seçtiğimiz 10 adresin hâlâ açılıp açılmadığına bakalım.
Araç yükleniyor…
Skor nasıl hesaplanır?
Her eksen 0-100 arası puanlanır; genel skor eksenlerin aşağıdaki ağırlıklarla toplamıdır. Kontroller deterministiktir: aynı sayfa aynı anda iki kez taranırsa aynı sonucu verir. Yapay zeka (LLM) puanlamada kullanılmaz.
| Eksen | Ağırlık | Neye bakar? |
|---|---|---|
| robots.txt sözdizimi | %25 | Erişim, bilinmeyen direktif, grup yapısı |
| Felaket kuralları | %25 | Genel Disallow: /, CSS/JS engeli |
| Sitemap geçerliliği | %25 | Sitemap: satırı, erişim, XML, boyut |
| Örneklem | %15 | Sitemap’ten 10 URL: 4xx/5xx oranı |
| Tutarlılık | %10 | Farklı host / http URL, robots ile engelli sitemap URL’si |
- robots.txt sözdizimi (25): dosyaya erişim, tanınmayan direktifler ve grup yapısı — bir User-agent grubuna bağlı olmayan Allow/Disallow satırları botlar tarafından yok sayılır.
- Felaket kuralları (25): “User-agent: *” altında “Disallow: /” kritik sayılır; CSS, JS ve tema dizinlerinin engellenmesi uyarıdır. Kural çözümü RFC 9309’a göredir: en uzun yol eşleşmesi kazanır, eşitlikte Allow kazanır.
- Sitemap geçerliliği (25): robots.txt’teki Sitemap satırı, adresin cevabı, XML’in ayrıştırılabilirliği ve 50 000 URL / 10 MB sınırı.
- Örneklem (15): sitemap’in ilk 5 ve son 5 adresine HEAD isteği atılır; 4xx/5xx oranı %20’yi aşarsa kritik, altında kalırsa uyarı sayılır.
- Tutarlılık (10): sitemap’te farklı host ya da http:// adres olması ve robots.txt ile engellenmiş bir adresin sitemap’te listelenmesi.
- Bot izin tablosu puana girmez: skoru değiştirmeden, çekilen robots.txt üzerinden hesaplanan bir bilgi bölümüdür.
Tam bulgu kataloğu ve ağırlık gerekçeleri proje dokümantasyonunda: docs/COMMERCE_SCORING.md
Sınırlamalar — dürüst notlar
- 01Kurallar sitenin kök yolu (/) için çözülür; alt dizinler için farklı yazılmış kurallar bu tabloda görünmez.
- 02robots.txt yalnızca izin durumunu gösterir. Bir botun izinli olması sitenizi gerçekten taradığı ya da cevaplarda kaynak gösterdiği anlamına gelmez; bunu ancak sunucu kayıtlarınız söyler.
- 03WAF, CDN ya da sunucu düzeyinde yapılan bot engellemeleri robots.txt’te görünmez; bu testle tespit edilemez.
- 04Sitemap index’lerde en fazla 3 alt sitemap okunur; kalanı “okunmayan alt sitemap” olarak sayılır. Sıkıştırılmış (.gz) sitemap’lerin içeriği açılmaz, uyarı olarak bildirilir.
- 05Örneklem 10 adresle sınırlıdır ve HEAD isteğine dayanır; sitenizin tamamı taranmaz, sayfa içeriği okunmaz.
- 06Adres hiç cevap vermezse (alan adı çözülmezse ya da sunucu susarsa) puan üretilmez; “ulaşılamadı” denir ve ne denendiği yazılır.
Sıkça sorulan sorular
Diğer ücretsiz e-ticaret araçları
Sürekli izleme
Tek tarama fotoğraf çeker; Yanıt her gün ölçer.
Mağazanı bağla, ürünlerinin ChatGPT, Claude ve Gemini cevaplarında nasıl anıldığını rakiplerinle karşılaştır. 14 gün ücretsiz deneme, kart gerekmez.