robots.txt nedir?
robots.txt, sitenizin kök dizininde (ornek.com/robots.txt) bulunan ve arama motoru botlarına sitenin hangi bölümlerini tarayıp hangilerini taramayacaklarını söyleyen basit bir metin dosyasıdır. Ayrıca site haritanızın adresini de burada belirtebilirsiniz.
Bu araç ne yapar?
- Tüm botlar için taranmasını istemediğiniz yolları (yönetim paneli, sepet, arama sonuçları gibi) ekler,
- Seçtiğiniz botları (yapay zekâ eğitim botları gibi) tamamen engeller,
- Site haritası satırını ekler.
Yapay zekâ botları
Yapay zekâ şirketlerinin botlarının amaçları farklıdır:
| Bot | Şirket | Amaç |
|---|---|---|
| GPTBot | OpenAI | Model eğitimi |
| OAI-SearchBot | OpenAI | ChatGPT arama sonuçları |
| ChatGPT-User | OpenAI | Kullanıcı isteğiyle sayfa ziyareti |
| Google-Extended | Gemini eğitimi ve temellendirme (Google Arama’yı etkilemez) | |
| PerplexityBot | Perplexity | Arama ve yanıt |
| ClaudeBot | Anthropic | Model eğitimi |
| CCBot | Common Crawl | Açık veri seti |
Yapay zekâ yanıtlarında görünmek istiyorsanız arama ve yanıt botlarını engellememeniz önerilir. Eğitim botları için kararı içerik politikanıza göre verebilirsiniz. Bu konuyu GEO hizmeti sayfamızda ayrıntılı ele aldık.
Dikkat edilmesi gerekenler
Disallow: /satırı tüm siteyi engeller. Yanlışlıkla eklenmesi, sitenin Google’dan tamamen kaybolmasına yol açabilir.- CSS ve JavaScript dosyalarını engellemeyin; Google sayfayı doğru görüntüleyebilmek için bunlara ihtiyaç duyar.
- Gizli kalması gereken bilgileri robots.txt ile korumaya çalışmayın; dosya herkese açıktır. Bunun yerine şifre koruması kullanın.
Google’ın robots.txt rehberi ayrıntılı bilgi içerir.
Sık sorulan sorular
robots.txt ile bir sayfayı Google’dan kaldırabilir miyim?
Hayır. robots.txt taramayı engeller ama sayfa başka sitelerden bağlantı alıyorsa yine dizinde görünebilir. Bir sayfayı dizinden çıkarmak için noindex etiketi kullanılmalı ve sayfanın taranmasına izin verilmelidir ki Google noindex’i görebilsin.
GPTBot’u engellemeli miyim?
GPTBot, OpenAI’ın model eğitimi için kullandığı bottur. İçeriğinizin eğitimde kullanılmasını istemiyorsanız engelleyebilirsiniz. ChatGPT aramalarında görünmeyi etkileyen bot ise OAI-SearchBot’tur; ikisini ayrı değerlendirmek gerekir.