Bursa merkezli web tasarım, SEO ve GEO ajansı
Teklif Al
  1. Ana Sayfa
  2. Araçlar
  3. Robots.txt Oluşturucu
Ücretsiz araç

Robots.txt Oluşturucu

Arama motoru ve yapay zekâ botları (GPTBot, Google-Extended, PerplexityBot…) için doğru robots.txt dosyasını kolayca oluşturun.

OAI-SearchBot ve PerplexityBot’u engellemek, yapay zekâ arama yanıtlarında görünme şansınızı azaltabilir.
User-agent: * Disallow: /panel/ Disallow: /sepet/ Disallow: /hesabim/ Disallow: /*?s= Allow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / Sitemap: https://ornek.com/sitemap.xml

robots.txt nedir?

robots.txt, sitenizin kök dizininde (ornek.com/robots.txt) bulunan ve arama motoru botlarına sitenin hangi bölümlerini tarayıp hangilerini taramayacaklarını söyleyen basit bir metin dosyasıdır. Ayrıca site haritanızın adresini de burada belirtebilirsiniz.

Bu araç ne yapar?

  • Tüm botlar için taranmasını istemediğiniz yolları (yönetim paneli, sepet, arama sonuçları gibi) ekler,
  • Seçtiğiniz botları (yapay zekâ eğitim botları gibi) tamamen engeller,
  • Site haritası satırını ekler.

Yapay zekâ botları

Yapay zekâ şirketlerinin botlarının amaçları farklıdır:

BotŞirketAmaç
GPTBotOpenAIModel eğitimi
OAI-SearchBotOpenAIChatGPT arama sonuçları
ChatGPT-UserOpenAIKullanıcı isteğiyle sayfa ziyareti
Google-ExtendedGoogleGemini eğitimi ve temellendirme (Google Arama’yı etkilemez)
PerplexityBotPerplexityArama ve yanıt
ClaudeBotAnthropicModel eğitimi
CCBotCommon CrawlAçık veri seti

Yapay zekâ yanıtlarında görünmek istiyorsanız arama ve yanıt botlarını engellememeniz önerilir. Eğitim botları için kararı içerik politikanıza göre verebilirsiniz. Bu konuyu GEO hizmeti sayfamızda ayrıntılı ele aldık.

Dikkat edilmesi gerekenler

  • Disallow: / satırı tüm siteyi engeller. Yanlışlıkla eklenmesi, sitenin Google’dan tamamen kaybolmasına yol açabilir.
  • CSS ve JavaScript dosyalarını engellemeyin; Google sayfayı doğru görüntüleyebilmek için bunlara ihtiyaç duyar.
  • Gizli kalması gereken bilgileri robots.txt ile korumaya çalışmayın; dosya herkese açıktır. Bunun yerine şifre koruması kullanın.

Google’ın robots.txt rehberi ayrıntılı bilgi içerir.

Sık sorulan sorular

robots.txt ile bir sayfayı Google’dan kaldırabilir miyim?

Hayır. robots.txt taramayı engeller ama sayfa başka sitelerden bağlantı alıyorsa yine dizinde görünebilir. Bir sayfayı dizinden çıkarmak için noindex etiketi kullanılmalı ve sayfanın taranmasına izin verilmelidir ki Google noindex’i görebilsin.

GPTBot’u engellemeli miyim?

GPTBot, OpenAI’ın model eğitimi için kullandığı bottur. İçeriğinizin eğitimde kullanılmasını istemiyorsanız engelleyebilirsiniz. ChatGPT aramalarında görünmeyi etkileyen bot ise OAI-SearchBot’tur; ikisini ayrı değerlendirmek gerekir.

Projenizi konuşalım

İşletmenizi Google’da ilk sıraya taşıyalım

İşinizi kısaca anlatın; sitenizi, rakiplerinizi ve hedef aramalarınızı inceleyip 1 iş günü içinde ücretsiz ön analiz ve teklifle dönelim.

0545 698 69 85

Ücretsiz ön analiz

Taahhüt yok. Mesai saatlerinde genellikle aynı gün dönüş yapıyoruz.

  • Site, rakip ve anahtar kelime incelemesi
  • Yazılı, kalem kalem teklif
Teklif formunu doldurun