Robots.txt Nedir? Nasıl Oluşturulur? SEO Rehberi (2026)

Robots.txt nedir? Robots.txt, arama motoru botlarına bir web sitesindeki hangi yolları tarayıp hangilerini taramamaları gerektiğini bildiren, alan adının kök dizininde bulunan düz metin dosyasıdır. Doğru kullanıldığında gereksiz taramayı azaltır; yanlış kullanıldığında ise önemli sayfaların Google tarafından işlenmesini zorlaştırabilir.

Bu rehberde robots.txt dosyasını sıfırdan oluşturmayı, kuralların nasıl yorumlandığını, WordPress ve Next.js örneklerini, robots.txt ile noindex arasındaki kritik farkı ve dosyayı yayınladıktan sonra yapmanız gereken kontrolleri öğreneceksiniz. Amaç yalnızca geçerli bir dosya üretmek değil; Googlebot’un sitenizde doğru kaynaklara ulaşmasını sağlayan güvenli bir tarama politikası kurmaktır.

Robots.txt ne işe yarar?

Arama motorları bir siteyi keşfederken sayfaları, görselleri, JavaScript dosyalarını ve diğer URL’leri tekrar tekrar isteyebilir. Robots.txt, tarayıcıların hangi URL yollarına erişebileceğini belirleyen ilk kontrol noktalarından biridir. Örneğin yönetim paneli, dahili arama sonuçları, test sayfaları veya sonsuz filtre kombinasyonları arama sonuçlarında değer üretmiyorsa bu alanların taranmasını sınırlandırabilirsiniz.

Robots.txt bir güvenlik duvarı değildir. Dosya herkese açıktır ve kurallara uymayan botları teknik olarak durdurmaz. Şifre, kişisel veri veya yönetim ekranı gibi hassas alanlar mutlaka kimlik doğrulama ve sunucu taraflı yetkilendirme ile korunmalıdır. Robots.txt yalnızca uyumlu tarayıcılara verilen bir tarama talimatıdır.

Tarama ile indeksleme arasındaki fark

Robots.txt hakkındaki en yaygın hata, bir URL’yi Disallow ile engellemenin onu Google dizininden kesin olarak çıkaracağını düşünmektir. Tarama, Googlebot’un URL içeriğini istemesidir; indeksleme ise içeriğin değerlendirilip arama dizinine alınmasıdır. Başka sayfalar engellenmiş URL’ye bağlantı veriyorsa Google içeriği taramadan URL’yi yine de sonuçlarda gösterebilir.

Bir HTML sayfasının indekslenmesini istemiyorsanız genellikle sayfanın taranmasına izin verip robots meta etiketiyle noindex kullanmanız gerekir. Google noindex talimatını görebilmek için sayfaya erişebilmelidir. PDF gibi HTML dışı kaynaklarda aynı amaç X-Robots-Tag HTTP başlığıyla sağlanabilir. Bu ayrım, teknik SEO denetimlerinde mutlaka kontrol edilmelidir.

Robots.txt dosyası nerede bulunur?

Dosya her zaman protokol ve ana makine adına ait kök yolda, küçük harflerle /robots.txt adresinde bulunmalıdır. Örnek: https://www.orneksite.com/robots.txt. Alt dizindeki bir dosya geçerli robots.txt olarak değerlendirilmez. HTTP ve HTTPS, www ve www olmayan sürümler ayrı ana makineler olduğu için her sürümün yönlendirme ve dosya erişimi tutarlı olmalıdır.

RFC 9309 standardına göre dosya UTF-8 kodlamalı ve text/plain içerik türüyle sunulmalıdır. Başarılı durumda 200 HTTP kodu dönmesi beklenir. Yanlışlıkla HTML hata sayfası, giriş ekranı veya 5xx yanıtı döndürmek tarayıcı davranışını beklenmedik biçimde etkileyebilir.

Robots.txt sözdizimi nasıl çalışır?

Bir robots.txt grubu User-agent satırıyla başlar ve Allow veya Disallow kurallarıyla devam eder. User-agent hangi tarayıcıyı hedeflediğinizi, Disallow taranmamasını istediğiniz yolu, Allow ise daha geniş bir engel içindeki izinli alt yolu belirtir. Yorum satırları # işaretiyle başlar.

User-agent: * Disallow: /admin/ Disallow: /arama/ Allow: /arama/rehber/ Sitemap: https://www.orneksite.com/sitemap.xml

Yıldız işareti tüm uyumlu tarayıcıları hedefler. Boş bir Disallow değeri tüm yolların taranmasına izin verir; Disallow: / ise sitenin tamamını engeller. Google eşleşmelerde en spesifik yolu dikkate alır. Eşit uzunluktaki Allow ve Disallow kuralları çakışırsa Allow tercih edilir. Yol eşleşmeleri büyük-küçük harfe duyarlı olabileceği için gerçek URL yapınızla aynı yazımı kullanın.

Robots.txt nasıl oluşturulur?

Güvenli bir robots.txt dosyasını şu sırayla hazırlayın:

1. Sitenizde indekslenmesini ve taranmasını istediğiniz URL türlerini listeleyin.
2. Yönetim, kullanıcı hesabı, dahili arama ve parametreli filtre gibi düşük değerli alanları belirleyin.
3. Her engelin CSS, JavaScript veya sayfa işleme için gerekli bir kaynağı kapatmadığını kontrol edin.
4. Kuralları en dar URL yolu üzerinden yazın; gereksiz geniş engellerden kaçının.
5. XML site haritanızın tam ve kanonik adresini Sitemap satırıyla ekleyin.
6. Dosyayı UTF-8 düz metin olarak kaydedip alan adının kökünde yayınlayın.
7. Canlı dosyanın 200 durum kodu ve text/plain içerik türü döndürdüğünü doğrulayın.

Dosyayı bir kelime işlemciyle hazırlamak yerine düz metin editörü veya uygulamanızın yapılandırma API’sini kullanın. Akıllı tırnaklar, görünmez biçimlendirme karakterleri ve yanlış kodlama, kuralların hatalı yorumlanmasına neden olabilir.

WordPress için robots.txt örneği

Standart bir WordPress sitesinde yönetim dizini genellikle tarama için gerekli değildir; ancak wp-admin altında çalışan admin-ajax.php dosyasına ön yüz özellikleri ihtiyaç duyabilir. Bu nedenle geniş bir engelin içine açık bir izin eklemek daha güvenlidir:

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /?s= Sitemap: https://www.orneksite.com/sitemap_index.xml

Tema, eklenti, uploads, CSS veya JavaScript klasörlerini topluca engellemeyin. Google sayfanın mobil uyumluluğunu ve görsel düzenini anlayabilmek için bu kaynakları kullanabilir. E-ticaret sitelerinde sepet, ödeme ve hesap sayfaları için tarama politikası oluştururken gerçek URL yapısını ve canonical kurallarını birlikte değerlendirin.

Next.js için robots.txt oluşturma

Next.js App Router kullanan projelerde robots.txt dosyasını public klasörüne statik olarak koyabilir veya Metadata API ile app/robots.ts üzerinden üretebilirsiniz. Dinamik yaklaşım; ortam, alan adı ve sitemap adresini tek yapılandırmadan yönetmek için kullanışlıdır:

import type { MetadataRoute } from 'next'; export default function robots(): MetadataRoute.Robots { return { rules: { userAgent: '*', allow: '/', disallow: ['/admin/', '/api/', '/hesap/'], }, sitemap: 'https://www.orneksite.com/sitemap.xml', }; }

Üretim ve test ortamlarını ayırırken yanlış alan adını sitemap olarak göndermemeye dikkat edin. Staging ortamını yalnızca robots.txt ile korumak yerine parola veya ağ erişim kontrolü kullanın. Test ortamı dışarıdan bağlantı alırsa URL’ler içerikleri taranmasa bile keşfedilebilir.

Robots.txt ve XML sitemap birlikte nasıl kullanılır?

Robots.txt tarama sınırlarını, XML sitemap ise keşfedilmesini istediğiniz kanonik URL’leri bildirir. İki dosyanın birbiriyle çelişmemesi gerekir. Sitemap içinde yer alan bir URL’nin robots.txt tarafından engellenmesi, arama motoruna aynı anda hem ‘bu URL önemlidir’ hem ‘bu URL’yi tarama’ mesajı verir.

Site haritanızı doğru üretmek için XML sitemap nasıl oluşturulur rehberini inceleyin. Sitemap’e yalnızca 200 yanıt veren, indekslenebilir ve kendine canonical olan URL’leri ekleyin. Yönlendiren, noindex veya 404 sayfaları sitemap dışında tutun.

Robots.txt ile crawl budget ilişkisi

Büyük sitelerde faceted navigation, takvim sayfaları, oturum parametreleri ve tekrarlı filtre URL’leri milyonlarca düşük değerli kombinasyon oluşturabilir. Doğru tarama kuralları Googlebot’un zamanını daha faydalı sayfalara yönlendirmeye yardımcı olabilir. Bununla birlikte küçük ve düzenli sitelerde robots.txt değişikliğinin mucizevi bir sıralama artışı sağlaması beklenmemelidir.

Konuya daha geniş açıdan yaklaşmak için crawl budget nedir rehberine geçin. Önce iç link mimarisi, sunucu kararlılığı, yinelenen URL’ler ve canonical tutarlılığı düzeltilmeli; robots.txt bu sistemin yalnızca bir parçası olarak görülmelidir.

En sık yapılan robots.txt hataları

• Canlı siteye yanlışlıkla Disallow: / kuralı koymak.
• Noindex sağlamak için yalnızca robots.txt kullanmak.
• CSS ve JavaScript dosyalarını engelleyerek sayfanın doğru işlenmesini zorlaştırmak.
• Sitemap içinde bulunan URL’leri aynı anda taramaya kapatmak.
• Büyük-küçük harf veya sondaki eğik çizgi farkını gözden kaçırmak.
• Hassas bilgileri robots.txt ile korumaya çalışmak.
• Farklı alt alan adlarının tek dosyayla yönetildiğini sanmak.
• Gereksiz veya Google tarafından desteklenmeyen talimatlara güvenmek.
• Dosyanın 200 yerine yönlendirme, HTML veya sunucu hatası döndürmesini fark etmemek.

Robots.txt dosyası nasıl test edilir?

Önce dosyayı tarayıcıda açın ve düz metin olarak geldiğini kontrol edin. Ardından önemli sayfalarınızı, engellemek istediğiniz örnek URL’leri ve sayfanın ihtiyaç duyduğu statik kaynakları ayrı ayrı test edin. Google Search Console URL Denetleme aracı, belirli bir sayfanın Google tarafından erişilebilir olup olmadığını anlamanıza yardımcı olur.

Sunucu loglarında Googlebot isteklerini incelemek, teorik kurallarla gerçek tarama davranışını karşılaştırmanın en güvenilir yollarından biridir. Kapsamlı bir kontrol için SıraPusula’nın ücretsiz Site SEO Analizi aracını kullanarak robots.txt, sitemap, canonical ve iç link sorunlarını aynı denetimde gözden geçirebilirsiniz.

Robots.txt değişikliği ne zaman etkisini gösterir?

Tarayıcılar robots.txt dosyasını önbelleğe alabilir. Bu nedenle değişiklik her zaman saniyeler içinde uygulanmaz. Google dosyayı yeniden aldıktan sonra yeni kurallar tarama isteklerine yansır; indeksleme görünümündeki değişiklikler ise URL’lerin yeniden işlenmesine bağlı olarak daha uzun sürebilir. Kritik bir değişiklik yaptıysanız canlı dosyayı ve önemli URL’leri takip eden günlerde yeniden kontrol edin.

Robots.txt kontrol listesi

• Dosya /robots.txt adresinde ve herkese açık mı?
• HTTP durumu 200, içerik türü text/plain ve kodlama UTF-8 mi?
• Disallow: / gibi site genelini kapatan bir kural var mı?
• Önemli sayfalar, CSS, JavaScript ve görseller erişilebilir mi?
• Sitemap adresi doğru, HTTPS ve kanonik ana makineyi kullanıyor mu?
• Sitemap ile robots.txt arasında çelişen URL var mı?
• Noindex hedefleri robots.txt ile yanlışlıkla kapatılmış mı?
• Alt alan adlarının kendi robots.txt dosyaları kontrol edildi mi?
• Son değişiklikler staging yerine yanlışlıkla canlıya uygulanmış mı?

Robots.txt hakkında sık sorulan sorular

Robots.txt SEO için zorunlu mu?

Hayır. Tüm sayfaların taranmasına izin veren küçük bir site robots.txt olmadan da çalışabilir. Ancak tarama kurallarını açıkça yönetmek ve sitemap adresini bildirmek için geçerli bir dosya kullanmak iyi uygulamadır.

Robots.txt sıralamayı yükseltir mi?

Doğrudan bir sıralama faktörü değildir. Büyük ve karmaşık sitelerde gereksiz URL taramasını azaltarak teknik verimliliğe katkı sağlayabilir; yanlış kurallar ise önemli içeriklerin işlenmesini engelleyerek organik görünürlüğe zarar verebilir.

Disallow bir sayfayı Google’dan kaldırır mı?

Kesin olarak kaldırmaz. URL başka bağlantılardan biliniyorsa içerik taranmadan sonuçlarda görünebilir. İndekslemeyi engellemek için taramaya izin verip noindex kullanın; kaldırma ihtiyacına göre 404, 410, parola koruması veya Search Console kaldırma aracını değerlendirin.

Robots.txt içinde canonical tanımlanır mı?

Hayır. Canonical HTML link etiketi veya HTTP başlığıyla belirtilir. Yinelenen sayfalar için doğru yöntemi öğrenmek üzere canonical nedir rehberini okuyabilirsiniz.

Sonuç

Sağlam bir robots.txt dosyası kısa, anlaşılır ve sitenin gerçek URL mimarisiyle uyumludur. Önce tarama ve indeksleme farkını netleştirin; ardından yalnızca düşük değerli yolları engelleyin, gerekli kaynakları açık bırakın ve sitemap ile çelişki oluşturmayın. Her değişikliği canlı URL’ler ve sunucu yanıtları üzerinden doğrulayın.

Robots.txt tek başına teknik SEO stratejisi değildir. Canonical, sitemap, iç linkleme, HTTP durum kodları ve sayfa kalitesiyle birlikte çalışır. Bütün yapıyı adım adım değerlendirmek için Teknik SEO Rehberi ile devam edebilirsiniz.