Crawl Budget Nedir? Tarama Bütçesi Rehberi (2026)

Crawl budget nedir? Tarama bütçesi, Googlebot’un belirli bir dönemde sitenizden taramak istediği ve sunucunuzun sağlıklı biçimde karşılayabildiği URL miktarını anlatır. Çoğu küçük site için kritik bir sınır değildir; ancak çok sayıda URL, kopya sayfa, parametre veya sık güncellenen içerik varsa önemli sayfaların geç keşfedilmesine ve tarama kaynaklarının boşa harcanmasına yol açabilir.

Bu rehberde tarama bütçesinin nasıl oluştuğunu, hangi sitelerin gerçekten sorun yaşadığını, Search Console verilerinin nasıl yorumlanacağını ve Googlebot’un önemli sayfalara daha verimli ulaşması için hangi adımların uygulanacağını öğreneceksiniz. Amaç Googlebot’u daha fazla taramaya zorlamak değil; sitenizdeki değerli, kanonik ve güncel URL’leri daha kolay keşfedilebilir hale getirmektir.

Crawl budget nedir?

Crawl budget Türkçede tarama bütçesi olarak kullanılır. Kavram, arama motorunun bir web sitesine ayırdığı tek ve sabit bir sayı değildir. Google, tarama kapasitesi ile tarama talebini birlikte değerlendirir. Sunucu hızlı ve kararlıysa Googlebot daha fazla isteği güvenle gönderebilir; sitede yeni veya önemli içeriklere yönelik talep varsa bu kapasiteyi kullanma isteği de artar.

Tarama ile indeksleme aynı işlem değildir. Googlebot’un bir URL’yi ziyaret etmesi, sayfanın mutlaka dizine ekleneceği veya sıralama alacağı anlamına gelmez. Tarama sonrasında içerik işlenir; kalite, tekrar, canonical, robots ve diğer sinyaller değerlendirilir. Bu ayrımı anlamak için teknik SEO rehberini inceleyebilirsiniz.

Google tarama bütçesini nasıl belirler?

Google’ın resmi açıklamasına göre tarama bütçesini anlamak için iki ana bileşene bakmak gerekir: tarama kapasitesi sınırı ve tarama talebi. Bunlar birbiriyle ilişkilidir fakat aynı şeyi ifade etmez.

1. Tarama kapasitesi sınırı

Tarama kapasitesi, Googlebot’un sitenizi yavaşlatmadan aynı anda yapabileceği bağlantı sayısını ve istekler arasındaki süreyi belirler. Sunucu istekleri hızlı yanıtlıyor, 5xx hatası üretmiyor ve gecikme artmıyorsa kapasite zamanla yükselebilir. Sunucu yanıtları yavaşlar veya hata oranı artarsa Google istek hızını otomatik olarak düşürür. Böylece tarama işleminin gerçek ziyaretçilere zarar vermesi önlenir.

Bu nedenle yalnızca Lighthouse puanına bakmak yeterli değildir. Googlebot açısından TTFB, bağlantı hataları, DNS sorunları, 429 ve 5xx yanıtları doğrudan önem taşır. Uygulama katmanında pahalı sunucu işlemleri, her bot isteğinde çalışan ağır sorgular veya hatalı önbellekleme tarama kapasitesini düşürebilir.

2. Tarama talebi

Google her erişilebilir URL’yi aynı sıklıkta taramak istemez. Popüler, sık güncellenen, ana sayfaya yakın ve güçlü iç link alan sayfalar daha yüksek talep görebilir. Uzun süredir değişmeyen, düşük değerli, kopya veya zayıf bağlantılı URL’ler daha seyrek ziyaret edilebilir. Yeni bir sayfanın yayınlanması da tek başına anında taranma garantisi vermez.

URL keşfini kolaylaştırmak için yalnızca doğru kanonik sayfaları içeren güncel bir XML sitemap kullanın. Sitemap, tarama talebini sihirli biçimde artırmaz; ancak önemli URL’lerin ve gerçek güncelleme tarihlerinin Google’a daha temiz aktarılmasını sağlar.

Her web sitesi crawl budget sorunu yaşar mı?

Hayır. Yüzlerce veya birkaç bin temiz URL’den oluşan, sayfaları iyi bağlanmış ve sunucusu sağlıklı çalışan sitelerin çoğunda crawl budget öncelikli SEO problemi değildir. Bu sitelerde içerik kalitesi, arama niyeti, iç linkleme ve indekslenebilirlik sorunları genellikle daha büyük etki yaratır.

Google, tarama bütçesi yönetimini özellikle yaklaşık bir milyon veya daha fazla ve haftalık olarak değişen sayfalara sahip büyük siteler; on binlerce URL’si hızla değişen orta büyüklükteki projeler; ya da Search Console’da çok sayıda “Keşfedildi – şu anda dizine eklenmiş değil” URL’si bulunan siteler için önemli görür. Bu eşikler katı kurallar değil, öncelik belirleme rehberidir.

E-ticaret filtreleri, ilan sayfaları, takvim URL’leri, site içi arama sonuçları, oturum parametreleri ve sınırsız sayfalama üreten yapılar küçük bir alan adını bile milyonlarca taranabilir adrese dönüştürebilir. Böyle bir durumda gerçek sayfa sayısından çok Googlebot’un karşılaşabildiği toplam URL alanı önemlidir.

Tarama bütçesinin boşa harcandığını gösteren işaretler

Tek bir metriğe bakarak crawl budget sorunu teşhis edilmez. Aşağıdaki işaretlerin birkaçı birlikte görülüyorsa URL üretim modelini ve tarama günlüklerini incelemek gerekir:

• Yeni veya güncellenen önemli sayfaların günlerce keşfedilmemesi,
• Search Console’da çok sayıda “Keşfedildi – şu anda dizine eklenmiş değil” URL’si bulunması,
• Googlebot isteklerinin büyük bölümünün parametreli, kopya veya site içi arama URL’lerine gitmesi,
• Tarama istatistiklerinde 5xx, 429, DNS veya bağlantı hatalarının artması,
• Sitemap’teki önemli URL’lerin seyrek taranırken düşük değerli URL’lerin sık ziyaret edilmesi,
• Yönlendirme zincirleri ve soft 404 sayfalarının günlüklerde yüksek yer tutması,
• Filtre veya takvim sisteminin sürekli yeni ve benzersiz görünümlü URL üretmesi.

Buna karşılık bir sayfanın indekslenmemesi tek başına tarama bütçesi kanıtı değildir. Sayfa taranmış fakat kalite, tekrar, canonical veya içerik değeri nedeniyle indeks dışında kalmış olabilir. Önce URL Denetleme aracında son tarama bilgisini, seçilen canonical’ı ve dizine eklenme durumunu birlikte değerlendirin.

Crawl budget nasıl optimize edilir?

Etkili optimizasyon daha fazla bot trafiği almaya değil, mevcut tarama talebini doğru URL’lere yönlendirmeye dayanır. Aşağıdaki adımlar büyük sitelerde de küçük projelerde de teknik temizliği artırır.

1. Kopya URL üretimini kaynağında azaltın

Aynı içeriğe ulaşan HTTP/HTTPS, www/www olmayan, büyük-küçük harf, son eğik çizgi, takip parametresi ve filtre kombinasyonlarını en aza indirin. Uygulama içinde her sayfa için tek bir tercih edilen URL üretin. Navigasyon, sitemap ve içerik bağlantılarının tamamı doğrudan bu sürümü göstermelidir.

Benzer sayfalar gerekli olduğunda doğru canonical etiketi ile tercih edilen URL’yi belirtin. Canonical faydalı bir birleştirme sinyalidir; ancak sınırsız kopya URL üretmeye devam edip yalnızca etikete güvenmek tarama yükünü tamamen çözmez.

2. İç linkleri doğrudan kanonik URL’ye verin

Googlebot bir bağlantıya her tıkladığında önce yönlendirmeye uğruyorsa hem keşif yolu uzar hem de gereksiz istek oluşur. Site içindeki eski URL’leri yeni hedeflerle değiştirin. Özellikle menü, breadcrumb, kategori kartları ve sık ziyaret edilen yazılardaki bağlantıları düzenli olarak kontrol edin.

Yetim sayfalar sitemap içinde yer alsa bile daha düşük keşif sinyali alabilir. Önemli sayfaları konuyla ilgili merkez sayfalara doğal anchor metinlerle bağlayın. Uygulanabilir yöntemler için iç linkleme rehberinden yararlanabilirsiniz.

3. Robots.txt dosyasını doğru amaçla kullanın

Robots.txt, Googlebot’un belirli URL yollarını taramasını engelleyebilir; ancak engellenen URL’nin indekslenmesini garanti olarak önlemez. Ayrıca Google, site geçici olarak yoğunken tarama hızını yönetmek için robots.txt dosyasını açıp kapatmayı önermez. Bu dosyayı yönetim panelleri, sonsuz arama alanları veya taranmasının hiçbir değeri olmayan kalıplar için dikkatli kullanın.

Google’ın sayfayı görüp noindex yönergesini okuyabilmesi gerekiyorsa URL’yi robots.txt ile engellemeyin. Önce taramaya izin verin, noindex uygulayın ve URL dizinden çıktıktan sonra gerekliyse erişim politikasını yeniden değerlendirin. Yanlış kombinasyonlar “robots.txt tarafından engellendi” durumlarının uzun süre kalmasına neden olabilir.

4. Sitemap’i temiz ve güvenilir tutun

XML sitemap yalnızca 200 durum kodu veren, indekslenebilir, self-canonical ve tercih edilen URL’leri içermelidir. 301/302 yönlendiren, 404 döndüren, noindex olan veya başka sayfaya canonical veren adresleri çıkarın. lastmod değerini her istekte bugünün tarihi olarak üretmeyin; yalnızca ana içerik anlamlı biçimde değiştiğinde güncelleyin.

5. Yönlendirme zincirlerini ve soft 404’leri temizleyin

A URL’si B’ye, B de C’ye yönleniyorsa hem kullanıcı hem bot için gereksiz bir zincir oluşur. Tüm eski bağlantıları ve yönlendirme kurallarını doğrudan son hedefe taşıyın. Kaldırılan ve eşdeğer alternatifi olmayan içerikler doğru 404 veya 410 yanıtı vermelidir; her eski URL’yi ilgisiz biçimde ana sayfaya yönlendirmek soft 404 sinyali oluşturabilir.

6. Sunucu yanıtlarını ve önbelleği iyileştirin

Googlebot’un yüksek gecikme veya 5xx hatası görmesi tarama kapasitesini düşürebilir. CDN ve sayfa önbelleği kullanın, veritabanı sorgularını optimize edin, pahalı server-side render işlemlerini azaltın ve botlar dahil tüm ziyaretçiler için tutarlı HTTP yanıtları sağlayın. Oran sınırlamasının Googlebot’u yanlışlıkla 429 ile engellemediğini doğrulayın.

Sayfa yükleme darboğazlarını görmek için ücretsiz PageSpeed testi çalıştırabilirsiniz. PageSpeed puanı crawl budget ile aynı metrik değildir; buna rağmen yavaş sunucu yanıtı ve ağır render süreçleri hem kullanıcı deneyimini hem tarama verimliliğini olumsuz etkileyebilir.

7. Gereksiz kaynak ve URL keşfini azaltın

Takvimlerde geçmiş ve gelecek için sınırsız bağlantı üretmek, filtrelerin her kombinasyonunu HTML içinde bağlantıya dönüştürmek veya oturum kimliklerini URL’ye eklemek arama motoruna sonsuz bir alan açabilir. Kullanıcının ihtiyaç duyduğu filtre deneyimini korurken indekslenebilir landing page sayısını bilinçli olarak sınırlayın.

Search Console’da crawl budget nasıl kontrol edilir?

Google Search Console’daki Tarama İstatistikleri raporu son 90 gündeki toplam tarama isteklerini, indirilen veri miktarını ve ortalama yanıt süresini gösterir. Ayrıca istekleri yanıt koduna, dosya türüne, amaç ve Googlebot türüne göre ayırabilirsiniz. Raporu tek günlük dalgalanmalar yerine haftalık ve aylık eğilimlerle yorumlayın.

• Toplam tarama isteği aniden düştüyse sunucu, robots.txt, DNS veya erişim değişikliklerini kontrol edin.
• Ortalama yanıt süresi yükselirken tarama sayısı düşüyorsa kapasite sorunu ihtimali artar.
• 5xx ve 429 oranı yükseliyorsa uygulama günlükleri ile aynı zaman aralığını karşılaştırın.
• Keşif amaçlı taramalar düşükse iç link, sitemap ve sayfa yayınlama akışını inceleyin.
• Tarama büyük ölçüde önemsiz parametrelerde yoğunlaşıyorsa URL üretim modelini düzeltin.

Tarama İstatistikleri raporu hangi URL’lerin en fazla kaynak tükettiğini tam olarak göstermez. Büyük sitelerde CDN veya sunucu erişim günlüklerini analiz ederek Googlebot isteklerini URL kalıbı, durum kodu ve yanıt süresi bazında gruplandırın. Googlebot olduğunu iddia eden kullanıcı aracılarını ters ve ileri DNS doğrulamasıyla teyit edin.

Sitenizdeki robots.txt, sitemap, canonical, kırık link ve temel indekslenebilirlik sinyallerini tek raporda görmek için ücretsiz Site SEO Analizi aracını kullanabilirsiniz.

Next.js sitelerde tarama bütçesi için dikkat edilmesi gerekenler

Next.js uygulamalarında crawl budget sorunları çoğunlukla framework’ten değil, URL ve render kararlarından doğar. Arama motoruna açık olmayan dashboard, oturum ve API rotalarını sitemap dışında bırakın. Dinamik parametrelerin kontrolsüz URL üretmediğinden, canonical’ın her sayfada doğru mutlak adresi gösterdiğinden ve kaldırılan slug’ların tek adımlı kalıcı yönlendirme kullandığından emin olun.

Önemli içerik ilk HTML yanıtında bulunmalı veya Google’ın güvenilir biçimde render edebileceği şekilde sunulmalıdır. Tamamen istemci tarafında API çağrısıyla oluşan boş sayfalar keşif ve içerik işleme süresini uzatabilir. Blog, kategori ve ürün sayfalarında Server Components, statik üretim veya uygun önbellek stratejileri kullanmak hem bot hem ziyaretçi için daha öngörülebilir sonuç verir.

Next.js sitemap üretiminde taslak, noindex, yönlendiren ve silinmiş kayıtları filtreleyin. Her deploy sırasında tüm URL’lere yapay lastmod vermek yerine içerik kaydının gerçek güncelleme tarihini kullanın. Dinamik route’larda 404 olması gereken bir kaydı 200 durumuyla boş şablon olarak sunmayın.

Crawl budget optimizasyon kontrol listesi

• Tüm önemli sayfalar doğrudan 200 yanıtı veriyor ve self-canonical kullanıyor.
• Sitemap yalnızca indekslenebilir ve kanonik URL’leri içeriyor.
• İç linkler yönlendirmeye değil doğrudan son hedefe gidiyor.
• Parametre, filtre, takvim ve site içi arama URL’leri kontrolsüz çoğalmıyor.
• Robots.txt ile noindex yönergeleri birbiriyle çelişmiyor.
• Sunucuda 5xx, 429 ve yüksek yanıt süresi eğilimleri izleniyor.
• Soft 404 ve yönlendirme zincirleri düzenli olarak temizleniyor.
• Yeni ve güncellenen içerikler ilgili merkez sayfalardan iç link alıyor.
• Search Console Tarama İstatistikleri ile sunucu günlükleri birlikte yorumlanıyor.
• Googlebot’u daha sık taramaya zorlayan üçüncü taraf “ping” yöntemlerine güvenilmiyor.

Crawl budget hakkında sık sorulan sorular

Crawl budget bir sıralama faktörü mü?

Hayır. Tarama bütçesi doğrudan sıralama faktörü değildir. Ancak önemli bir sayfa taranmaz veya güncel sürümü keşfedilmezse arama sonuçlarında güncel bilgiyle değerlendirilmesi gecikebilir. Bu nedenle crawl budget, özellikle çok büyük ve hızlı değişen sitelerde indeksleme verimliliği açısından önemlidir.

Tarama bütçesi nasıl artırılır?

Sabit bir bütçe talep ederek artırılamaz. Sunucu yanıtlarını hızlandırmak, hata oranını düşürmek, kopya URL alanını küçültmek, iç linkleri güçlendirmek ve önemli içerikleri güncel tutmak Googlebot’un kapasiteyi daha verimli kullanmasına yardımcı olur. Öncelik, istek sayısını değil değerli URL oranını artırmaktır.

Sitemap göndermek crawl budget sorununu çözer mi?

Tek başına çözmez. Sitemap önemli URL’leri keşfetmeye yardımcı olur fakat kopya sayfaları, sonsuz parametreleri, yavaş sunucuyu veya hatalı canonical yapısını ortadan kaldırmaz. Temiz sitemap, doğru iç link ve kontrollü URL üretimi birlikte çalışmalıdır.

Robots.txt tarama bütçesini korur mu?

Taranması gereksiz URL kalıplarını engellemek bazı durumlarda kaynak kullanımını azaltabilir. Fakat robots.txt, URL’nin indekslenmesini garanti biçimde engellemez ve yanlış kullanılırsa Google’ın noindex veya canonical sinyallerini görmesini önleyebilir. Önce URL üretimini kaynağında düzeltmek daha güvenlidir.

Küçük siteler crawl budget optimizasyonu yapmalı mı?

Küçük sitelerde ayrı bir crawl budget projesi çoğunlukla gerekli değildir. Yine de temiz sitemap, kısa yönlendirmeler, doğru canonical, hızlı sunucu ve güçlü iç linkleme temel teknik SEO uygulamalarıdır. Bunları yapmak tarama verimliliğinin yanında kullanıcı deneyimini ve indekslenebilirliği de geliştirir.

Sonuç: Daha fazla tarama değil, daha değerli tarama hedefleyin

Crawl budget optimizasyonunun amacı Googlebot’un sitenize mümkün olan en yüksek sayıda istek göndermesi değildir. Doğru hedef; botun gereksiz filtreler, kopyalar, zincirler ve hatalar yerine güncel, kanonik ve kullanıcıya değer sağlayan sayfalara ulaşmasıdır. Küçük bir sitede bunu temel teknik SEO hijyeniyle sağlayabilirsiniz; büyük sitelerde ise günlük analizi ve URL envanteri yönetimi zorunlu hale gelir.

Önce gerçek bir sorun olup olmadığını Search Console ve sunucu günlükleriyle doğrulayın. Ardından kopya URL üretimini azaltın, sitemap ile iç linkleri aynı kanonik hedeflerde birleştirin ve yanıt hatalarını izleyin. Teknik sorunları düzenli takip etmek için SEO analizi kontrol listesini uygulayabilirsiniz.

Kaynak: Google Search Central’ın crawl budget yönetimi dokümanı. Google dokümantasyonu zaman içinde güncellenebildiği için büyük ölçekli teknik kararlar öncesinde güncel resmi kılavuzu kontrol edin.