Crawl Budget Nedir? Google Tarama Bütçesi Nasıl Optimize Edilir?

Bir e-ticaret sitesi; kategori, filtre, sıralama, sayfalama, arama ve oturum parametreleri nedeniyle gerçek ürün sayısının çok üzerinde URL üretebilir. Googlebot bu adreslerin önemli bölümünü tekrar tekrar tararken yeni ürünler, güncellenen kategoriler veya kritik hizmet sayfaları daha geç keşfedilebilir. Crawl budget problemi, Google’ın siteyi “cezalandırması” değil; tarama kaynaklarının düşük değerli URL’lerde tüketilmesidir.

Tarama bütçesi her site için aynı önemde değildir. Birkaç yüz veya birkaç bin URL’si bulunan ve yeni sayfaları yayınlandığı gün taranan siteler çoğunlukla bu konuya özel çalışma yapmak zorunda değildir. Sorun; yüz binlerce URL’ye sahip, içeriği sık değişen veya kontrolsüz biçimde yeni URL üreten yapılarda belirginleşir.

Bu rehber genel teknik SEO kontrol listesini tekrar etmez. Odak; crawl capacity ve crawl demand mantığı, gereksiz URL envanteri, sunucu sağlığı, sitemap yönetimi ve Google’ın gerçek tarama davranışının ölçülmesidir.

Crawl budget nedir?

Crawl budget, Google’ın belirli bir hostname altında tarayabildiği ve taramak istediği URL kümesini ifade eder. Google’ın güncel tarama altyapısı rehberi bu bütçeyi iki ana unsurla açıklar: crawl capacity limit ve crawl demand Google Crawl Budget Rehberi.

Crawl capacity, Googlebot’un sunucuyu aşırı yüklemeden gerçekleştirebileceği tarama miktarıdır. Crawl demand ise Google’ın URL’leri ne kadar önemli, güncel veya yeniden taranmaya değer gördüğüyle ilgilidir. Kapasite yüksek olsa bile talep düşükse Google daha fazla URL taramak zorunda değildir.

Crawl capacity limit nedir?

Crawl capacity limit, Googlebot’un sunucu sağlığını bozmadan kullanabileceği eş zamanlı bağlantı sayısı ve istekler arasındaki bekleme süresiyle ilişkilidir. Site uzun süre hızlı ve kararlı yanıt verirse Google daha fazla içeriği güvenli biçimde tarayabilir. Sunucu yavaşlar, bağlantı zaman aşımına uğrar veya çok sayıda 5xx hata üretirse tarama hızı düşebilir.

Google, crawl health durumunu capacity hesabının temel faktörlerinden biri olarak açıklar. Bu nedenle tarama bütçesi optimizasyonu yalnız URL temizliği değildir; uygulama sunucusu, veritabanı, CDN, cache ve ağ katmanının Googlebot isteklerini güvenilir biçimde karşılayabilmesi gerekir Google Crawl Budget Rehberi.

Crawl demand nedir?

Crawl demand, Google’ın belirli URL’leri ne kadar sık veya öncelikli taramak istediğini ifade eder. Bilinen URL envanteri, sayfanın güncelliği, algılanan kalite, popülerlik ve site genelindeki değişimler bu talebi etkileyebilir. Site taşıma gibi büyük değişiklikler de geçici olarak yeniden tarama ihtiyacını artırabilir.

Google’ın en fazla kontrol edilebilen unsur olarak belirttiği konu perceived inventory, yani sistemlerinin sitede bulunduğunu düşündüğü URL envanteridir. Binlerce yinelenen, kaldırılmış veya anlamsız URL keşfediliyorsa Google bunların yararlı olup olmadığını anlamak için kaynak harcayabilir.

Crawl budget kimler için gerçek bir problemdir?

Google’ın Aralık 2025’te güncellenen rehberi bu konuyu özellikle büyük ve sık güncellenen siteler için konumlandırır. Yaklaşık bir milyonun üzerinde benzersiz sayfası bulunan, haftalık değişen siteler; on binin üzerinde sayfası bulunup günlük hızlı değişen yapılar ve Search Console’da çok sayıda “Discovered – currently not indexed” URL’si bulunan siteler öncelikli adaylardır Google Crawl Budget Rehberi.

Bu sayılar kesin eşik değildir. On bin sayfalık temiz bir site tarama sorunu yaşamazken daha küçük fakat sonsuz parametre kombinasyonu üreten bir site yaşayabilir. Belirti; URL sayısından çok önemli URL’lerin geç taranması, Googlebot’un gereksiz alanlarda yoğunlaşması ve sunucunun tarama sırasında zorlanmasıdır.

Küçük siteler crawl budget ile uğraşmalı mı?

Çoğu küçük site için hayır. Google Search Console’un Crawl Stats dokümanı, bin sayfadan az sitelerin genellikle bu ayrıntı düzeyine ihtiyaç duymadığını belirtir Search Console Crawl Stats. Yeni içerikler kısa sürede taranıyor ve önemli sayfalar indekslenebiliyorsa yalnız tarama sayısını artırmaya çalışmak verimli değildir.

Küçük sitelerde öncelik; kaliteli içerik, doğru iç linkler, güncel sitemap, düzgün HTTP durum kodları ve sunucu erişilebilirliği olmalıdır. Crawl budget incelemesi ancak bot tuzağı, yoğun parametre üretimi veya ciddi sunucu hatası gibi somut belirti varsa yapılmalıdır.

Crawl budget ile indeksleme aynı şey midir?

Hayır. Tarama, Googlebot’un URL’ye erişip içeriği indirmesidir. İndeksleme ise taranan içeriğin değerlendirilmesi, canonical seçimi ve Google dizinine uygun olup olmadığının belirlenmesidir. Bir URL’nin taranması indeksleneceği anlamına gelmez.

Crawl budget çalışması “Google daha fazla sayfa indekslesin” talebiyle başlamamalıdır. Önce hangi URL’lerin gerçekten indekslenmesini istediğiniz belirlenmeli; ardından tarama kaynaklarının bu URL’lere yönelmesini engelleyen teknik atık incelenmelidir. Düşük değerli indekslenmiş sayfaların envanteri ayrı bir index bloat problemidir.

Tarama bütçesini en çok hangi URL’ler tüketir?

Faceted navigation tarama bütçesini nasıl etkiler?

Filtreli navigasyon, özellikle e-ticaret ve ilan sitelerinde URL patlamasının en yaygın nedenlerinden biridir. Her filtre ayrı parametre üretiyor ve parametre sırası değişebiliyorsa aynı sonuç seti çok sayıda adresle erişilebilir hale gelir. Google, yararlı olup olmadığını anlamak için bu URL’lerin önemli bölümünü önce taramak zorunda kalabilir.

Google’ın güncel faceted navigation rehberi, kontrolsüz filtre URL’lerinin overcrawling ve yeni yararlı URL’lerin daha yavaş keşfedilmesine yol açabileceğini açıklar Google Faceted Navigation Rehberi. Filtre URL’leri organik arama değeri taşımıyorsa robots.txt ile kalıcı tarama engeli düşünülebilir. Organik değer taşıyan seçili kombinasyonlar ise sabit URL, benzersiz içerik ve doğru iç linklerle ayrı landing page olarak yönetilmelidir.

Canonical etiketi crawl budget sorununu çözer mi?

Canonical, yinelenen sayfalar arasında tercih edilen URL’yi bildiren bir sinyaldir. Google zaman içinde non-canonical URL’leri daha az tarayabilir; ancak önce bu URL’leri keşfetmesi ve içerik ilişkisini değerlendirmesi gerekir. Bu nedenle canonical tek başına sonsuz URL üretimini durdurmaz.

Google, filtreli URL’lerde canonical ve nofollow yöntemlerinin robots.txt ile kalıcı tarama engeline göre uzun vadede daha az etkili olabileceğini belirtir Google Faceted Navigation Rehberi. Asıl çözüm, gereksiz URL’nin sistem tarafından üretilmesini veya taranabilir linklerle yayılmasını önlemektir.

Robots.txt ne zaman kullanılmalıdır?

robots.txt, arama motoru tarayıcılarının hangi URL’lere erişebileceğini yönetir. Google bu dosyanın özellikle crawler trafiğini kontrol etmek ve sunucunun gereksiz isteklerle yüklenmesini önlemek için kullanılabileceğini açıklar Google Robots.txt Rehberi.

Kalıcı olarak taranmasını istemediğiniz filtre, sıralama, dahili arama veya sonsuz alanlar için uygun olabilir. Ancak robots.txt bir indeks kaldırma aracı değildir. Başka sayfalardan bağlantı verilen engelli URL, içeriği taranmadan sınırlı biçimde arama sonuçlarında görünebilir.

• Uzun vadede taranmasını istemediğiniz URL kalıplarını engelleyin.
• CSS veya JavaScript engeli sayfanın anlaşılmasını bozuyorsa kaynakları kapatmayın.
• Kuralları geçici bütçe taşıma aracı olarak sürekli açıp kapatmayın.
• Yayın öncesi robots kurallarını test edin.
• Önemli kategori veya ürün kalıplarını yanlışlıkla engellemediğinizi doğrulayın.

Noindex crawl budget tasarrufu sağlar mı?

Noindex, URL’nin Google dizinine alınmamasını ister; ancak Google’ın bu etiketi görebilmesi için sayfayı taraması gerekir. Büyük bir URL alanında yalnız noindex kullanmak, Googlebot’un sayfaları tekrar isteyip etiketi kontrol etmesine neden olabilir. Google’ın crawl budget rehberi, hiç taranmasını istemediğiniz URL’lerde noindex yerine uygun robots.txt engelinin daha etkili olabileceğini belirtir Google Crawl Budget Rehberi.

Burada hedef ayrımı yapılmalıdır. Önceden indekslenmiş sayfayı sonuçlardan kaldırmak istiyorsanız Google’ın noindex’i görebilmesi için taramaya izin vermeniz gerekir. URL dizinden çıktıktan sonra kalıcı tarama politikasını ayrıca değerlendirebilirsiniz. Robots.txt ile noindex’i aynı anda körlemesine uygulamak, Google’ın noindex etiketini görememesine neden olabilir.

404 ve 410 durum kodları neden önemlidir?

Kalıcı olarak kaldırılmış ve eşdeğer karşılığı olmayan URL gerçek 404 veya 410 döndürmelidir. Boş sayfa, “ürün bulunamadı” metni veya hata bileşeni gösterip 200 durum kodu dönmek soft 404 oluşturabilir. Google, soft 404 URL’lerinin tarama kaynağı tüketmeye devam edebileceğini belirtir Google Tarama Hataları Rehberi.

HTTP durum kodları yalnız tarama bütçesi değil, sayfanın varlığı hakkındaki temel teknik sinyaldir. Google’ın güncel HTTP rehberine göre 2xx yanıt içerik değerlendirmesine gider; ancak bu indeksleme garantisi değildir. 3xx zincirleri ise ayrı istekler oluşturduğu için kısa tutulmalıdır Google HTTP Durum Kodları.

Sunucu hızı crawl budget’ı nasıl etkiler?

Googlebot siteyi kullanıcıların erişimini bozmayacak biçimde taramaya çalışır. Sunucu hızlı ve kararlı yanıt verirse aynı zaman aralığında daha fazla sayfa alınabilir. 5xx, timeout veya DNS sorunları arttığında Google tarama hızını düşürebilir.

Optimizasyon yalnız Googlebot için özel hızlı cevap üretmek değildir. Veritabanı sorguları, cache, TTFB, uygulama hataları ve kaynak kapasitesi bütün kullanıcılar için iyileştirilmelidir. Googlebot’a kullanıcıdan farklı içerik sunmak güvenilir çözüm değildir.

Sitemap tarama bütçesini artırır mı?

Sitemap doğrudan daha yüksek crawl budget garantisi vermez. Google’a hangi canonical URL’lerin önemli olduğunu, yeni eklendiğini veya güncellendiğini bildiren keşif sinyalidir. Sitemap içinde yalnız indekslenmesini istediğiniz, 200 durum kodu döndüren canonical URL’ler bulunmalıdır.

Google’ın güncel rehberi büyük sitelerin sitemap’lerini güncel tutmasını ve gerçekten değişen içerik için doğru lastmod değeri kullanmasını önerir Google Crawl Budget Rehberi. Her deploy’da bütün URL’lerin lastmod tarihini yenilemek gerçek güncelleme sinyalini değersizleştirebilir.

İç link yapısı crawl demand’i etkiler mi?

Google yeni URL’leri çoğunlukla taranabilir bağlantılardan keşfeder. Ana navigasyon, kategori hiyerarşisi ve bağlamsal linkler önemli sayfalara ulaşmayı kolaylaştırır. Kritik sayfa yalnız sitemap’te bulunuyor ve hiçbir iç link almıyorsa site mimarisi o sayfaya düşük önem sinyali verebilir.

Tarama bütçesi optimizasyonunda bütün linkleri nofollow yapmak yerine gereksiz URL üretimini kaynağında durdurmak ve değerli URL’leri açık hiyerarşiye bağlamak daha sağlıklıdır. Bu yapı organik SEO çalışmasının içerik ve teknik tarafını birlikte destekler.

Search Console Crawl Stats raporu nasıl okunur?

Crawl Stats raporu Google’ın tarama geçmişini; toplam istek, indirilen veri, ortalama yanıt süresi, host durumu, response kodu, dosya türü, crawl amacı ve Googlebot türü bazında gösterir Search Console Crawl Stats.

• Toplam crawl isteğinde ani düşüş veya sıçrama var mı?
• Ortalama response time yükselirken crawl sayısı düşüyor mu?
• 5xx, timeout veya robots.txt erişim sorunu bulunuyor mu?
• Googlebot’un yoğun taradığı dosya ve URL türleri hangileri?
• Refresh ile discovery crawl dağılımı nasıl?
• Smartphone Googlebot istekleri hangi template’lerde hata alıyor?

Rapor bütün URL listesini vermez; örnekler sunar. Ayrıntılı URL dağılımı için sunucu loglarıyla birleştirilmesi gerekir. Teknik SEO danışmanlığı kapsamında Search Console ve log verileri birlikte incelendiğinde gerçek crawl waste daha güvenilir biçimde bulunur.

Sunucu logları neden gereklidir?

Search Console özet görünüm sunarken access log’ları Googlebot’un hangi URL’yi ne zaman, hangi durum koduyla ve ne sıklıkta istediğini gösterir. Önce isteğin gerçekten Googlebot’a ait olduğu IP veya reverse DNS doğrulamasıyla kontrol edilmelidir.

Log analiziyle en çok taranan parametreler, eski URL’ler, redirect zincirleri, 404 grupları ve kritik sayfaların tarama sıklığı belirlenebilir. Ancak log file analizi 253 numaralı ayrı içeriğin ana konusudur; burada yalnız crawl budget teşhisindeki rolüyle sınırlandırılmıştır.

Crawl budget optimizasyonu nasıl önceliklendirilir?

1. İndekslenmesini istediğiniz canonical URL envanterini çıkarın.
2. Google’ın keşfettiği toplam URL alanını tahmin edin.
3. Search Console ve loglarda en çok taranan URL kalıplarını bulun.
4. Filtre, arama, session ve sıralama parametrelerini sınıflandırın.
5. Soft 404, 5xx ve redirect zincirlerini düzeltin.
6. Kalıcı olarak gereksiz URL’lerin üretimini ve taranabilir linklerini durdurun.
7. Robots.txt, canonical, noindex ve 404 araçlarını amaçlarına göre ayırın.
8. Sitemap’i yalnız canonical ve değerli URL’lerle temizleyin.
9. Sunucu response time ve kapasite sorunlarını giderin.
10. Düzeltme sonrası crawl dağılımını haftalar boyunca izleyin.

Hangi optimizasyonlar genellikle işe yaramaz?

• Googlebot’u daha sık gelsin diye sürekli manuel indeksleme isteği göndermek.
• Sayfa kalitesini düzeltmeden yalnız sitemap tarihlerini yenilemek.
• Crawl-delay kuralıyla Googlebot’u yönetmeye çalışmak; Googlebot bu standart dışı kuralı desteklemez.
• Geçici olarak robots.txt kurallarını değiştirip bütçeyi başka klasöre taşıyacağını varsaymak.
• Canonical etiketi ekleyip kontrolsüz URL üretimine devam etmek.
• Bütün düşük değerli sayfaları noindex yaparak tarama isteğinin sona ereceğini düşünmek.
• Tarama sayısı yükseldiği için sıralamanın otomatik artacağını beklemek.

Crawl budget kontrol listesi

1. Site gerçekten büyük, sık güncellenen veya URL patlaması yaşayan bir yapı mı?
2. Önemli yeni sayfalar normalden geç mi taranıyor?
3. Googlebot en çok hangi URL kalıplarında zaman harcıyor?
4. Filtre, sıralama, arama ve session URL’leri kontrol altında mı?
5. Soft 404, 5xx ve timeout oranları düşük mü?
6. Redirect zincirleri doğrudan hedefe indirildi mi?
7. Sitemap yalnız canonical, 200 dönen değerli URL’leri içeriyor mu?
8. lastmod yalnız gerçek içerik değişikliğinde güncelleniyor mu?
9. Robots.txt ile noindex amaçları doğru ayrıldı mı?
10. Crawl Stats ve sunucu logları düzeltme sonrasında izleniyor mu?

Bu kontrollerin site geneline uygulanması, SEO denetimi ve aksiyon planı içinde teknik ekip, içerik ekibi ve altyapı sorumluları için ayrı görevler halinde tanımlanmalıdır.

Sonuç: Crawl budget optimizasyonu Googlebot’u zorlamak değildir

Crawl budget, Google’ın bir siteyi tarayabildiği kapasite ile taramak istediği URL talebinin birleşimidir. Çoğu küçük site için özel bir optimizasyon konusu değildir. Büyük, sık güncellenen veya kontrolsüz URL üreten sitelerde ise gereksiz tarama yeni ve değerli sayfaların keşfini yavaşlatabilir.

Doğru yaklaşım tarama sayısını yapay biçimde artırmak değil; Google’a temiz bir URL envanteri sunmak, yinelenen ve sonsuz alanları sınırlamak, kaldırılmış sayfalarda doğru durum kodlarını kullanmak ve sunucuyu kararlı tutmaktır. Sonuç Search Console ve access log verileriyle ölçülmeli; yalnız teorik SEO kontrol listesine dayanılmamalıdır.