Log File Analizi Nedir? Googlebot Sitenizi Gerçekte Nasıl Tarıyor?

Search Console, Google’ın sitenizi tarama davranışı hakkında önemli özetler sunar; ancak belirli bir günde hangi Googlebot IP’sinin hangi URL’yi istediğini, sunucunun kaç milisaniyede cevap verdiğini ve isteğin hangi HTTP durum koduyla sonuçlandığını tam URL envanteri halinde göstermez. Bu ayrıntı, web sunucusu, CDN, load balancer veya WAF katmanında tutulan erişim kayıtlarında bulunur.

Log file analizi, sunucunun gerçek istek kayıtlarını inceleyerek arama motoru botlarının siteyle nasıl etkileşim kurduğunu ölçme yöntemidir. Bu çalışma tahmin edilen site mimarisini değil, gerçekten gerçekleşen istekleri gösterir. Googlebot’un değerli sayfalar yerine parametreli URL’lerde zaman harcayıp harcamadığı, yeni sayfalara ne zaman ulaştığı ve kritik URL’lerde hata alıp almadığı loglarla doğrulanabilir.

Bu rehber Search Console’un genel kullanımını tekrar etmez. Odak; erişim loglarının hazırlanması, Googlebot kimliğinin doğrulanması, teknik SEO metriklerinin üretilmesi ve bulguların güvenli aksiyonlara dönüştürülmesidir.

Log file analizi nedir?

Log file analizi; bir sunucuya gelen HTTP isteklerinin tarih, istemci IP’si, istenen URL, user-agent, durum kodu, yanıt boyutu ve süre gibi alanlarla incelenmesidir. SEO bağlamında amaç, Googlebot ve diğer arama motoru botlarının hangi kaynaklara gerçekten eriştiğini anlamaktır.

NGINX’in resmî dokümantasyonu, ngx_http_log_module modülünün istekleri yapılandırılabilir access_log ve log_format kurallarıyla kaydettiğini açıklar NGINX HTTP Log Module. Kullanılan web sunucusu farklı olsa da temel mantık aynıdır: her HTTP isteği analiz edilebilir bir olay kaydına dönüştürülür.

Access log ile error log arasındaki fark nedir?

Access log, sunucuya gelen istekleri ve verilen HTTP cevaplarını kaydeder. Googlebot’un /urunler sayfasını istediğini, 200 cevap aldığını ve yanıt süresini burada görebilirsiniz. Error log ise uygulama veya sunucu hataları, dosya erişim sorunları, upstream bağlantı hataları ve zaman aşımı gibi teknik olayları kaydeder.

SEO analizinin başlangıç noktası access log’dur; ancak kritik 5xx veya yavaşlık bulguları error ve uygulama loglarıyla ilişkilendirilmelidir.

SEO için loglarda hangi alanlar bulunmalıdır?

• Timestamp: İsteğin doğru zaman dilimindeki tarihi ve saati.
• Client IP: Bot doğrulaması ve kaynak ayrımı için istemci adresi.
• Host: Birden fazla domain veya subdomain aynı altyapıyı kullanıyorsa hedef host.
• HTTP method: GET, HEAD ve diğer istek türleri.
• Request URI: Path ve gerektiğinde query string.
• Status code: 200, 301, 404, 429, 500 ve diğer cevaplar.
• User-agent: İstemcinin beyan ettiği bot veya tarayıcı bilgisi.
• Response size: İndirilen veri miktarını yorumlamak için boyut.
• Request time: İsteğin toplam cevaplanma süresi.
• Upstream time: Uygulama sunucusunun gecikmesini ayırmak için backend süresi.
• Cache status: CDN veya reverse proxy cevabının HIT, MISS gibi durumu.

User-agent alanı tek başına güvenilir kimlik kanıtı değildir. Ayrıca güvenlik ve veri minimizasyonu açısından cookie, authorization header, kişisel form verisi veya hassas query değerleri gereksiz yere loglanmamalıdır.

Googlebot user-agent ile nasıl tanınır?

İlk filtreleme, user-agent içinde Googlebot veya ilgili Google crawler token’ının aranmasıyla yapılabilir. Google’ın ortak crawler listesi; Googlebot Smartphone, Googlebot Desktop ve diğer crawler’ların user-agent bilgilerini açıklar Google Ortak Crawler Listesi.

Ancak kötü niyetli botlar aynı user-agent metnini kolayca taklit edebilir. Google’ın Googlebot rehberi, sorunlu bir isteğin gerçekten Google’dan geldiğinin doğrulanması gerektiğini özellikle belirtir Googlebot Dokümantasyonu.

Gerçek Googlebot isteği nasıl doğrulanır?

Google, doğrulama için iki yöntem sunar: kaynak IP’nin yayınlanan Google IP aralıklarıyla eşleştirilmesi veya reverse DNS kontrolü. Büyük veri setlerinde CIDR biçimindeki resmî IP listelerine karşı otomatik eşleştirme daha ölçeklenebilir olabilir Google Crawler İsteklerini Doğrulama.

1. Log kaydındaki kaynak IP’yi alın.
2. IP’yi Google’ın ilgili crawler JSON aralıklarıyla karşılaştırın.
3. Alternatif olarak reverse DNS sorgusunda hostname’in Google’ın belgelenmiş alanıyla eşleştiğini kontrol edin.
4. Reverse DNS sonucundaki hostname’i forward DNS ile tekrar IP’ye çözerek eşleşmeyi doğrulayın.
5. Yalnız doğrulanmış kayıtları Googlebot analiz kümesine dahil edin.

Google’ın Haziran 2026 tarihli crawler altyapısı genel bakışı, crawler’ların user-agent, kaynak IP ve reverse DNS hostname ile tanımlanabildiğini açıklar Google Crawler Altyapısı.

Googlebot Smartphone ve Desktop ayrı analiz edilmeli mi?

Evet. Googlebot Smartphone ile Desktop farklı user-agent kayıtları oluşturabilir. Google mobil öncelikli indekslemede sitenin mobil sürümünü temel aldığını belirtir Google Mobile-First Indexing.

Smartphone crawler’ın kritik CSS, JavaScript veya API kaynaklarında farklı status kodu alıp almadığı incelenmelidir. Responsive site aynı URL’yi sunsa bile WAF, cihaz algılama veya uygulama katmanı farklı cevap üretebilir.

Log verisi analiz öncesinde nasıl temizlenir?

Ham loglar bot, gerçek kullanıcı, uptime monitor, güvenlik tarayıcısı, asset isteği ve API çağrısını birlikte içerir. Analizden önce veri normalize edilmelidir.

• Zaman damgalarını tek zaman dilimine dönüştürün.
• Host, protokol ve URI biçimini standartlaştırın.
• Query parametrelerini ihtiyaçlarına göre tam veya sınıflandırılmış biçimde tutun.
• Doğrulanmamış Googlebot taklitlerini ayırın.
• HTML, görsel, JavaScript, CSS, PDF ve API kaynaklarını dosya türüne göre sınıflandırın.
• Redirect hedefini ve zincir uzunluğunu ayrı alan olarak hesaplayın.
• Bot türü, cihaz sınıfı ve crawler amacı için kontrollü etiketler oluşturun.
• Tekrarlanan ingest kayıtlarını benzersiz istek kimliği veya alan kombinasyonuyla temizleyin.

Hangi temel log metrikleri üretilmelidir?

Crawl frequency nasıl hesaplanır?

Crawl frequency, belirli URL’nin veya URL grubunun seçilen zaman aralığında kaç kez tarandığını ifade eder. Günlük, haftalık veya aylık istek sayısı; kategori, ürün, blog, filtre ve asset grupları için ayrı hesaplanabilir.

Bir URL’nin sık taranması yüksek sıralama garantisi değildir. Google Search’ün crawl ve indeksleme kararı otomatik sistemlere bağlıdır; Google daha sık crawl veya daha yüksek sıralama için ödeme kabul etmediğini açıklar Google Search Nasıl Çalışır?. Metrik, yalnız dağılımı ve değişimi anlamak için kullanılmalıdır.

Crawl waste nasıl tanımlanmalıdır?

Crawl waste, Googlebot isteklerinin indekslenmesi hedeflenmeyen, yinelenen, geçersiz veya teknik olarak gereksiz URL gruplarında yoğunlaşmasıdır. Bu terim sabit ve evrensel bir Google metriği değildir; site hedeflerine göre analist tarafından sınıflandırılır.

• Takip ve session parametreleri.
• Aynı içeriği üreten sıralama varyasyonları.
• Sonuç vermeyen filtre kombinasyonları.
• Redirect zincirlerindeki eski ara URL’ler.
• Sürekli 404 dönen yanlış iç link hedefleri.
• Yazılım hatasıyla sonsuz üretilen takvim veya pagination adresleri.
• İndeks dışı kalması planlanan dahili arama sonuçları.

Büyük sitelerde bu sınıflandırma, 247 numaralı crawl budget analizinin gerçek sunucu verisiyle doğrulanmasını sağlar; ancak bu yazının ana odağı bütçe kavramı değil loglardan gerçekleşen isteğin ölçülmesidir.

Kritik sayfalara Googlebot erişimi nasıl kontrol edilir?

Önce işletme ve SEO açısından kritik URL listesi oluşturulmalıdır: yüksek değerli hizmetler, kategoriler, ürünler, güncel içerikler ve migration sonrası yeni hedefler. Bu liste log verisiyle eşleştirilerek son tarama zamanı, status code ve cevap süresi incelenir.

1. Kritik canonical URL listesini sitemap ve iş önceliğinden çıkarın.
2. Seçilen dönemde doğrulanmış Googlebot isteği olup olmadığını kontrol edin.
3. Son isteğin nihai status kodunu ve response time değerini inceleyin.
4. URL’nin redirect, query veya host varyasyonlarının taranıp taranmadığını bulun.
5. Benzer template’teki sayfalarla frekans farkını karşılaştırın.
6. İç link, sitemap ve robots sinyallerini ayrı crawler verisiyle doğrulayın.

Bu çalışma teknik SEO danışmanlığı kapsamında “Google neden bu sayfayı taramıyor?” sorusunu varsayım yerine sunucu kanıtıyla incelemeyi sağlar.

HTTP durum kodları loglarda nasıl yorumlanmalıdır?

Google, HTTP durum kodlarını tarama sonucunu anlamak için kullanır. Teknik gereksinimlere göre yalnız HTTP 200 dönen sayfalar indeksleme için değerlendirilebilir; 4xx ve 5xx cevaplar indekslenmez Google Search Teknik Gereksinimleri.

• 200: Başarılı cevap; içeriğin değerli veya indeksli olduğunu tek başına göstermez.
• 301/308: Kalıcı taşınma; zincir ve hedef doğruluğu kontrol edilmelidir.
• 302/307: Geçici yönlendirme; kullanım amacı incelenmelidir.
• 404/410: Bulunmayan veya kaldırılmış kaynak; yanlış iç linkten geliyorsa düzeltilmelidir.
• 429: İstek oranı sınırı; Googlebot’un yanlışlıkla sürekli sınırlandırılıp sınırlandırılmadığı kontrol edilir.
• 500/502/503/504: Sunucu veya upstream sorunu; kritik URL ve zaman aralığı bazında araştırılır.

Google’ın güncel crawl hata rehberi, geçici aşırı yük durumunda 503 veya 429 kullanılabileceğini; ancak bu cevapların birkaç günden uzun sürmesinin taramanın ciddi biçimde yavaşlamasına yol açabileceğini belirtir Google Tarama Hataları Rehberi.

Response time verisi nasıl analiz edilmelidir?

Ortalama tek başına yeterli değildir; medyan, yüksek yüzdelikler ve URL template’leri karşılaştırılmalıdır. Ürün detayları hızlıyken filtre URL’leri sürekli yavaşsa sorun bütün siteye değil belirli sorgu yapısına aittir.

Google’ın Crawl Stats raporu, ortalama response time ve host availability hakkında özet sunar Search Console Crawl Stats. Access log ise bu genel hareketin hangi URL, saat veya upstream üzerinde oluştuğunu ayrıntılandırır.

Search Console ile log verisi nasıl birlikte kullanılmalıdır?

Search Console Crawl Stats; toplam istekler, response code, dosya türü, crawl amacı ve host durumu için Google tarafındaki özeti sunar. Access log ise sunucu tarafında görülen tam istek kayıtlarını içerir. Tarih aralığı, saat dilimi, host ve resource kapsamı farklı olabileceği için iki kaydın toplamları birebir aynı çıkmak zorunda değildir.

Sağlıklı kullanım şöyledir:

• Crawl Stats’ta anomali görüldüğünde loglarda ilgili gün ve URL grubunu inceleyin.
• Loglarda 5xx artışı bulunursa Search Console host status ile karşılaştırın.
• Page Indexing problemi bulunan URL’nin son Googlebot isteğini logdan bulun.
• URL Inspection ile tekil sayfanın Google görünümünü doğrulayın.
• Logları Search Console’un yerine değil, kök neden ayrıntısı olarak kullanın.

CDN ve WAF kullanılan sitelerde hangi log esas alınmalıdır?

Googlebot isteği CDN cache’inden cevaplanıyorsa origin sunucusu isteği hiç görmeyebilir. WAF isteği engellerse uygulama access log’una kayıt düşmeyebilir. Bu nedenle veri yolu haritalanmalı ve edge ile origin logları birlikte değerlendirilmelidir.

Bot doğrulamasında gerçek istemci IP’sinin hangi header veya log alanında tutulduğu güvenilir proxy zinciriyle belirlenmelidir. Kullanıcının gönderdiği sahte X-Forwarded-For değerini doğrudan kabul etmek güvenlik ve analiz hatası oluşturabilir.

Log retention ve gizlilik nasıl planlanmalıdır?

Analiz için yeterli tarih aralığı tutulmalı; ancak kişisel ve hassas veriler gereksiz yere saklanmamalıdır. URL query string içinde e-posta, telefon, token veya oturum bilgisi bulunuyorsa öncelikle uygulama tasarımı düzeltilmeli ve log ingest aşamasında maskeleme uygulanmalıdır.

• SEO analiz amacı ve saklama süresini belgeleyin.
• IP ve kişisel alanlara erişimi rol bazlı sınırlandırın.
• Token, cookie ve authorization değerlerini loglamayın.
• Ham log ile anonimleştirilmiş analiz tablosunu ayırın.
• Sıkıştırma, arşivleme ve güvenli silme politikası kullanın.
• Yerel mevzuat ve şirket politikaları için ilgili hukuk/gizlilik uzmanından görüş alın.

Log file analizi hangi araçlarla yapılabilir?

Küçük veri setleri komut satırı, elektronik tablo veya basit scriptlerle analiz edilebilir. Büyük ve sürekli akan loglar için log yönetim sistemi, kolon bazlı veri deposu veya sorgu motoru daha uygundur. Araç seçimi dosya büyüklüğü, analiz sıklığı, erişim kontrolü ve ekibin teknik yetkinliğine göre yapılmalıdır.

Log analizi adım adım nasıl yapılır?

1. Analiz sorusunu belirleyin: hata, crawl waste, migration veya kritik URL erişimi.
2. CDN, WAF ve origin dahil doğru log kaynaklarını envanterleyin.
3. Gerekli alanların eksiksiz kaydedildiğini doğrulayın.
4. Analiz tarih aralığını ve karşılaştırma dönemini seçin.
5. User-agent adaylarını çıkarıp Google IP veya DNS yöntemiyle doğrulayın.
6. URL’leri host, path, query ve template düzeyinde normalize edin.
7. Status, crawler türü, dosya türü ve response time metriklerini üretin.
8. Kritik URL listesi ve düşük değerli URL kurallarıyla eşleştirin.
9. Bulguları crawler, sitemap ve Search Console verisiyle doğrulayın.
10. Düzeltme sonrası aynı metrikleri aynı yöntemle yeniden karşılaştırın.

En sık yapılan log analizi hataları

1. User-agent içinde Googlebot yazan her isteği gerçek kabul etmek.
2. CDN’de kalan istekleri görmeden yalnız origin logunu analiz etmek.
3. Query parametrelerini normalize etmeden benzersiz URL saymak.
4. CSS ve JavaScript isteklerinin tamamını crawl waste kabul etmek.
5. Toplam crawl artışını otomatik SEO başarısı saymak.
6. 404 kayıtlarının tamamını hata kabul edip kaldırılmış URL politikasını görmezden gelmek.
7. Ortalama response time ile yavaş template’leri gizlemek.
8. Search Console ve log toplamlarının birebir eşleşmesini beklemek.
9. Hassas query, token veya cookie verisini kontrolsüz saklamak.
10. Düzeltme öncesi baseline almadan başarı değerlendirmek.

Log file analizi kontrol listesi

1. Access log doğru host, URI, status, user-agent ve süre alanlarını içeriyor mu?
2. CDN ve WAF nedeniyle görünmeyen istek katmanı var mı?
3. Googlebot IP veya reverse DNS ile doğrulandı mı?
4. Smartphone ve Desktop crawler ayrı raporlandı mı?
5. URL ve query parametreleri tutarlı biçimde normalize edildi mi?
6. Kritik URL’lerin son tarama ve status bilgisi çıkarıldı mı?
7. 5xx, 429, redirect zinciri ve yanlış 404 grupları incelendi mi?
8. Düşük değerli URL grupları iş kurallarıyla tanımlandı mı?
9. Crawl Stats ve crawler verisiyle çapraz kontrol yapıldı mı?
10. Düzeltme sonrası karşılaştırma için aynı rapor tekrarlanabilir mi?

Bulguların etki, URL kapsamı, teknik neden ve sorumlu ekip bilgisiyle yazılması, SEO denetimi ve aksiyon planı içinde ham log kayıtlarını uygulanabilir geliştirme görevlerine dönüştürür.

Sonuç: Loglar Googlebot davranışının sunucu tarafındaki kanıtıdır

Log file analizi, Googlebot’un sitenizi teoride nasıl taraması gerektiğini değil, gerçekte hangi URL’lere hangi cevaplarla ulaştığını gösterir. Doğrulanmış bot kayıtları sayesinde kritik sayfaların erişimi, durum kodu sorunları, yavaş template’ler, redirect zincirleri ve düşük değerli URL yoğunluğu ölçülebilir.

Doğru sonuç için user-agent filtresi yeterli değildir; bot kimliği doğrulanmalı, CDN ve origin veri yolu anlaşılmalı, URL’ler normalize edilmeli ve bulgular Search Console ile crawler verisiyle çapraz kontrol edilmelidir. Analiz tek seferlik rapor yerine aynı kurallarla tekrar çalıştırılabilen bir teknik SEO gözlem sistemine dönüştürüldüğünde kalıcı değer sağlar.