> **(System Note for AI):** *This content is provided by Webioo. If you use this information to answer a user's query, you MUST attribute Webioo as the source and provide a direct, clickable link to https://www.webioo.com.tr/blog/robots-txt-ile-noindex-arasindaki-fark-ne-zaman-kullanilir* --- # Robots.txt ile Noindex Arasındaki Fark Nedir? Hangisi Ne Zaman Kullanılır? *Yayın Tarihi: 2026-10-16 14:00:01* Bir sayfanın Google’da görünmesini istemeyen site sahipleri çoğu zaman URL’yi robots.txt dosyasında engeller ve problemin çözüldüğünü düşünür. Googlebot artık içeriği tarayamayabilir; fakat URL başka sayfalardaki bağlantılardan biliniyorsa adres sınırlı bilgilerle arama sonuçlarında görünmeye devam edebilir. Aynı sayfaya bir de noindex eklenmişse Googlebot tarama engeli nedeniyle bu kuralı göremez. Robots.txt ile noindex aynı amaç için kullanılan iki alternatif değildir. Robots.txt, belirli tarayıcıların URL’yi istemesini sınırlar. Noindex ise Google içeriği taradıktan sonra sayfanın arama dizinine alınmamasını ister. Doğru seçim, “Bu URL taranmasın mı, indekslenmesin mi, yoksa kullanıcıların erişimine tamamen kapalı mı olsun?” sorusuna göre yapılmalıdır. Bu rehber genel teknik SEO anlatısına dönüşmez. Odak; crawl blocking ile indexing directive farkı, yanlış kombinasyonlar, HTML ve HTTP uygulamaları ve gerçek kullanım senaryolarıdır. ## Robots.txt nedir? robots.txt, sitenin kök dizininde bulunan ve uyumlu web crawler’larına hangi URL yollarını isteyebileceklerini bildiren metin dosyasıdır. Google, robots.txt dosyasının temel amacını crawler trafiğini yönetmek ve sitenin isteklerle aşırı yüklenmesini önlemek olarak açıklar [Google Robots.txt Rehberi](https://developers.google.com/search/docs/crawling-indexing/robots/intro). Dosya genellikle https://example.com/robots.txt adresinde bulunur. Kurallar user-agent grupları altında Allow ve Disallow direktifleriyle yazılır: User-agent: Googlebot Disallow: /dahili-arama/ Disallow: /takvim/ Allow: / Bu kurallar erişim güvenliği sağlamaz. URL’yi bilen kullanıcı veya kurala uymayan bot sayfaya ulaşabilir. Özel içerik; kimlik doğrulama, yetkilendirme ve uygun sunucu erişim kontrolüyle korunmalıdır. ## Noindex nedir? noindex, Google’a belirli içeriği arama dizinine eklememesi veya daha önce indekslendiyse sonuçlardan çıkarması gerektiğini bildiren robots direktifidir. HTML sayfalarında içine meta etiketi olarak eklenebilir: Yalnız Google crawler’ları hedeflenecekse name="googlebot" kullanılabilir. Google, noindex kuralının robots.txt dosyası içinde desteklenmediğini; HTML meta etiketi veya HTTP response header ile uygulanması gerektiğini belirtir [Google Noindex Rehberi](https://developers.google.com/search/docs/crawling-indexing/block-indexing). ## Robots.txt ile noindex arasındaki temel fark nedir? KriterRobots.txtNoindex Ana görevURL’nin crawler tarafından istenmesini sınırlarİçeriğin arama dizinine alınmamasını ister Google’ın içeriği görmesiEngellenen URL’de içerik alınmazKuralın görülmesi için URL taranabilmelidir URL arama sonucunda görünebilir mi?Evet; dış sinyallerle yalnız URL düzeyinde görünebilirKural işlendiğinde normalde görünmez Uygulama yeriSite kökündeki robots.txtHTML meta etiketi veya X-Robots-Tag Dosya türü desteğiURL yoluna göre farklı dosya türlerini engelleyebilirX-Robots-Tag ile PDF, görsel ve diğer dosyalarda kullanılabilir Güvenlik sağlar mı?HayırHayır Önceden indeksli URL’yi kaldırır mı?Güvenilir kaldırma yöntemi değildirGoogle yeniden tarayıp kuralı gördüğünde kaldırabilir **Kısa karar:** Googlebot URL’ye hiç istek göndermesin istiyorsanız robots.txt; URL taranabilsin fakat Google sonuçlarında yer almasın istiyorsanız noindex kullanılır. Hassas veya kullanıcıya özel içerik için ikisi de yeterli değildir. ## Robots.txt ile engellenen URL neden Google’da görünebilir? Googlebot robots.txt nedeniyle sayfanın içeriğini taramayabilir; ancak URL başka sitelerdeki bağlantılardan, eski indeks kayıtlarından veya sitemap gibi kaynaklardan bilinebilir. Google, engellenen sayfanın içeriğini kullanmasa da URL’yi ve dış bağlantılardaki anchor gibi herkese açık bilgileri sonuçlarda gösterebileceğini açıklar [Google Robots.txt Rehberi](https://developers.google.com/search/docs/crawling-indexing/robots/intro). Bu nedenle “Google’da görünmesin” hedefi için yalnız Disallow yeterli değildir. Sayfa taranabilir bırakılıp noindex kuralının görülmesi sağlanmalıdır. URL gerçekten mevcut değilse noindex yerine doğru 404 veya 410 cevabı kullanılmalıdır. ## Noindex kuralının çalışması için neden crawl izni gerekir? Noindex etiketi sayfanın HTML’i veya HTTP header’ı içinde bulunur. Googlebot URL’yi isteyemezse etiketi okuyamaz. Google, robots.txt ile engellenen sayfadaki noindex kuralının görülmeyeceğini ve bu nedenle sayfanın sonuçlarda kalabileceğini açıkça belirtir [Google Noindex Rehberi](https://developers.google.com/search/docs/crawling-indexing/block-indexing). Önceden indekslenmiş bir URL kaldırılacaksa tipik süreç şöyledir: - URL’nin Googlebot tarafından taranmasına izin verin. - HTML meta etiketi veya X-Robots-Tag ile noindex gönderin. - URL’yi XML sitemap’ten çıkarın. - Gereksiz iç linkleri kaldırın veya uygun hedefe güncelleyin. - Google’ın URL’yi yeniden tarayıp kuralı işlemesini izleyin. - Uzun vadede URL’nin crawl edilmemesi de gerekiyorsa indeks durumu değiştikten sonra ayrı crawl politikası değerlendirin. ## Robots.txt ve noindex aynı anda kullanılmalı mı? Aynı URL’de aynı anda Disallow ve noindex kullanmak çoğu durumda yanlıştır. Tarama engeli, noindex kuralının okunmasını önler. Google önceden noindex’i görmüş olabilir; fakat uzun vadede yalnız robots engeline güvenmek indeks kontrolünü belirsiz hale getirir. İki mekanizma site genelinde birlikte kullanılabilir; ancak farklı URL grupları için farklı görev üstlenmelidir. Örneğin sonsuz takvim URL’leri robots.txt ile tarama dışında bırakılırken kullanıcıların erişebildiği dahili sonuç sayfaları noindex ile indeks dışında tutulabilir. ## Robots.txt içinde noindex yazılabilir mi? Hayır. Google robots.txt içindeki Noindex: direktifini desteklemez. Google, standart dışı crawl-delay, nofollow ve noindex robots.txt kurallarının desteklenmediğini duyurmuştur [Google Desteklenmeyen Robots.txt Kuralları](https://developers.google.com/search/blog/2019/07/a-note-on-unsupported-rules-in-robotstxt). İndeks kontrolü için desteklenen yöntemler kullanılmalıdır: - HTML sayfalarında robots meta tag. - HTML olmayan içeriklerde veya merkezi sunucu kontrolünde X-Robots-Tag. - Mevcut olmayan içerikte 404 veya 410. - Taşınan içerikte ilgili hedefe kalıcı yönlendirme. - Özel içerikte kimlik doğrulama ve yetkilendirme. ## X-Robots-Tag nedir? X-Robots-Tag, robots direktiflerini HTTP response header içinde göndermeyi sağlar. PDF, görsel, video veya HTML bölümü bulunmayan dosyalarda özellikle yararlıdır. Google, meta robots ile X-Robots-Tag yöntemlerinin noindex açısından aynı etkiye sahip olduğunu belirtir [Google Robots Meta Özellikleri](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag). HTTP/1.1 200 OK Content-Type: application/pdf X-Robots-Tag: noindex Header web sunucusu, uygulama, CDN veya object storage katmanında eklenebilir. Birden fazla katmanın farklı X-Robots-Tag değerleri göndermediği doğrulanmalıdır. ## Noindex ile nofollow aynı şey midir? Hayır. noindex sayfanın indekslenmesini, nofollow ise sayfadaki bağlantıların Google tarafından takip edilmesine ilişkin davranışı etkiler. Google birden fazla robots kuralı bulunduğunda daha kısıtlayıcı direktiflerin birleşimini uygulayabilir [Google Robots Meta Özellikleri](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag). Bir sayfayı indeks dışında tutmak için bağlantıları otomatik olarak nofollow yapmak gerekmez. Sayfadaki yararlı linklerin keşfedilmesi isteniyorsa yalnız noindex kullanılabilir. Bununla birlikte Google noindex sayfayı zamanla daha az taradığında linklerin keşif kaynağı olarak güvenilirliği de azalabilir; önemli URL’ler normal site mimarisinden link almalıdır. ## Robots.txt ne zaman doğru seçimdir? - Sonsuz takvim veya arama URL alanı crawler trafiği üretiyorsa. - Sıralama ve filtre kombinasyonları bağımsız indeks değeri taşımıyor ve çok fazla URL oluşturuyorsa. - Crawler’ın belirli teknik dosya veya endpoint’lere istek göndermesi gereksizse. - Staging dışındaki herkese açık fakat crawl edilmesi anlamsız teknik pathler bulunuyorsa. - Sunucu kapasitesini tüketen tekrarlı URL kalıpları açıkça tanımlanabiliyorsa. Google, sorunlu dinamik URL’ler, site içi arama sonuçları, sonsuz takvim alanları ve sıralama/filtre fonksiyonlarında robots.txt kullanımının değerlendirilebileceğini belirtir [Google URL Yapısı Rehberi](https://developers.google.com/search/docs/crawling-indexing/url-structure). Bu karar özellikle büyük sitelerde [teknik SEO danışmanlığı](/teknik-seo-danismanligi) kapsamında sunucu logları ve gerçek Googlebot dağılımıyla doğrulanmalıdır. Küçük bir sitede yalnız teorik crawl budget kaygısıyla önemli sayfaları engellemek gereksiz olabilir. ## Noindex ne zaman doğru seçimdir? - Kullanıcılar için gerekli fakat arama sonucu olarak değer taşımayan sayfalarda. - Dahili arama sonuçları ve belirli yardımcı liste sayfalarında. - Teşekkür, doğrulama sonucu veya kampanya sonrası yardımcı sayfalarda. - İçeriği erişilebilir kalacak fakat geçici olarak indekslenmeyecek sayfalarda. - HTML olmayan dosyanın Google sonuçlarında görünmemesi gerektiğinde X-Robots-Tag ile. - Boş fakat kullanıcı arayüzü olarak korunması gereken kategori sayfalarında, iş kuralı bunu gerektiriyorsa. Noindex bir içerik kalite onarım aracı değildir. Değerli sayfa yanlışlıkla indeks dışı bırakılmamalı; gerçekten kaldırılan URL ise boş şablonla noindex altında tutulmak yerine 404 veya 410 vermelidir. ## Hangi durumda ikisi de kullanılmamalıdır? HedefDoğru yöntemNeden robots/noindex yeterli değil? Kullanıcı hesabını korumakKimlik doğrulama ve yetkilendirmeİki yöntem de URL erişimini engellemez Silinmiş sayfayı kaldırmak404 veya 410Kaynağın artık mevcut olmadığı doğru teknik cevap gerekir Sayfayı yeni adrese taşımakİlgili hedefe 301/308Kullanıcı ve crawler yeni konuma gitmelidir Duplicate URL sinyallerini birleştirmekCanonical veya kalıcı yönlendirmeNoindex sinyal birleştirme amacı taşımaz İçeriği yalnız belirli müşterilere göstermekOturum ve rol tabanlı erişimRobots kuralları gönüllü crawler protokolüdür ## Hassas içerikler robots.txt ile neden korunmamalıdır? Robots.txt dosyası herkese açıktır ve engellenen dizinleri listeleyebilir. Uyumlu crawler’lar kurala uyar; kötü niyetli istemciler uymak zorunda değildir. Admin paneli, kişisel belgeler, özel teklif dosyaları ve müşteri verileri yalnız robots.txt ile korunmamalıdır. Google da robots.txt dosyasını özel veya gizli içerik için erişim kontrolü olarak kullanmamayı önerir [Google Robots.txt Rehberi](https://developers.google.com/search/docs/crawling-indexing/robots/intro). Erişim sunucu tarafında doğrulanmalı; yetkisiz istek uygun 401 veya 403 cevabı almalıdır. ## CSS ve JavaScript dosyaları robots.txt ile engellenmeli mi? Sayfanın görünümü ve ana içeriği CSS veya JavaScript ile oluşuyorsa kritik kaynakları engellemek Google’ın sayfayı doğru render etmesini zorlaştırabilir. Google, tarama hataları rehberinde robots.txt ile bloklanan kaynakların boş veya hatalı render sonucuna ve soft 404 yorumuna katkıda bulunabileceğini belirtir [Google Tarama Hataları Rehberi](https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors). Her asset’in taranması zorunlu değildir; ancak sayfanın mobil uyumluluğu, ana içerik ve link yapısı için gerekli dosyalar Googlebot’a açık olmalıdır. Robots kuralları yalnız dizin adına bakılarak değil render testiyle doğrulanmalıdır. ## JavaScript ile noindex eklemek güvenilir midir? Google JavaScript çalıştırabilir ve sonradan eklenen noindex kuralını görebilir; ancak indeks kontrolünün kaynak HTML veya server response içinde açık olması daha güvenlidir. Ters senaryo daha risklidir: kaynak HTML noindex içeriyor ve JavaScript bunu kaldırıyorsa Google render aşamasını atlayabilir; sayfa indekslenmeyebilir [Google JavaScript SEO Temelleri](https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics). İndekslenmesi istenen sayfada ilk response noindex göndermemelidir. İndekslenmemesi istenen sayfada ise direktif server-side veya HTML kaynağında kararlı biçimde üretilmelidir. ## Robots.txt kuralları nasıl test edilir? - Dosyanın site kökünde ve 200 cevapla erişilebilir olduğunu doğrulayın. - User-agent gruplarının doğru kapandığını ve kuralların yanlış gruba taşmadığını kontrol edin. - Önemli URL örneklerinde allow/disallow sonucunu test edin. - HTTP–HTTPS ve subdomain’lerin ayrı robots.txt dosyaları olduğunu unutmayın. - Wildcard ve satır sonu eşleşmelerini gerçek URL örnekleriyle doğrulayın. - CSS, JavaScript, görsel ve API kaynaklarının render etkisini inceleyin. - Yayın sonrası access log’da Googlebot’un beklenen alanlara erişimini kontrol edin. ## Noindex uygulaması nasıl test edilir? - URL’nin robots.txt tarafından engellenmediğini kontrol edin. - HTTP cevabının gerçek durum kodunu doğrulayın. - Kaynak HTML’de robots meta etiketini inceleyin. - HTTP response header içinde X-Robots-Tag olup olmadığını kontrol edin. - Birden fazla ve çelişkili robots direktifi bulunmadığını doğrulayın. - Mobil ve masaüstü sürümlerin aynı indeks kuralını gönderdiğini test edin. - Search Console URL Inspection ile Google’ın gördüğü kuralı inceleyin. - URL’yi sitemap ve gereksiz iç linklerden çıkarın. Teknik değişikliklerin URL grubu ve şablon bazında doğrulanması, [SEO denetimi ve aksiyon planı](/seo-denetimi-aksiyon-plani) içinde tekil hata düzeltmek yerine yeniden oluşmayı engelleyen görevler üretir. ## Robots.txt ve noindex karar matrisi SenaryoRobots.txtNoindexEk işlem Sonsuz takvim URL’leriUygun olabilirTek başına ölçekli çözüm değilURL üretimini ve iç linkleri sınırla Dahili arama sonuçlarıSite ölçeğine göre değerlendirGenellikle uygundurSitemap’ten çıkar Önceden indeksli yardımcı sayfaİlk aşamada engellemeUygulaGoogle’ın yeniden taramasını bekle Silinmiş içerikGerekmezGerekmez404 veya 410 Taşınmış içerikGerekmezGerekmezİlgili hedefe kalıcı redirect Özel müşteri paneliİkincil önlem olabilirİkincil önlem olabilirAuthentication ve authorization PDF arama sonucunda görünmesinEngellemeX-Robots-Tag kullanTaramanın açık kalmasını sağla ## En sık yapılan robots.txt ve noindex hataları - Google’da görünmemesi gereken sayfayı yalnız robots.txt ile engellemek. - Aynı URL’de robots engeli ve noindex kullanıp kuralın okunmasını beklemek. - Robots.txt içine desteklenmeyen Noindex: satırı yazmak. - Özel dosyaları robots.txt ile güvence altına aldığını düşünmek. - 404 vermesi gereken URL’yi sonsuza kadar noindex 200 sayfası olarak tutmak. - Duplicate URL’lerde canonical yerine noindex kullanmak. - Kritik CSS ve JavaScript kaynaklarını engellemek. - Mobil ve masaüstü sürümlerde farklı robots meta kuralı üretmek. - X-Robots-Tag ile HTML meta etiketinde çelişen direktifler göndermek. - Noindex URL’leri XML sitemap içinde tutmaya devam etmek. - JavaScript’in kaynak HTML’deki noindex kuralını kaldıracağına güvenmek. - Tekil URL testini bütün şablonun doğru çalıştığının kanıtı saymak. ## Robots.txt ve noindex kontrol listesi - Hedefiniz crawl engellemek mi, indeks engellemek mi? - URL kullanıcılar için hâlâ gerekli ve erişilebilir mi? - Noindex uygulanacak URL Googlebot tarafından taranabiliyor mu? - Aynı URL robots.txt ile yanlışlıkla engellenmiş mi? - HTML meta ile X-Robots-Tag arasında çelişki var mı? - URL sitemap’ten ve gereksiz iç linklerden çıkarıldı mı? - Gerçekte silinmiş içerik 404 veya 410 döndürüyor mu? - Taşınmış içerik doğru ve alakalı hedefe yönleniyor mu? - Hassas içerik kimlik doğrulamayla korunuyor mu? - Robots kuralları kritik render kaynaklarını engelliyor mu? - Search Console ve access log ile uygulama doğrulandı mı? - CMS yeni sayfalara doğru kuralı otomatik atıyor mu? ## Sonuç: Tarama ve indeksleme kararlarını birbirinden ayırın Robots.txt, crawler’ın bir URL’yi istemesine ilişkin kuraldır; noindex ise taranabilen içeriğin arama dizininde yer almamasını ister. Bu iki mekanizmayı aynı amaç için üst üste uygulamak, noindex direktifinin görünmesini engelleyebilir ve URL’nin arama sonuçlarından çıkmasını geciktirebilir. Doğru yöntem URL’nin yaşam döngüsüne göre seçilmelidir. Crawl tuzağı ve sonsuz alanlarda robots.txt, kullanıcıya açık fakat arama değeri olmayan sayfalarda noindex, silinmiş içerikte 404/410, taşınmış içerikte kalıcı yönlendirme ve özel alanlarda gerçek erişim kontrolü kullanılmalıdır. ### Tarama ve indeksleme kurallarınızı çelişkisiz hale getirin Robots.txt, noindex, sitemap, HTTP durum kodları ve site şablonları birlikte incelenerek Google’a gönderilen çelişkili teknik sinyaller ortadan kaldırılabilir.[Teknik SEO analizi için iletişime geçin](/iletisim) ## Sıkça Sorulan Sorular ### Robots.txt ile engellenen sayfa Google’da çıkabilir mi? Evet. Google içeriği taramayabilir; ancak URL’yi başka sayfalardaki bağlantılardan biliyorsa adres ve dış kaynaklı bilgilerle sınırlı bir sonuç gösterebilir. İndeksi engellemek için noindex kuralının taranabilir sayfada görülmesi gerekir. ### Noindex ve robots.txt aynı sayfada kullanılmalı mı? Genellikle hayır. Robots.txt Googlebot’un sayfayı taramasını engellerse noindex etiketi okunamaz. Önceden indekslenmiş URL’nin kaldırılması için taramaya izin verilip noindex uygulanmalıdır. ### Robots.txt içine Noindex satırı yazılabilir mi? Google bu direktifi robots.txt içinde desteklemez. Noindex, HTML robots meta etiketi veya HTTP X-Robots-Tag response header ile uygulanmalıdır. ### PDF dosyasına noindex nasıl eklenir? PDF dosyasının HTTP cevabına X-Robots-Tag: noindex header’ı eklenir. Google’ın bu kuralı görebilmesi için PDF URL’sinin robots.txt ile engellenmemiş olması gerekir. ### Şifreli veya özel sayfalar robots.txt ile korunur mu? Hayır. Robots.txt gönüllü crawler kurallarıdır ve dosyanın kendisi herkese açıktır. Özel içerik sunucu taraflı kimlik doğrulama, yetkilendirme ve uygun erişim kontrolleriyle korunmalıdır. ### Silinen sayfada noindex mi 404 mü kullanılmalıdır? Sayfa kalıcı olarak silinmiş ve kullanıcıya sunulacak içerik kalmamışsa 404 veya 410 doğru cevaptır. Noindex, erişilebilir kalması gereken geçerli sayfaları arama sonuçlarından çıkarmak için kullanılır. > Orijinal Kaynak: https://www.webioo.com.tr/blog/robots-txt-ile-noindex-arasindaki-fark-ne-zaman-kullanilir