Filtre URL’leri tarama bütçesini yiyor mu? Önce loglara bakalım

Bir e-ticaret sitesinde renk, beden ve sıralama filtreleri birleşince birkaç kategori sayfasından binlerce URL türeyebiliyor. Böyle bir durumda ilk refleks robots.txt’ye kural eklemek oluyor ama ben önce Googlebot’un gerçekten bu adresleri ne sıklıkta istediğine bakmayı tercih ediyorum. Sunucu erişim logları, Search Console’daki tarama istatistikleri ve indekslenen URL örnekleri birlikte daha net tablo çıkarıyor.

Özellikle şu üç noktayı ayırmak gerekiyor:

• Parametreli URL’ler kullanıcıya ve arama talebine göre anlamlı sonuçlar sunuyorsa, hepsini kapatmak yerine kendi içinde tutarlı bir URL ve canonical yapısı kurmak daha sağlıklı olabilir. Canonical, taramayı durdurma komutu değildir; Google’ın tercih edilen URL’yi anlamasına yardımcı olur.
• Gerçekten indekslenmesini istemediğiniz sayfalarda noindex kullanacaksanız, Google’ın yönergeyi görebilmesi için sayfayı tarayabilmesi gerekir. URL’yi aynı anda robots.txt ile engellemek bu sinyali görmesini önleyebilir.
• Filtre linklerinin site içinde nasıl üretildiğine de bakın. Her kombinasyon taranabilir bağlantı olarak sunuluyorsa, URL üretimini sınırlamak sorunu kökten çözebilir; yalnızca robots.txt ile üstünü örtmek yetmeyebilir.

Sizde filtre URL’lerinde asıl sorun hangisi çıktı: gereksiz tarama, indeks kirliliği, yoksa yanlış canonical seçimi mi? Loglarda bunu ayırt etmek için kullandığınız pratik bir yöntem varsa paylaşır mısınız?