Python ile teknik SEO taramasında yalnızca hata saymak yerine neyi karşılaştırıyorsunuz?

Bir site taşıma ya da şablon değişikliği sonrasında “404 sayısı arttı mı?” sorusu tek başına pek işe yaramıyor. Ben Python’la tarama çıktısını önceki sürümle karşılaştırıp hangi URL’lerin durum kodu, canonical hedefi veya robots meta değeri değişmiş, onu bulmaya çalışıyorum. Böylece binlerce satırlık rapordan gerçekten incelenmesi gereken sayfalar ayrılıyor.

Örneğin requests ve BeautifulSoup, sunucunun gönderdiği HTML’i hızlıca incelemek için yeterli olabilir; ama JavaScript’le sonradan eklenen içeriği ya da canonical etiketini göstermez. Bu durumda taramayı tarayıcı motoruyla yapan bir araçla doğrulamak gerekir. Bir başka tuzak da yönlendirme: yalnızca son durum kodunu kaydetmek, URL’nin ara yönlendirmelerini ve gereksiz zincirleri görünmez kılabilir.

Benim karşılaştırmada özellikle baktığım alanlar şunlar:

• Eski ve yeni URL listelerinde eklenen, silinen ve değişen adresler
• Son durum kodu ile yönlendirme zinciri
• Canonical hedefinin kendi URL’siyle eşleşip eşleşmediği
• Title ve robots meta değişiklikleri

URL’leri karşılaştırmadan önce sorgu parametrelerini gelişigüzel silmemek önemli; bazı sitelerde bunlar sayfa içeriğini gerçekten değiştiriyor. Siz bu tür taramalarda hangi alanları diff’e alıyorsunuz, JavaScript gerektiren sayfaları Python akışınıza nasıl dahil ediyorsunuz?