NVMe var ama p99 gecikme zıplıyor: darboğazı nasıl buluyorsunuz?

Sunucuda ortalama CPU kullanımı düşükken API yanıt sürelerinin ara ara uzaması insanı güzelce şüpheye düşürüyor. İlk bakışta “NVMe takalım, çözülür” deniyor ama yüksek aktarım hızı tek başına düşük gecikme garantisi değil; özellikle veritabanı yazmaları ve yoğun anlık I/O işlerinde.

Ben böyle durumlarda önce sorunu ölçmeye çalışıyorum, ayarları rastgele kurcalamadan şu çıktılara bakmak faydalı oluyor:

• KOD Kopyala

  1iostat -xz 1

  ile disk gecikmesi, kuyruk ve kullanımın sorun anında nasıl değiştiğini izliyorum. Tek bir yüksek kullanım yüzdesini değil, değerlerin zaman içindeki davranışını dikkate almak gerekiyor.
• KOD Kopyala

  1pidstat -d 1

  ve uygulama/veritabanı loglarıyla I/O yapan sürecin kim olduğunu bulmaya çalışıyorum. Yedekleme, log döndürme ya da eşzamanlı sorgular bazen asıl yük gibi görünebiliyor.
• Veritabanında checkpoint veya toplu yazma anlarıyla gecikme sıçramalarının örtüşüp örtüşmediğine bakıyorum. Böylece disk değiştirmek yerine yazma düzenini ya da bakım zamanlamasını ele almak mümkün olabiliyor.

Bir de sanal sunucuda komşu makinelerin etkisini tamamen göz ardı etmemek lazım; aynı ölçümleri sakin ve yoğun saatlerde karşılaştırmak fikir verebiliyor. Siz p99 gecikme artışlarında önce hangi metriğe bakıyorsunuz, işe yarayan bir teşhis yönteminizi paylaşır mısınız?