Risk tahmin modelleri, klinik olarak karar verme sürecinde sıklıkla kullanılan bir istatistiksel modelleme tekniğidir
14. Tahmin modelleri, çeşitli belirteçlerden gelen bilgileri birleştiren istatistiksel bir süreçtir. Yaygın model türleri arasında lojistik regresyon modelleri, Cox orantılı tehlike modelleri ve sınıflandırma ağaçları bulunur. Her model türü, her bir birey için modeldeki bilgileri kullanarak tahmini bir risk üretir
15. Karar verme sürecinde kullanılan risk tahmin modellerinin tahminlerde ne kadar iyi olduğunun ölçülmesi ise modelin performans ölçütlerine bağlıdır. Performans değerlendirmesinde kullanılan geleneksel ölçüm yöntemleri; genel model performansının değerlendirilmesinde açıklanan varyasyon (R
2) katsayısı ve Brier skoru, ayırım yeteneğinin testi için ROC eğrisi altında kalan alan değeri ve son olarak da kalibrasyon için uyum iyiliği istatistikleri kullanılmaktadır
4. Bu performans ölçütleri (Brier skoru hariç) ne kadar yüksek ise modelin performansı o kadar iyidir.
İç içe olmayan risk tahmin modellerinde skor tahminlerinin uygun puanlama kuralları ile elde edilmesi literatürde kullanılan yöntemler arasındadır. Örneğin, Breiman 16 çalışmasında lojistik regresyondan türetilen bir prognostik modeli rastgele ormandan türetilen başka bir modelle karşılaştırmıştır. Başka bir çalışmada Bartfay ve ark. 17 sinir ağı modellerini lojistik regresyon modelleriyle karşılaştırmak için Brier skorunu ve AUC'yi kullanmıştır. Son olarak, Bernardo ve Smith 18 makalelerinde Bayesci çıkarsama yöntemleri ile skor puanlamaları hesaplamıştır. Makine öğrenme algoritmaları, model karşılaştırmasından ziyade model oluşturma sürecidir 19.
Bu çalışmada, risk tahmin modeli olarak SNAP-II ve SNAPPE-II modelleri kullanılmıştır. Bu iki model, klinik karar vermede halihazırda kullanılır ve lojistik regresyon modellemesine dayanır. Bu çalışmada amaç; model oluşturma sürecinden ziyade model performans karşılaştırma yöntemlerini ortaya koymak ve SNAP-II, SNAPPE-II modellerinin birbirleri ile karşılaştırmaktır. SNAP-II ve SNAPPE-II risk tahmin modellerinin kalibrasyonunu değerlendirmek için kullanılan Hosmer Lemeshow uyum iyiliği testinin p değeri literatüre paralel olarak anlamsız bulunmuştur. Yani gözlem değerleri ile beklenen değerler arasındaki fark istatistiksel olarak anlamlı değildir. Bununla beraber bu modellerin genel performansını değerlendirmek için Nagelkerke R2 ve Brier skoru kullanılmıştır.
SNAP-II için literatürde bulunan ROC eğrisi altında kalan alan değeri 0.82 (GA:0.68-0.95) 20 olarak bulunurken çalışmada bu değer 0.885 (GA: 0.851-0.919) olarak elde edilmiştir. Ayrıca kesim noktası 14.50 olarak belirlenmiş ve bu noktadaki seçicilik 0.725, duyarlılık 0.897 ve doğruluk 0.750 olarak elde edilmiştir. SNAPPE-II risk tahmin modeli için ise 0.84 ile 0.92 arasında değişen bir ROC eğrisi altında kalan alan değeri söz konusu iken çalışmada bu değer 0.921 (GA: 0.890-0.953)’dir 13. Richardson ve ark. 21 çalışmalarında AUC değerini 0.91, Zupanic ve ark.(22) 0.90, Mia ve ark.23 ise 0.863 olarak elde etmiştir. Ayrıca SNAPPE-II için kesim noktası 26.50 olarak belirlenmiş ve bu noktadaki seçicilik 0.877, duyarlılık 0.857 ve doğruluk 0.874 olarak elde edilmiştir. SNAPPE-II’nin kesim noktası literatürde 13.5 iken seçicilik 0.63 ve duyarlılık 0.67 şeklindedir 24. SNAPPE-II risk tahmin modelinin tüm performans ölçütlerine göre daha iyi bir performansa sahip olduğu elde edilmiştir.
İleri çalışmalarda, modelleme tekniği olarak lojistik regresyon modellemesi ile birlikte makine öğrenme algoritmalarının karşılaştırılması önerilebilir. Bu sayede model skorları farklı yöntemlerle elde edilir ve karşılaştırmalar yapılabilir. Ayrıca risk tahmin modellerinin performans değerlendirmesine ilişkin literatürde sağkalım sürelerini dikkate alacak şekilde geliştirilen Cox orantılı hazard modelleri ve makine öğrenme yöntemleri mevcuttur.
Sonuç olarak lojistik regresyon, risk faktörlerine bağlı tahmin modellerinde en sık karşılaşılan modellemelerden biridir. Bunun nedeni risk tahmin modellerinin genel amacı hastalığı, ölümü vs. gibi durumları etkileyen faktörleri ortaya koymak ve gerekli koruyucu önlemleri almaktır. Bu nedenle en uygun modelin belirlenmesi ve kurulan modelin performansının değerlendirilmesi gerekmektedir. Modelin iyi bir performansa sahip olabilmesi için açıklanan varyasyonun, ayırım gücünün ve kalibrasyon yeteneğinin yüksek olması ve bu özelliklerin istatistiksel olarak geçerli olması gerekmektedir.
Model performansının değerlendirilmesi için kullanılan yöntemlere göre elde edilen bulgular ışığında, SNAPPE-II risk tahmin modelinin genel performans, ayırım yeteneği ve kalibrasyon bakımından SNAP-II’den daha iyi olduğu elde edilmiştir.
)
)
)
)
)
)
)
)
)
