SNAP-II VE SNAPPE-II Risk Tahmin Modellerinin Performansının Değerlendirilmesi

Amaç: Risk tahmin modellerinin performanslarının değerlendirilmesi için farklı istatistiksel yöntemler kullanılmaktadır. Modelin genel performansının değerlendirilmesinde Brier skoru ve R² yöntemleri kullanılırken ayırım yeteneğinin değerlendirilmesi için alıcı-işletim karakteristikleri (Receiver-operating characteristic-ROC) eğrisi ve ayırım eğrileri kullanılmaktadır. Bunlara ek olarak kalibrasyon için kalibrasyon eğrileri ve Hosmer-Lemeshow test istatistiği ile modelin performansı değerlendirilmektedir. Model performansını değerlendirmek için kullanılan istatistiksel yöntemlerle, SNAP-II (Score for Neonatal Acute Physiology) ve SNAPPE-II (Score for Neonatal Acute Physiology- Perinatal Extension-II) risk tahmin modellerinin performanslarının değerlendirilmesi amaçlanmaktadır.

Gereç ve Yöntem: Çukurova Üniversitesi Tıp Fakültesi Balcalı Hastanesi’nin Yeni Doğan Yoğun Bakım Ünitesine, 2013-2015 Temmuz yılları arasında yatırılan 864 bebeğin ölüm olasılıklarını tahmin etmek için SNAP-II ve SNAPPE-II risk tahmin modelleri kullanılmıştır.

Bulgular: SNAP-II risk tahmin modelinin genel performansını değerlendirmek için kullanılan yöntemlerden Brier Skoru 0.076 ve Nagelkerke R² 0.479 olarak bulunmuştur. Ayırım yeteneğini değerlendirmek için kullanılan ROC-AUC değeri 0.885 (GA: 0.851-0.919)’dir (p<0.001). Kesim noktası 14.50 olarak belirlenmiş ve bu noktadaki seçicilik 0.725, duyarlılık 0.897 ve doğruluk 0.750 olarak elde edilmiştir. Kalibrasyon için kullanılan Hosmer-Lemeshow testinin p değeri 0.619 (χ²=6.249) olarak bulunmuştur. SNAPPE-II risk tahmin modeline ait Brier skoru 0.056 iken Nagelkerke R2 değeri 0.619 olarak bulunmuştur. ROC-AUC değeri 0.921 (GA: 0.890-0.953)’dir (p<0.001). Kesim noktası 26.50 olarak belirlenmiş ve bu noktadaki seçicilik 0.877, duyarlılık 0.857 ve doğruluk 0.874 olarak elde edilmiştir. Hosmer-Lemeshow testinin p değeri 0.968 (χ²=2.338) olarak bulunmuştur.

Sonuç: SNAP-II ve SNAPPE-II risk tahmin modellerinin her ikisi de yüksek model performansına sahiptir. Ayrıca SNAPPE-II risk tahmin modelinin genel performans, ayırım yeteneği ve kalibrasyon bakımından SNAP-II’den daha iyi olduğu elde edilmiştir.

Objective: Different statistical methods are used to evaluate the performance of risk prediction models. While Brier score and R² methods are used to evaluate the overall performance of the model, ROC curve and discrimination curves are used to evaluate discrimination ability. Additionally, calibration curves and the Hosmer-Lemeshow test statistic are used to evaluate the calibration.

It is aimed to evaluate the performance of SNAP-II and SNAPPE-II risk prediction models with the statistical methods used to evaluate model performance.

Materials and Methods: SNAP-II and SNAPPE-II risk prediction models were used to estimate the mortality probabilities of 864 infants hospitalized in the Neonatal Intensive Care Unit of Çukurova University Medical Faculty Balcalı Hospital between July 2013 and 2015.

Results: The Brier Score of the SNAP-II risk prediction model was found to be 0.076 and the Nagelkerke R² to be 0.479. The ROC-AUC value was 0.885 (CI: 0.851-0.919). The cutoff point was determined as 14.50. The p value of the Hosmer-Lemeshow test was found to be 0.619 (χ²=6.249). While the Brier score of the SNAPPE-II risk prediction model was 0.056, the Nagelkerke R² value was 0.619. The ROC-AUC value was 0.921 (CI: 0.890-0.953). The cutoff point was determined as 26.50 The p value of the Hosmer-Lemeshow test was found to be 0.968 (χ²=2.338).

Conclusion: Both SNAP-II and SNAPPE-II risk prediction models have high model performance. In addition, it was found that the SNAPPE-II risk prediction model was superior to SNAP-II in terms of overall performance, discrimination ability and calibration.

Giriş

Risk değerlendirmesi, modern klinik ve koruyucu hekimlik uygulamalarında önemli bir rol oynar. Yaşam şekli, genetik yatkınlık ve yaş gibi faktörler bir hastalığın gelişme riskini etkilemektedir. Bu risk faktörlerini içeren risk tahmin modellerinin geliştirilmesi istatistiksel bir süreçtir [1]. Tanı ve prognoz için en sık kullanılan lojistik risk tahmin modellerinin performansının değerlendirilmesinde kullanılan yöntemler önem kazanmıştır. Bir tahmin modeli kurulduktan sonra bu kurulan modelin tahminlerde nekadar iyi olduğunun ölçülmesi modelin performans ölçütlerine bağlıdır. Performans değerlendirmesinde kullanılan geleneksel ölçüm yöntemleri; genel model performansının değerlendirilmesinde açıklanan varyasyon (R²) katsayısı ve Brier skor, ayırım yeteneğinin testi için ROC eğrisi altında kalan alan değeri ve son olarak da kalibrasyon için uyum iyiliği istatistikleri kullanılmaktadır [2].

Genel Performansın Değerlendirilmesi: Modelin genel performansının değerlendirilmesinde tahmin edilen değer ile gerçek değer arasındaki farkın incelenmesi merkezi bir role sahiptir. Sürekli ölçümlü çıktılara sahip modellerde bu değerlendirme(Y-Ý) farkına dayanmaktadır. İkili çıktılı modeller için Y, (0,1) aralığında tanımlanmaktadır ve tahmin edilen olasılığa yani p’ye eşittir. Bu gözlenen ve tahmin edilen değerler arasındaki fark, “modelin uyum iyiliği” prosedürü ile sınanmaktadır. İyi bir model için bu fark minimum seviyelerde olması gerekmektedir [3].

Açıklanan varyasyon (R²), sürekli ölçüme sahip sonuç değişkenli modellerin performanslarının değerlendirilmesi için kullanılmaktadır [4]. Genelleştirilmiş doğrusal modellerde artık varyanslarını belirlemek oldukça zor bir süreçtir ve bu modeller maksimum olabilirlik yaklaşımına dayanmaktadır [5]. Bu nedenlerle, Cox-Snell ve Nagelkerke tarafından iki farklı R² yaklaşımı geliştirilmiştir. Nagelkerke R², Cox ve Snell tarafından geliştirilen R2 yaklaşımının düzeltilmiş halidir. R² istatistiği, bir uyum iyiliği ölçütü değildir. Bu istatistik “Açıklayıcı değişkenlerin, cevap değişkenini ne kadar açıklayabildiğinin” bir katsayısıdır ve etki büyüklüğünün ölçüsü olarak da tanımlanabilmektedir [6].

Brier skoru, kuadratik skorlama yöntemine dayanan bir yaklaşımdır. Bu istatistik değeri, ikili sonuç değişkeni olan Y ve tahmin edilen p arasındaki farkın karesi ((Y-p)²) esasına dayanır. Brier skor 0 ile 0.25 aralığında değer aldığında iyi bir model çıkarsaması yapılırken 0.50 dolaylarında değer olması modelin bilgi içermeyen bir model olduğu sonucuna varılmasını sağlar [7].

Ayırım Yeteneğinin Değerlendirilmesi: Vaka ve kontrol dağılımları arasındaki farkın belirlenmesine yönelik olarak kullanılan yaklaşım ROC eğrisi altında kalan alanın (AUC) belirlenmesidir [8]. ROC, duyarlılık ve (1-seçicilik) eksenlerine sahip ve muhtemel tüm c kesim noktaları için çizilen bir eğridir [9]. AUC değerinin hesaplanabilmesi için parametrik, semi-parametrik ve parametrik olmayan yaklaşımlar olmak üzere 3 yaklaşım söz konusudur. Parametrik metotta, “hastalığı olan ve olmayan bireyler kendi içlerinde çok değişkenli normal dağılım gösteriyor” varsayımı aranır. Semi-parametrik yaklaşımda çok değişkenli normal dağılım varsayımı aranmaksızın risk skorlarının monoton dönüşümleri üzerinden AUC değeri hesaplanmaktadır. Yapılan monoton dönüşümle hasta ve sağlam kategorilerine ait risk skorları normal dağılıma dönüştürülür. Bu nedenle semi-parametrik yaklaşımla AUC değerinin hesaplanması “bi-normal AUC” olarak da adlandırılmaktadır. Parametrik olmayan yaklaşımla ise AUC değerinin yansız tahmin edicisi Mann-Whitney istatistiğine dayanır [10].

Kalibrasyonun Değerlendirilmesi: Kalibrasyon genel bir tanım ile gözlem değerleri ile tahmin değerleri arasındaki farkın ölçümüdür. Kalibrasyonu grafiksel olarak değerlendirmek mümkündür. Bu grafik, x ekseninde tahmin değerleri y ekseninde gözlem değerleri yer alan ve serpme (scatter) grafiği ile aynı görsele sahip olan bir grafiktir. İyi bir tahmin modelinde kalibrasyon eğrisi 45 derecelik bir eğime sahip olmalıdır. İkili sonuç değişkenine sahip modellerde bu eğrinin y ekseni sadece 0 ve 1’lerden oluşacaktır. Bu durumda, gözlem değerlerinin tahmininde Loess algoritmasına dayanan Smoothing tekniği kullanılır [11].

Kalibrasyonun test prosedürü için Hosmer-Lemeshow istatistiği kullanılmaktadır. Hosmer-Lemeshow istatistiği H0 hipotezi altında grup sayısı eksi 2 serbestlik dereceli ki-kare dağılımı göstermektedir (χ²(g-2)). Yapılan simülasyon çalışmalarıyla grup sayısının 10 olarak alınmasının uygun olacağı gösterilmiştir. Ancak bu test yöntemi birey sayısına (n) bağlı olduğu için bazı sınırlamalar içermektedir. Yani n yeteri kadar büyük ise sonuç istatistiksel olarak anlamlı n küçük ise anlamsız olarak bulunacaktır [8].

Bu çalışmada, ikili yanıt değişkenine sahip risk tahmin modellerinin performansını değerlendirmek için kullanılan performans ölçütlerinin, SNAP-II ve SNAPPE-II risk skorları için değerlendirilmesi amaçlanmaktadır.

Gereç ve Yöntem

Araştırma ve Yayın Etiği: Çalışmaya Çukurova Üniversitesi Tıp Fakültesi Girişimsel Olmayan Klinik Araştırmalar Etik Kurulu onayı (04.09.2015-2015/45 nolu) alındıktan sonra başlandı.

Veri seti, Çukurova Üniversitesi Tıp Fakültesi Balcalı Hastanesi’nin Yeni Doğan Yoğun Bakım Ünitesine, 2013-2015 Temmuz yılları arasında yatırılan tüm bebekleri içermektedir. Çalışma toplam 1281 yeni doğanı içermektedir. Yirmi dört saat içinde ölen veya taburcu edilen, yaşamla bağdaşmayan konjinetal malformasyonu olan, çalışma protokolü eksik bilgiler nedeniyle tamamlanamayan ve hasta dosyalarına ulaşılmayan yeni doğanlar çalışmaya alınmamıştır. Bu dışlama kriterleri nedeniyle çalışmaya 864’lük veri seti ile devam edilmiştir. Çalışmaya alınan gözlem sayısı; I. Tip hata miktarı (alfa) 0.05, testin gücü (1-beta) 0.8, fark değeri 0.07 ve alternatif hipotez (H1) iki yönlü iken ROC-AUC analizi kullanılarak anlamlı bir fark bulunabilmesi için gerekli olan minimum örneklem büyüklüğü yatış sonlanma durumunun hayatta olduğu grup için 588, ölü grubu için 98 olmak üzere toplamda 686 gözlem olmalıdır [12]. Minimum örnek büyüklüğünün sağlanması ve 2013-2015 yılları arasındaki tüm dahil etme kriterlerine uyan yeni doğanların çalışmaya dahil edilebilmesi adına toplam 864 hasta çalışmaya alınmıştır. Risk tahmin modeli olarak SNAP-II ve SNAPPE-II kullanılmıştır. SNAP-II ve SNAPPE-II yeni doğan yoğun bakım ünitesine yatırılan bebeklerin ölüm olasılıklarını hesaplamak için kullanılmaktadır. SNAP-II risk tahmin modeli; kan basıncı, vücut ısısı, PO2/FiO2, serum pH'ı, çoklu nöbetler ve idrar çıkışı bilgilerini içermektedir. SNAPPE-II, SNAP-II modeline doğum ağırlığı, gestasyonel yaşa göre küçük olma durumu ve 5 dakikalık Apgar skoru dahil olmak üzere 3 parametre daha ekler. Yüksek SNAP-II veya SNAPPE-II skorları, yenidoğanın daha ağır hasta olduğunu gösterir [13].

İstatistiksel değerlendirme, R 3.2.1 paket programı kullanılarak yapıldı. Kategorik ölçümler sayı ve yüzde olarak, sürekli ölçümlerse ortalama ve standart sapma olarak özetlendi. Kategorik ölçümlerin yatış sonlanma grupları ile karşılaştırılmasında ki-kare test istatistiği kullanıldı. Sürekli ölçümlerin normal dağılım varsayımını sağlayıp sağlamadığı Kolmogrov Smirnov testi ile test edildi. Yatış sonlanma grupları arasındaki sayısal ölçümlerin karşılaştırılmasında bağımsız gruplarda t-testi kullanıldı. Tüm testlerde istatistiksel önem düzeyi 0.05 olarak alındı. SNAP-II ve SNAPPE-II risk skorlarının genel performansının değerlendirilmesi için Nagelkerke R² ve Brier Skoru kullanılırken ayırım gücünün değerlendirilmesinde ROC eğrisi ve bununla ilişkili olan AUC değeri ve güven aralıkları kullanılmıştır. Youden indeksi kullanılarak optimum kesim noktası belirlenmiş ve seçicilik, duyarlılık değerleri bu kesim noktasına göre saptanmıştır. Ayrıca uyum iyiliği ölçütü olan Hosmer-Lemeshow testi ile kalibrasyon değerlendirilmiştir.

Bulgular

İlk olarak yeni doğan yoğun bakım ünitesine yatırılan bebeklerin yatış sonlanma durumuna göre SNAP-II ve SNAPPE-II risk tahmin modellerini oluşturan faktörlere ve demografik özelliklerine bağlı tanımlayıcılar Tablo 1’de verilmiştir. 2013-2015 yılları arasında yatırılan bebeklerde ölüm olasılığı %14.6 olarak bulunmuştur.

SNAP-II Risk Tahmin Modelinin Performansının Değerlendirilmesi: Tek değişkenli analizde SNAP-II risk tahmin modelini oluşturan tüm bağımsız değişkenler ile yatış sonlanma durumu arasındaki ilişki istatistiksel olarak anlamlı bulunmuştur. Buradan hareketle çoklu lojistik regresyon analizi uygulanmış ve Tablo 2’deki sonuçlar elde edilmiştir.

SNAP-II risk tahmin modelinin genel performansını değerlendirmek için kullanılan yöntemlerden Brier Skoru 0.076 ve Nagelkerke R² 0.479 olarak bulunmuştur.

Ayırım yeteneğini değerlendirmek için kullanılan ROC-AUC değeri 0.885 (GA: 0.851-0.919)’dir (p<0.001) (Şekil 1). Kesim noktası 14.50 olarak belirlenmiş ve bu noktadaki seçicilik 0.725, duyarlılık 0.897 ve doğruluk 0.750 olarak elde edilmiştir.

Kalibrasyonu değerlendirmek için kullanılan Hosmer-Lemeshow testinin p değeri 0.619 (χ²=6.249) olarak bulunmuştur. Yani gözlem değerleri ile tahmin değerleri arasındaki fark istatistiksel olarak anlamlı değildir. Elde edilen kalibrasyon eğrisi Şekil 2’de verildiği gibidir.

Tahmin edilen risk değerlerinin hayatta kalan ve kalamayan bebeklerdeki risk skorlarının dağılım yüzdelerini gösteren risk dağılım grafiği Şekil 3’te verildiği gibidir.

SNAPPE-II Risk Tahmin Modelinin Performansının Değerlendirilmesi: SNAP-II risk tahmin modeline eklenen 3 adet perinatal risk faktörleri ile SNAPPE-II risk tahmin modeli elde edilir. SNAP-II risk skorları ve bu 3 adet perinatal risk faktörünü içeren lojistik regresyonla tahmin değerleri elde edilmektedir. Buradan hareketle, doğrusal regresyona dayanarak elde edilen 3 değişkene ait katsayı tahminleri ve risk skorları Tablo 3’te verildiği gibidir.

SNAPPE-II risk tahmin modeline ait Brier skoru 0.056 iken Nagelkerke R2 değeri 0.619 olarak bulunmuştur. Ayırım yeteneğini değerlendirmek için kullanılan ROC-AUC değeri 0.921 (GA: 0.890-0.953)’dir (p<0.001) (Şekil 4). Kesim noktası 26.50 olarak belirlenmiş ve bu noktadaki seçicilik 0.877, duyarlılık 0.857 ve doğruluk 0.874 olarak elde edilmiştir.

Hosmer-Lemeshow testinin p değeri 0.968 (χ²=2.338) olarak bulunmuştur. Yani gözlem değerleri ile tahmin değerleri arasındaki fark istatistiksel olarak anlamlı değildir. Elde edilen kalibrasyon eğrisi Şekil 5’te verildiği gibidir.

Tahmin edilen risk değerlerinin hayatta kalan ve kalamayan bebeklerdeki risk skorlarının dağılım yüzdelerini gösteren risk dağılım grafiği Şekil 6’da verildiği gibidir.

Tartışma

Risk tahmin modelleri, klinik olarak karar verme sürecinde sıklıkla kullanılan bir istatistiksel modelleme tekniğidir [14]. Tahmin modelleri, çeşitli belirteçlerden gelen bilgileri birleştiren istatistiksel bir süreçtir. Yaygın model türleri arasında lojistik regresyon modelleri, Cox orantılı tehlike modelleri ve sınıflandırma ağaçları bulunur. Her model türü, her bir birey için modeldeki bilgileri kullanarak tahmini bir risk üretir [15]. Karar verme sürecinde kullanılan risk tahmin modellerinin tahminlerde ne kadar iyi olduğunun ölçülmesi ise modelin performans ölçütlerine bağlıdır. Performans değerlendirmesinde kullanılan geleneksel ölçüm yöntemleri; genel model performansının değerlendirilmesinde açıklanan varyasyon (R²) katsayısı ve Brier skoru, ayırım yeteneğinin testi için ROC eğrisi altında kalan alan değeri ve son olarak da kalibrasyon için uyum iyiliği istatistikleri kullanılmaktadır [4]. Bu performans ölçütleri (Brier skoru hariç) ne kadar yüksek ise modelin performansı o kadar iyidir.

İç içe olmayan risk tahmin modellerinde skor tahminlerinin uygun puanlama kuralları ile elde edilmesi literatürde kullanılan yöntemler arasındadır. Örneğin, Breiman [16] çalışmasında lojistik regresyondan türetilen bir prognostik modeli rastgele ormandan türetilen başka bir modelle karşılaştırmıştır. Başka bir çalışmada Bartfay ve ark. [17] sinir ağı modellerini lojistik regresyon modelleriyle karşılaştırmak için Brier skorunu ve AUC'yi kullanmıştır. Son olarak, Bernardo ve Smith [18] makalelerinde Bayesci çıkarsama yöntemleri ile skor puanlamaları hesaplamıştır. Makine öğrenme algoritmaları, model karşılaştırmasından ziyade model oluşturma sürecidir [19].

Bu çalışmada, risk tahmin modeli olarak SNAP-II ve SNAPPE-II modelleri kullanılmıştır. Bu iki model, klinik karar vermede halihazırda kullanılır ve lojistik regresyon modellemesine dayanır. Bu çalışmada amaç; model oluşturma sürecinden ziyade model performans karşılaştırma yöntemlerini ortaya koymak ve SNAP-II, SNAPPE-II modellerinin birbirleri ile karşılaştırmaktır. SNAP-II ve SNAPPE-II risk tahmin modellerinin kalibrasyonunu değerlendirmek için kullanılan Hosmer Lemeshow uyum iyiliği testinin p değeri literatüre paralel olarak anlamsız bulunmuştur. Yani gözlem değerleri ile beklenen değerler arasındaki fark istatistiksel olarak anlamlı değildir. Bununla beraber bu modellerin genel performansını değerlendirmek için Nagelkerke R2 ve Brier skoru kullanılmıştır.

SNAP-II için literatürde bulunan ROC eğrisi altında kalan alan değeri 0.82 (GA:0.68-0.95) [20] olarak bulunurken çalışmada bu değer 0.885 (GA: 0.851-0.919) olarak elde edilmiştir. Ayrıca kesim noktası 14.50 olarak belirlenmiş ve bu noktadaki seçicilik 0.725, duyarlılık 0.897 ve doğruluk 0.750 olarak elde edilmiştir. SNAPPE-II risk tahmin modeli için ise 0.84 ile 0.92 arasında değişen bir ROC eğrisi altında kalan alan değeri söz konusu iken çalışmada bu değer 0.921 (GA: 0.890-0.953)’dir [13]. Richardson ve ark. [21] çalışmalarında AUC değerini 0.91, Zupanic ve ark.(22) 0.90, Mia ve ark.[23] ise 0.863 olarak elde etmiştir. Ayrıca SNAPPE-II için kesim noktası 26.50 olarak belirlenmiş ve bu noktadaki seçicilik 0.877, duyarlılık 0.857 ve doğruluk 0.874 olarak elde edilmiştir. SNAPPE-II’nin kesim noktası literatürde 13.5 iken seçicilik 0.63 ve duyarlılık 0.67 şeklindedir [24]. SNAPPE-II risk tahmin modelinin tüm performans ölçütlerine göre daha iyi bir performansa sahip olduğu elde edilmiştir.

İleri çalışmalarda, modelleme tekniği olarak lojistik regresyon modellemesi ile birlikte makine öğrenme algoritmalarının karşılaştırılması önerilebilir. Bu sayede model skorları farklı yöntemlerle elde edilir ve karşılaştırmalar yapılabilir. Ayrıca risk tahmin modellerinin performans değerlendirmesine ilişkin literatürde sağkalım sürelerini dikkate alacak şekilde geliştirilen Cox orantılı hazard modelleri ve makine öğrenme yöntemleri mevcuttur.

Sonuç olarak lojistik regresyon, risk faktörlerine bağlı tahmin modellerinde en sık karşılaşılan modellemelerden biridir. Bunun nedeni risk tahmin modellerinin genel amacı hastalığı, ölümü vs. gibi durumları etkileyen faktörleri ortaya koymak ve gerekli koruyucu önlemleri almaktır. Bu nedenle en uygun modelin belirlenmesi ve kurulan modelin performansının değerlendirilmesi gerekmektedir. Modelin iyi bir performansa sahip olabilmesi için açıklanan varyasyonun, ayırım gücünün ve kalibrasyon yeteneğinin yüksek olması ve bu özelliklerin istatistiksel olarak geçerli olması gerekmektedir.

Model performansının değerlendirilmesi için kullanılan yöntemlere göre elde edilen bulgular ışığında, SNAPPE-II risk tahmin modelinin genel performans, ayırım yeteneği ve kalibrasyon bakımından SNAP-II’den daha iyi olduğu elde edilmiştir.

References

1. Demler OV. Impact of new variables on discrimination of risk prediction models. PhD. thesis, Boston: Boston University, Boston University Theses & Dissertations, 2012.
2. Bedogni G, TSYBAkOV A, Berlin S. Clinical prediction models-a practical approach to development, validation and updating. Development 2009; 18: 53.
3. Gu W. Evaluating risk prediction markers and models: University of Washington; 2009.
4. Steyerberg EW, Vickers AJ, Cook NR, et al. Assessing the performance of prediction models: A framework for some traditional and novel measures. Epidemiology (Cambridge, Mass) 2010; 21: 128.
5. Nagelkerke NJ. A note on a general definition of the coefficient of determination. Biometrika 1991; 78: 691-692.
6. Bewick V, Cheek L, Ball J. Statistics review 14: Logistic regression. Critical Care 2005; 9:1-7.
7. Zou KH, O’Malley AJ, Mauri L. Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models. Circulation 2007; 115: 654-657.
8. Pepe, M. S., & Janes, H. (2013). Methods for Evaluating Prediction Performance of Biomarkers and Tests. Springer New York eBooks.
9. Pepe MS. An interpretation for the ROC curve and inference using GLM procedures. Biometrics 2000; 56: 352-359.
10. DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics 1988: 837-845.
11. Alonzo TA. Clinical prediction models: A practical approach to development, validation, and updating: By Ewout W. Steyerberg. Oxford University Press 2009.
12. Arslan AK, Yaşar Ş, Çolak C, Yoloğlu, S. WSSPAS: An ınteractive web application for sample size and power analysis with R using shiny. Turkiye Klinikleri Journal of Biostatistics 2008; 10: 224-246.
13. Richardson DK, Corcoran JD, Escobar GJ, Lee SK. SNAP-II and SNAPPE-II: Simplified newborn illness severity and mortality risk scores. The Journal of Pediatrics 2001;138: 92-100.
14. Mühlenbruch K, Heraclides A, Steyerberg EW, et al. Assessing improvement in disease prediction using net reclassification improvement: Impact of risk cut-offs and number of risk categories. European Journal of Epidemiology 2013; 28: 25-33.
15. Janes H, Pepe MS, Gu W. Assessing the value of risk predictions by using risk stratification tables. Annals of Internal Medicine 2008; 149: 751-760.
16. Breiman L. Statistical modeling: The two cultures (with comments and a rejoinder by the author). Statistical Science 2001;16:199-231.
17. Bartfay E, Mackillop W, Pater J. Comparing the predictive value of neural network models to logistic regression models on the risk of death for small‐cell lung cancer patients. European Journal of Cancer Care 2006;15:115-124.
18. Bernardo JM, Smith AF. Bayesian theory: John Wiley & Sons; 2000.
19. Gerds TA, Cai T, Schumacher M. The performance of risk prediction models. Biometrical Journal: Journal of Mathematical Methods in Biosciences 2008; 50: 457-479.
20. Sundaram V, Dutta S, Ahluwalia J, Narang A. Score for neonatal acute physiology II predicts mortality and persistent organ dysfunction in neonates with severe septicemia. Indian Pediatrics 2009; 46: 775-780.
21. Richardson DK, Phibbs CS, Gray JE, et al. Birth weight and illness severity: independent predictors of neonatal mortality. Pediatrics 1993; 91: 969-975.
22. Zupancic JA, Richardson DK, Horbar JD, et al. Revalidation of the score for neonatal acute physiology in the Vermont Oxford Network. Pediatrics 2007; 119: e156-e163.
23. Mia R, Etika R, Harianto A, et al. The use of score for neonatal acute physiology perinatal extention II (SNAPPE II) in predicting neonatal outcome in neonatal intensive care unit. Paediatrica Indonesiana 2005; 45: 241-245.
24. Asker H, Satar M, Yapicioglu Yildizdas H, et al. Evaluation of score for neonatal acute physiology and perinatal extension II and clinical risk index for babies with additional parameters. Pediatrics International 2016; 58: 984-987.