بسم الله الرحمن الرحيم

تقييم اختبارات التشخيص بأستعمال منحنى الخاصية العملياتية للمستقبل Receiver Operation Characteristic Curve (ROC Curve) أ.م.د. فراس رشاد عبداللطيف فرع الصحة العامة البيطرية كلية الطب البيطري/ جامعة بغداد

المقدمة يعد البحث العلمي من اهم الركائز الاساسية لتقدم العلوم المختلفة، وان الكثير من البحوث العلمية لاسيما البايولوجية تحتاج الى استعمال تقانات حديثة فضلا عن استعمال طرق احصائية حديثة لغرض التوصل الى نتائج واستنتاجات وتوصيات ذات قيمة علمية وعملية. وهذان العاملان مترابطان الا اننا وفي كثير من الحالات يتعذر علينا استعمال احدهما او كليهما. اما بسبب عدم توفر الاجهزة الحديثة او بسبب عدم معرفة الباحثين بطريقة تشغيلها في حالة توفرها. ان عدم المامنا بالبرامج الاحصائية فضلا عن عدم وجود الكثير منها سيضاعف من التأثير السلبي مما يؤدي الى انتاج بحوث علمية ذات مستوى متواضع. ان مواكبة التطور العلمي امرا ضروريا وملحا وان عدم امكانية استعمال التقانات وطرق الاحصاء الحديثة يستوجب كحد ادنى التعرف عليها.

تشخيص المرض يعد موضوع تشخيص الامراض وعلاجها موضوعا مهما جدا لعلاقته بحياة الانسان لذا فأن دقة التشخيص امر مهم لانه يعني فعالية اكثر للعلاج واحتمال اكبر للشفاء. ان نجاح العلاج في الكثير من الامراض يعتمد الى حد كبير على صحة التشخيص اي امكانية الطبيب في تحديد المرض اعتمادا على الاعراض السريرية ونتائج الاختبارات ، اذ ان التشخيص بالاعتماد على الاعراض السريرية قد لايكون كافيا للطبيب ليقرر وجود المرض والبدء بالعلاج او نفي وجوده وانما قد يحتاج الى اختبارات ليقرر بموجبها وجود المرض من عدمه وتتجسد اهمية الاختبارات في الحالات المرضية تحت السريرية Sub clinical التي يكون للأختبار دورا حاسما في تقرير وجود المرض من عدمه.

تصنيف الاختبارات الطبية صنف الباحثان Zweig and Campbell 1993)) الاختبارات الطبية الى اربعة انواع: 1 - قيم الاختبار Test values)) وهي الاختبارات التي يراد منها معرفة قيم مقياس ما لدى المرضى والاصحاء. 2- الاستبدال ( Replacement) : عند المقارنة بين اختبارين لغرض تحديد الافضل. 3- تكميلي Completing)) هو اختبار اضافي يكمل الاختبار الرئيسي لتشخيص المرض عند وجود اعراض متشابهة بين مجموعة من الامراض ويكون الهدف الرئيسي من الاختبار التكميلي هو نفي وجود مرض ما وليس تأكيد وجوده. 4- الغاء (Elimination): بعض الاختبارات ذات دقة قليلة مما يستوجب اهمالها بعد التأكد من انخفاض دقتها.

اختبارات التشخيص تتضمن قيمة محددة (Cut off point) لغرض التمييز بين المرضى والاصحاء فمثلا هناك مستوى معين للثايروكسين للكشف عن قصور الدرقية او حد معين للبروجستيرون للكشف عن الحمل او حد معين ﻟﻟ LDL للكشف عن تصلب الشرايين او حد معين للسكر في الدم للكشف عن الاصابة بالسكري وغيرها في الكثير من الاختبارات.

كيف تم تحديد هذه المستويات وهل هناك اساس احصائي لها ومتى يمكن اعتبارها مقياسا عاما ؟

هنالك العديد من الفحوصات المختبرية وهي تختلف في دقتها ومن اهم معايير الدقة الحساسية ( Sensitivity) والنوعية ( Specificity) لذا فأن حسابهما يعد امرا ضروريا لان كلا المقياسيين يصفان قدرة الفحص على تمييز الحالة او المرض. تمثل الحساسية لفحص ما نسبة عدد المرضى الذين اعطوا اختبارا موجبا بذلك الفحص من العدد الكلي للمرضى. فيما تمثل النوعية نسبة عدد الافراد الاصحاء الذين اعطوا اختبارا سالبا من المجموع الكلي للأصحاء. ان تحديد الحساسية والنوعية لاي فحص جديد يجب ان يسبقه فحص اولي يجرى على مجموعة من الافراد ليتم تصنيفهم وفقا لهذا الفحص الى مرضى واصحاء وهذا الفحص يسمى الفحص الذهبي ( (Golden test ثم نطبق الفحص الجديد على المجموعة نفسها لمعرفة مدى تطابق نتائجه مع الفحص القياسي.

اذا كان هناك فحص ذهبي ويعطي نتائج دقيقة لماذا نحاول اختبار فحوصات اخرى؟

هنالك العديد من الاختبارات الذهبية التي تختلف حسب نوع المرض فقد تكون باهضة الثمن او تتضمن عدة فحوصات او تتضمن تشريح جثة او اخذ خزعة او اجراء جراحة لذا فأن البحث عن فحوصات سريعة وبكلفة اقل وعملية وذات نتائج مناسبة امرا ضروريا. ان التعرف على كفاءة الاختبار الجديد تتضمن تنفيذ الاختبار على مجموعة من المرضى والاصحاء جرى تشخيصهم وفق الاختبار الذهبي ومن ثم ترتيب النتائج المتحصل عليها من الاختبار الجديد والتي ستشتمل على اربعة حالات: اختبار موجب صحيح اختبار موجب كاذب اختبار سالب صحيح اختبار سالب كاذب

Threshold Negative Without disease Positive With disease 120

Threshold Positive Negative Positive Negative Test Result

Some definitions Positive Negative True Positive True Positive

Negative Positive False Positive Test Result

Positive Negative True Negative Test Result

Negative Positive False Negative Test Result

Disease Present Absent Test Positive a TP b FP a+b Test Negative c FN d TN c+d a+c b+d a+b+c+d مقاييس دقة الفحوصات الطبية 1- الحساسية والنوعية وتحسب كالآتي: Sensitivity = a/(a+c) or True Positive Rate (TPR) Specificity = d/(b+d) or True Negative Rate (TNR)

(NPV) Negative Predictive Value Positive Predictive Value ( PPV) PPV= a/(a +b) ويمثل درجة احتمالية ان يكون الاختبار الموجب صحيحا. 2- b- تقدير القيمة التنبؤية السالبة (NPV) Negative Predictive Value NPV= d/(c + d) وتمثل درجة احتمالية ان يكون الاختبار السالب صحيحا

3- النسبة الاحتمالية Likelihood Ratio ( LR) LR+ = Sensitivity / (1 – Specificity ) ب- الاختبارات السالبة ويسمى ( LR – ). LR – = (1 – Sensitivity)/Specificity ان قيمة LR+ اكثر اهمية اذ ان زيادة قيمة LR+ عن 10 تعطي مؤشرا اعلى عن مصداقية الاختبار الموجب . بصورة عامة فأن الاختبار المناسب تكون فيه قيمة LR+ عالية وقيمة LR - تتراوح من 0 الى 1.

الاختبارات الاحصائية لفحوصات التشخيص ان الفحوصات التي تجرى للكشف عن المرض او الحالة (سليم ، عقيم) (حامل ، غير حامل) هي متغيرات تكون اما ثنائية Binaryاو ذات ترتيب Ordinal او مستمرة Continuous تصف متغير اخر ثنائي في اغلب الاحيان، فمثلا تمثل عملية جس الرحم طريقة للتنبوء بالحمل وهي ثنائية (حامل او غير حامل) وتمثل تشخيص الورم (مؤكد حميد واحتمال حميد وممكن خبيث واحتمال خبيث ومؤكد خبيث) متغير ذوترتيب فيما تمثل تراكيز مختلفة من هرمون البروجستيرون متغير مستمر لتشخيص الحمل. يمكن المقارنة بين فحصين باستعمال اختبارين احصائيين:

عند اجراء الفحوصات على مجموعتين مستقلتين من الافراد تتضمن كل منها مرضى واصحاء فالاختبار الاحصائي المناسب في حالة المقارنة بين المتوسطات هو Unpaired t-test وفي حالة النسب هو Chi-Square Test او Fisher's Exact Test وهو يمثل حالة خاصة لاختبار النسب اذعندما يكون عدد المشاهدات في الخلايا أقل من 5 فأن اختبار مربع كاي يكون اختبار غير مناسب ويفضل اعتماد اختبار فيشر. عند اجراء كلا الفحصين على المجموعة نفسها فأن الاختبار الاحصائي المناسب سيكون في حالة المقارنة بين المتوسطات Paired t-test وفي حالة النسب McNemar Test .

رغم ان الفحوصات لاتميز بين الأصحاء والمرضى تمييزا كاملا مهما كان نوع المتغير المستعمل في الفحص ثنائي او مرتب او مستمر الا ان ذلك لاينفي اهميتها الكبيرة قي التشخيص. ان عدم التمييز يعود الى حصول تداخل (Overlap) بين الاصحاء والمرضى في قيمة العامل المستعمل لتشخيص المرض بحيث يكون فيها الفحص غير قادر على التمييز بينهما وكما اوضحناه سابقا. ويبقى هنا السؤال المهم كيف نحدد افضل نقطة قطع؟

Positive Negative Positive Negative Threshold Test Result

Moving threshold to the right increasing the sensitivity and false negative Positive Negative Positive False Negative Test Result

Moving threshold to the left increasing specificity and false positive Negative Positive Negative Positive False Positive Test Result

ان تحرك مستوى القطع الى اليمين والى اليسار يعني الحصول على عدة نقاط قطع الى اليمين والى اليسار وهذا يعني الحصول على حساسية ونوعية لكل نقطة قطع. الآن نحاول ان نرسم العلاقة بين الحساسية (True positive (rate وبين ( 1 – النوعية) ( False positive rate) بيانيا لكل نقاط القطع.

الخاصية العملياتية للمستقبل ROC Curve 100% A True Positive Rate (Sensitivity) 0% False Positive Rate 100% (1- Specificity)

ان التمثيل البياني للعلاقة بين الحساسية (المحور الصادي ) (True Positive) و قيم (1 – النوعية) (المحور السيني ) (False Positive) لجميع نقاط القطع تسمى طريقة الخاصية العملياتية للمستقبل ( Receiver Operation Characteristic) (ROC). تستعمل هذه الطريقة فقط للمتغيرات ذات الترتيب (الحد الادنى للفئات 5) والمتغيرات المستمرة لايجاد افضل نقطة قطع. جاءت النظرية اساسا من نظرية كشف العلامة "Signal Detection Theory" التي تم تطبيقها خلال الحرب العالمية الثانية لتحليل صور الرادار، فعمل الرادار يتضمن الكشف عن نوع الاشارة التي تظهرعلى الشاشة وتحديد هويتها كطائرة معادية او صديقة وطبقا لنظرية كشف العلامة يمكن قياس قابلية الرادار على التمييز بين انواع الاهداف ، وهو مايسمى الخاصية العملياتية للمستقبل ، ثم خضعت هذه النظرية للتطور ليجري حديثا استعمالها وعلى نطاق واسع في البحوث الطبية والبايولوجية والفسلجية.

Krzanowski and Hand ROC curves for continuous data/2009 Dates No. of articles Pre-1964 2 1964 − 67 7 1968 – 71 8 1972 – 75 9 1976 – 79 18 1980 – 83 29 1984 – 87 41 1988 – 91 192 1992 – 95 854 1996 – 99 1582 2000 − 03 2506 2004 – 07 4463

التطبيق العملي لطريقة ROCفي الدراسات البايولوجية في العراق ان التطبيقات العملية لهذه الطريقة لاتقتصر على تحديد افضل فحص للكشف عن مرض ما فحسب وانما يمكن استعمالها لتحديد افضل نقطة قطع للكثير من الاختبارات تحت ظروف العراق لندرة الدراسات في هذا المجال فمثلا يعد BMI ( الوزن/كغم/ مربع الطول /متر) مؤشر عن السمنة Obesity ومن ثم للتنبؤ بالسكري او ارتفاع ضغط الدم وقد وضعت منظمة الصحة العالمية الدرجة 30≤ للسمنة ونقطة القطع هذه وضعت وفقا لدراسات اجريت في اوربا وهي قد تختلف عما هو عليه في العراق. ان تحديد مستوى القطع لعدد الخلايا الجسمية في الابقار والجاموس والاغنام والماعز كمؤشر عن التهاب الضرع تحت السريري قد تم تحديده في الولايات المتحدة ومعظم دول اوربا. الا ان الحاجة تبقى قائمة لتحديد نقاط القطع لتلك الحيوانات تحت ظروف العراق.

Area Under Curve (AUC) ان المساحة تحت المنحنى (Area Under Curve) AUC تمثل افضل مقياس لدقة الاختبار، ويمكن الحصول على عدة اشكال من منحنيات ROC تتفاوت في درجة دقتها حسب نوع الفحص وتصنف حسب قيمها : 0.90 – 1.00 = excellent 0.80 – 0.90 = good 0.70 – 0.80 = fair 0.60 – 0.70 = poor 0.50 – 0.60 = fail

B AUC 90% A AUC 65% D AUC 100% C AUC 50% True Positive Rate False Positive Rate True Positive Rate 0% 100% False Positive Rate B AUC 90% A AUC 65% True Positive Rate 0% 100% False Positive Rate True Positive Rate 0% 100% False Positive Rate D AUC 100% C AUC 50%

المقارنة بين فحصين ان طريقة ROC توفر امكانية المقارنة بين اختبارين او اكثر اعتمادا على المساحة اسفل المنحنى AUC

95% CI SE AUC 0.676 to 0.802 0.0299 0.74 Test 1 0.729 to 0.846 0.0290 0.79 Test 2 0.0494 Difference between areas 0.0096 to 0.0891 95% CI 2.4390 Z Statistic P=0.0149 Significance level

تحديد افضل نقطة قطع للمنحنى هناك ثلاثة طرق لتقدير افضل قطع الا ان المستعمل منها في البحوث الطبية هي طريقتان : 1- تقدير ادنى مسافة بين الزاوية المقابلة للمنحنى والمنحنى d² = [(1 – SN)² + (1 – SP)²] 2- تقدير اقصى مسافة بين احدى نقاط المنحنى واحدى نقاط القطر. Youden Index J= Max (SN + SP – 1)

(0, 1) (1, 1) Minimum Youden Index (0, 0) (1, 0)

البرامج المستعملة في تقدير ROC توجد العديد من البرامج التي يمكن استعمالها لتقدير هذه الطريقة: 1- برامج احصائية جاهزة يمكن استعمالها SAS , MINITAB, SPSS, PRISM الا ان البرنامج MedCalc يعد من افضل هذه البرامج في تقدير هذه الطريقة واكثرها سهولة في التطبيق. 2- يوجد بحث للمقارنة بين 8 برامج Comparison of Eight Computer Programs for Receiver-Operating Characteristic Analysis للباحث Stephan et al., (2003) في مجلة Clinical Chemistry 39: 433 – 439.

مثال عن التطبيق العملي للخاصية العملياتية للمستقبل مثال عن التطبيق العملي للخاصية العملياتية للمستقبل

مثال: في دراسة لتقييم طريقة الكشف عن قصور الدرقية اعتمادا على مستوى T4 في مجموعة من الافراد ( 125 فرد) خضعوا الى اختبار قياسي وتم تشخيص المرضى (32) والاصحاء (93). ثم خضعوا الى فحص T4 المطلوب تحديد دقة هذا الاختبار وتحديد افضل مستوى للقطع؟ يمكن تحليل البيانات باستعمال برنامج MedCalc اذ يتم ترتيب البيانات متضمنة عمودين الاول ويحوي مستويات T4 ولتكن 5 او اقل والثانية اكبر من 5 ونثبت في العمود الثاني الرقم 1 للفرد الذي لديه قراءة 5 فأقل على انه مصاب و 0 للفرد الذي لديه قراءة اعلى من 5 على انه سليم اما العمود الاول فيشمل القيم 1 و 0 حسب الفحص الذهبي. نطبق نفس العملية بعد ان نعتمد على مستوى قطع 7 فأقل. نطبق نفس العملية بعد ان نعتمد على مستوى قطع 9 فأقل.

+ + 1 1 + + 1 1 + - 1 0 + - 1 0 + + 1 1 - - 0 0 - - 0 0 - + 0 1 - + 0 1 - + 0 1 Disease Present Absent Test Positive 3 TP FP 6 Test Negative 2 FN TN 4 5 10

Euthyroid Hypothyroid T4 value 1 FP 18 TP 5 or less 92 TN 14 FN 5.1 or more 93 32 يعني شخصنا 19 حالة منها 18 كانت موجبة صحيحة و 1 موجبة كاذبة و106 حالة سالبة منها 92 سالبة صحيحة و14 سالبة كاذبة Sensitivity=18/32=0.56 Specificity= 92/93=0.99

0.77 0.04 0.69 – 0.84 Area under the ROC curve (AUC) Standard Error 95% Confidence interval

Sensitivity=25/32=0.78 Specificity= 75/93=0.80 Euthyroid Hypothyroid T4 value 18 25 7 or less 75 7 7.1 or more 93 32 Sensitivity=25/32=0.78 Specificity= 75/93=0.80

0.80 0.04 0.72 – 0.86 Area under the ROC curve (AUC) Standard Error 95% Confidence interval

Sensitivity=29/32=0.90 Specificity= 39/93=0.42 Euthyroid Hypothyroid T4 value 54 29 9 or less 39 3 9.1 or more 93 32 Sensitivity=29/32=0.90 Specificity= 39/93=0.42

0.66 0.03 0.57 – 0.74 Area under the ROC curve (AUC) Standard Error 95% Confidence interval

Specificity Sensitivity T4 value 0.99 0.56 5 0.80 0.78 7* 0.42 0.90 9 J1=0.56+0.99 – 1=0.55 J2= 0.78+0.80 – 1= 0.76 J3=0.90+0.42 – 1= 0.32

تقدير ادنى مسافة عن المنحنى Min.=(0.45)² + (0.01)² = 0.2026 Min.=(0.22)² + (0.20)² = Min.=(0.10)² + (0.48)² = 0.2404 0.0884

يمكن تنفيذ التحليل لجميع نقاط القطع كما في الجدول ادناه: Euthyroid Hypothyroid T4 value 1 17 36 39 93 18 7 4 3 32 5 or less 5.1 – 7 7.1 – 9 9.1 or more Total

Criterion Sensitivity 95% CI Specificity Area under the ROC curve (AUC) 0.852 Standard Error 0.0449 95% Confidence interval 0.778 to 0.909 z statistic 7.852 Significance level P (Area=0.5) <0.0001 Criterion Sensitivity 95% CI Specificity < 5 0.00 0.0 - 10.9 100.00 <=5 56.25 37.7 - 73.6 98.92 <=7 * 78.12 60.0 - 90.7 80.65 <=9 90.62 75.0 - 98.0 41.94 <=10 100.00 89.1 - 100.0 0.00

كيف تم تحديد المستويات الخاصة بقيم الاختبارات المستعملة واعتبرت مقياسا عاما وهل هناك اساس احصائي لها؟

Meta-Analysis Method اساس عمل هذه الطريقة يتضمن اعتماد عدة بحوث اجريت لدراسة نفس العامل وتحت نفس الظروف واجراء تعديل لنتائج كل دراسة اعتمادا على مقياس معين مثل حجم العينة ومن ثم الخروج بنقطة قطع موحدة لتكون مقياسا عاما.

شكرا لأصغائكم