«ارزیابی نقادانه» چیست و چگونه انجام میشود؟

مقدمه:

«ارزیابی نقّادانه» که در فارسی معادل واژه Critical Appraisal ترجمه شده و در متون علمی مورد استفاده قرار میگیرد، یک فرایند نظام مند یا ساختار یافته است که برای شناسایی نقاط قوت و ضعف یک پژوهش / مقاله، با هدف ارزیابی مفید بودن و اعتبار یافته های آن پژوهش، بکار میرود.
هر چند این ترم یا اصطلاح امروزه کاربردها و استفاده های بسیار گسترده و متعددی دارد، لیکن اگر به تاریخچه استفاده از این واژه توجه کنیم، این اصطلاح همزمان با ایجاد و توسعه نهضت «پزشکی مبتنی بر شواهد» یا Evidence-Based Medicine (EBM) در جهان علم آغاز گردید و بتدریج یه یکی از مولفه های اصلی این نهضت تبدیل گردید. با ایجاد و توسعه مطالعات مرور سیستماتیک و متاآنالیز، کاربرد این واژه بیشتر نیز شد.
امروزه مهارت «ارزیابی نقّادانه» یکی از مهارتهای اساسی پژوهشگران بوده و علی رغم استفاده گسترده این موضوع با هدفهای مختلف، لازم است تمامی پژوهشگران، حداقل مهارت انجام یک ارزیابی نقّادانه، در مقالات با زمینه موضوعی رشته خود را دارا باشند.
این مقاله با هدف آشنایی کاربران آمارافزار با این موضوع مهم در پژوهش نوشته شده و قصد دارد ضمن آشنایی محققین رشته های مختلف با فلسفه و هدف «ارزیابی نقّادانه»، سوالات اساسی مطروحه در این موضوع را نیز به این افراد معرفی نماید.

در این نوشتار، ابتدا با 10 سوال اساسی مطرح شده در فرایند «ارزیابی نقّادانه» آشنا شده و سپس مولفه های کلیدی یا مهم این فرایند را خواهید شناخت.

سوال 1) آیا سوال اصلی پژوهش در مقاله/ مطالعه حاضر، مرتبط یا Relevant است؟
مفهوم ساده تر این سوال این است که:
آیا سوال پژوهشی این مقاله، سوال درست و مناسبی است؟ آیا مرتبط با فیلد تحقیق نویسنده / محقق مطالعه میباشد؟
همانطور که میدانیم، چنانچه دقیقترین و قویترین متدولوژی را برای تحقیقی که بر اساس یک سوال پژوهشی غیرمرتبط، طراحی شده، پیاده کنیم، باز هم آن پژوهش ارزش عملی و کاربردی ندارد. البته باید به این نکته توجه نمود که معمولاً پاسخ به این سوال، ماهیت مرتبط با نظر و عقیده متخصصین و افراد خبره فیلد مورد نظر داشته (به عبارت دیگر subjective opinion بوده) و نمیتوان به صورت دیگری به این سوال پاسخ داد. بهترین فرد / افراد برای پاسخ دادن به این سوال، افراد خبره فیلد مورد نظر بوده و این افراد میتوانند با جستجو در منابع مرتبط با آن رشته یا فیلد علمی، مرتبط بودن سوال پژوهشی مطالعه / مقاله حاضر را ارزیابی نمایند.

سوال 2) آیا این مطالعه / مقاله، موضوع جدیدی را اضافه میکند؟
وقتی پاسخ این سوال مثبت است که یکی از موارد زیر در مطالعه / مقاله مورد ارزیابی، رخ دهد:
الف- مطالعه در یک زمینه موضوعی جدید (قبلاً مطالعه نشده یا کمتر مطالعه شده) باشد.
ب- مطالعه حاضر به افزایش قابلیت اعتماد یا Reliability، کمک نماید. به عنوان مثال مطالعه حاضر نسبت به متوسط مطالعات قبلی از حجم نمونه بزرگتری برخوردار است که میتواند به افزایش قابلیت اعتماد و یا محدود نمودن فاصله اطمینان برآورد/ برآوردها، منجر شود.
ج- مطالعه حاضر به افزایش اطمینان(Confidence)، یا همخوانی (Consistency) یافته های سایر مطالعات مرتبط، کمک نماید. میدانیم که برای اثبات علیّت، یکی از اصول نه گانه مرتبط با علت و معلول، ثبات یا همخوانی یافته های مطالعات مختلف مرتبط با یک موضوع است، پس اگر مطالعه تکرار نشود، ثبات یا همخوانی آن مشخص نخواهد شد.
د- مطالعه حاضر به افزایش قابلیت تعمیم (Generalization) مطالعات مرتبط قبلی کمک نماید. هر گاه یک مطالعه در گروههای جمعیتی مختلف (از نظر جغرافیای مختلف، نژادها یا قومیتهای متفاوت، گروههای سنی یا جنسی متفاوت و ...)، بخصوص آنهایی که تا قبل از آن، انجام نشده بود، اجراء شود، میتواند به افزایش قابلیت تعمیم مطالعه و یافته های آن، منجر گردد.
بدیهی است که چنانچه نتایج یک مطالعه/ مقاله، با یکی از موارد چهارگانه فوق منطبق نباشد، شاید دیگر نتواند ارزش افزوده یا Added value دیگری داشته باشد.

سوال 3) مطالعه حاضر، چه نوع یا قسمی از سوال پژوهشی را پاسخ میدهد؟ نوع سوال پژوهشی چیست؟
هر مطالعه / مقاله ای معمولاً یک نوع خاص از سوال پژوهشی را پاسخ میدهد، پس لازم است، مشخص نماییم که این سوال پژوهشی از چه گونه ای است. بطر معمول در پژوهشهای بالینی، به دو نوع سوال (البته در هر مطالعه، یکی از این دو نوع سوال)، پاسخ داده میشود:
الف- سوالات مرتبط با اثربخشی درمان: Efficacy, Effectiveness, Effect, …
ب- سوالات مرتبط با فراوانی یا وقوع یک بیماری یا واقعه مرتبط با سلامت و ...: De script ion, Exploration, Distribution, Prediction, ...
البته در سطح وسیعتر یا گسترده تر میتوان سوالات پژوهشی را به انواع توصیفی، مشاهده ای تحلیلی، اثربخشی، ارزش تشخیصی، مدلهای پیش بینی یا تصمیم گیری، مطالعات ثانویه و ...، طبقه بندی نمود. این طبقه بندی از طبقه بندی دو وضعیتی فوق، گسترده تر و کاربردی تر است.

سوال 4) آیا طراحی مطالعه بکار گرفته شده در این مقاله/ پژوهش، برای این سوال پژوهشی مناسب یا مرتبط است؟
برای پاسخ دادن به این سوال میتوانیم از هرم شواهد یا قدرت شواهد تولید شده در هر مطالعه، استفاده کنیم. البته در طبقه بندی دوم سوال قبلی، معمولاً یک ارتباط متناظر یک به یک، برای هر یک از انواع سوالات پژوهشی وجود دارد. یعنی به ازای هر سوال پژوهشی، نوع خاصی از طراحی مطالعه، مورد استفاده قرار میگیرد:
سوال توصیفی: مطالعه توصیفی، بخش توصیفی مطالعه مقطعی
سوال مشاهده ای تحلیلی: بخش تحلیلی مطالعه مقطعی، مطالعه مورد شاهدی، مطالعه کوهورت
سوال اثربخشی: کارآزماییهای بالینی فردی یا جامعه محور، در برخی شرایط که اجرای یک کارآزمایی ممکن نباشد، مطالعه کوهورت
سوال ارزش تشخیصی: مطالعه اعتبار یا ارزش تشخیصی یک تست یا آزمون
سوال پیش بینی یا تصمیم گیری: مطالعات مدلهای پیش بینی یا مطالعه اعتبارسنجی مدلهای پیش بینی یا مدلهای تصمیم گیری
سوال پژوهشی ثانویه: مطالعه مرور مرسوم (Traditional Review)، مرور روایتی (Narrative R.) یا مرور سیستماتیک (Systematic R.) و یا انواع بینابینی مطالعات مروری مانند Scoping R. یا Evidence Mapping و ...

سوال 5) آیا متدولوژی مطالعه/مقاله حاضر، منابع عمده و بالقوه سوگرایی یا Bias را در نظر گرفته است؟
سوگرایی میتواند در تمامی مراحل یک مطالعه اعم از طراحی، اجراء، جمع آوری داده ها و آنالیز آماری رخ دهد، بنابراین باید محقق/ محققین به موضوع سوگرایی در تمامی مراحل طراحی تا نگارش، فکر نموده و ملاحظات مختلف مرتبط با سوگرایی را در نظر بگیرند.
با توجه به گستردگی سوگراییها و انواع آنها و همچنین قابلیت استعداد رخداد سوگرایی در انواع مطالعات مختلف (در مطالعات مشاهده ای احتمال وقوع سوگرایی بیشتر از مطالعات مداخله ای است)، شاید بهترین ابزار و یا روش برای کنترل یا ارزیابی آن در انواع مقالات/ مطالعات پژوهشی، استفاده از چک لیستهای ارزیابی نقّادانه یا CAT باشد. در بین این ابزارها یا چک لیستها، قطعاً چک لیستهای CASP، کاملترین و معتبرترین ابزارهای ارزیابی نقّادانه میباشند.

سوال 6) آیا مطالعه/مقاله حاضر منطبق بر پروتکول اولیه یا original تدوین شده، میباشد؟
هر چند ممکن است در همه شرایط و برای تمامی انواع مطالعات، دسترسی به پروتکول اولیه برای ارزیابی کنندگان (نقد کنندگان) آنها وجود نداشته باشد، لیکن اهمیت وجود پروتکول انواع مطالعات در منابع در حال گسترش روزافزون بوده و برای دو نوع از انواع مطالعات (کارآزماییها و مرورهای سیستماتیک و متاآنالیزها)، تقریباً ثبت پروتکول در سامانه های اختصاصی ثبت و همچنین امکان انتشار مقالات مبتنی بر این پروتکولها، با هدف دسترسی عمومی به متن پروتکولهای تدوینی اولیه محققین این مطالعات، بوده و در این دو نوع مطالعه، میتوان بطور کامل متدولوژی را با پیش بینی مندرج در پروتکول، مقایسه نمود. البته در این سوال میتوان به اهمیت موضوعات Priori در مطالعات پژوهشی (بخصوص کارآزماییها) پی برد.
از منظر عملی و کاربردی در مطالعات مختلف میتوان برای موارد مهمی مانند حجم نمونه، تعداد و ماهیت تحلیلهای آماری زیرگروهها یا Sub-group analysis، تعداد متغیرهای مستقل مورد ارزیابی در آنالیزهای چند متغیره، مدت زمان پیگیری یا follow-up در مطالعات با رویکرد آینده نگر، تعداد مقایسه های بین گروهی در مطالعات با بیش از دو گروه تحت مطالعه و ... را بعنوان اصلی ترین و مهمترین موضوعاتی که مقایسه بین پیش بینی محققین با اقدام صورت گرفته در مقاله/ گزارش، اهمیت بیشتری نسبت به سایر موضوعات مرتبط با طراحی، اجراء و آنالیز آماری در مقاله دارد.
شواهد مورد ارزیابی نشان داده که در حدود یک سوم کارآزماییهای بالینی، به حجم نمونه تعریف شده (محاسبه یا برآورد شده) در پروتکول خود دست پیدا نکرده و حتی میزان حجم نمونه از 75 درصد حجم نمونه پیش بینی نیز کمتر بوده است.

سوال 7) آیا در این مطالعه/مقاله، حداقل یک فرضیه (هیپوتز) آزمون شده است؟
قطعاً باید در همه مطالعات (بجز مطالعات توصیفی)، حداقل یک فرضیه آماری مورد آزمون قرار گرفته باشد.

سوال 8) آیا روشهای آماری و همچنین آنالیزهای آماری انجام شده، صحیح یا درست میباشند؟
برای ارزیابی یا پاسخ دادن به این سوال باید به دو بخش آنالیز آماری (از زیربخشهای متد مقاله) و همچنین بخش یافته ها، در مقاله رجوع کنیم.
همانطور که میدانیم، بکارگیری روشهای آماری (آزمونهای آماری) مورد استفاده، وابسته به مولفه های زیر هستند:
الف- تعداد گروههای تحت مطالعه
ب- مستقل یا وابسته بودن انتخاب گروههای تحت مطالعه
ج- نوع متغیر/متغیرهای اصلی تحت مطالعه (کمّی، کیفی دو وضعیتی، کیفی رتبه ای و ...)
د- توزیع متغیر/ متغیرهای اصلی مطالعه
ه- تعداد سنجشها یا اندازه گیریهای انجام شده از متغیر/ متغیرها (یکبار، دو بار بصورت قبل و بعد، بیش از دو بار)
و- .....
البته به موارد فوق باید در برخی مطالعات (مانند کارآزماییها)، مولفه هایی مانند رویکرد آنالیز آماری در شرایط انحراف از پروتکول مطالعه، مانند رویکردهای Intention to Treat (ITT) یا Per Protocol (PP) را اضافه نماییم.

سوال 9) آیا نتیجه نهایی یا conclusion مقاله/ مطالعه، با یافته ها، توجیه میشود؟
برای پاسخ دادن به این سوال باید نتیجه نهایی مندرج در بخش پایانی بحث مقاله (یا نتیجه نهایی مندرج در چکیده های ساختار یافته مقالات) با یافته های کلیدی مقاله، مقایسه شوند و حتماً به موارد شایعی مانند «تاکید بیش از اندازه» یا «تاکید کمتر از اندازه» (بترتیب معادل واژه های overemphasis و underemphasis)، نیز توجه نماییم.
مثال «تاکید بیش از اندازه»: یافتن اختلاف ناچیز و غیرمهم در مطالعات دو گروهی (مانند یک کارآزمایی بالینی) که فقط به صرف معنی داری آماری مورد تاکید محقق قرار میگیرد. معمولاً این شرایط در مطالعات با حجم نمونه های بزرگ، بطور شایعی اتفاق می افتد.
مثال «تاکید کمتر از اندازه»: یافتن اختلاف نسبتاً بزرگ و یا مهم در مطالعات دو گروهی (مانند یک کارآزمایی بالینی) که فقط به صرف عدم معنی داری آماری مورد تاکید محقق قرار نمیگیرد. معمولاً این شرایط در مطالعات با حجم نمونه های کوچک بطور شایعی رخ میدهد.

سوال 10) آیا موردی از ملاحظات تعارض منافع (Conflict of Interest) رخ داده یا مستعد رخداد میباشد؟
تعارض منافع وقتی اتفاق می افتد که فاکتورهای فردی یا شخصی (گاهی سازمانی) بتواند بطور بالقوه بر روی نقش یا جایگاههای افراد تاثیرگذار باشد. اینگونه فاکتورها که پتانسیل تعارض منافع را داراست، عبارتند از:
الف- دریافت حقوق، مزایا و یا هر گونه پاداش از موسسه یا نهادی که تامین هزینه های مطالعه یا بخشی از این هزینه ها را عهده دار بوده است.
ب- دریافت حقوق و مزایا یا هرگونه پاداش بصورت سرانه (بعنوان مثال به ازای ورود هر بیمار یا فرد واجد شرایط به یک کارآزمایی یا هر مطالعه دیگر)
ج- دریافت حقوق و مزایا یا پاداش از طرف صنایع یا موسساتی که در صورت تایید یا تصویب دارو یا مداخله مورد بررسی، از فروش یا عرضه این مداخله، سود خواهند برد.
د- هرگونه تاثیرگذاری مالی از پیامدهای مطالعه پژوهشی حاضر باید مد نظر قرار گیرد.
و ....

اما بطور خلاصه، 5 مولفه را برای یک ارزیابی نقادانه، بسیار مهم و کلیدی میدانند. این پنج مولفه عبارتند از:

الف) مهمترین این پنج مولفه، متناسب بودن طراحی مطالعه یا Study Design با سوال پژوهشی مطالعه / مقاله میباشد: Design

ب) مناسب بودن روشهای آماری مورد استفاده و اجرای درست این روشها یا آزمونها: Suitable Statistical Methods

ج) تفسیر مناسب یافته ها و صحیح بودن ارتباط منطقی بین یافته ها با تفسیر یا کاربرد آنها: Interpretation

د) نداشتن ملاحظات جدی مرتبط با تعارض منافع یا Conflict of Interest

ه) مرتبط یا منطبق بودن پژوهش / مقاله با فیلد علمی فرد نویسنده /محقق: Relevancy

حال از ترکیب حروف اول واژه های پنجگانه فوق، عبارت D-SIRC شکل میگیرد که حرف اول این عبارت نیز نشانگر اهمیت بیشتر آن نسبت به مابقی حروف میباشد. بنابراین برای بخاطر سپردن این 5 مولفه بسیار مهم و کلیدی میتوانید این عبارت را بخاطر بسپارید.

این مقاله ترجمه آزادی است که از مقاله زیر در متن آن بیشترین استفاده شده است:
Young, J. M., & Solomon, M. J. (2009). How to critically appraise an article. Nature Reviews. Gastroenterology & Hepatology, 6(2), 82.