ระบาด หน่วยที่ 15

หน่วยที่ 15 การใช้หลักฐานงานวิจัยทางวิทยาการระบาดในงานสาธารณสุข

คำจำกัดความ  ความสำคัญ ประเภทของหลักฐาน

• evidenced-base คือ การนำหลักฐานไปใช้ในเรื่องนั้นๆโดยตรง
• evidenced-information คือ การนำหลักฐานมาพิจารณาร่วมกับปัจจัยทางสังคมและวัฒนธรรม
• หลักฐาน  คือ ข้อเท็จจริงที่หวังจะให้เกิดข้อสรุป คือใช้สนับสนุนให้เกิดข้อสรุปนั่นเอง มีประโยชน์คือ
• ในแง่การนำไปใช้ในสภาวะมีทรัพยากรจำกัด ทำให้ประหยัดงบ ประหยัดเวลา
• การกระทำนั้นอยู่บนพื้นฐานทางวิทยาศาสตร์ ไม่ได้นั่งเทียนทำนะคะ...
• ข้อมูลทันสมัยเชื่อถือได้
• รับประกันว่า เวลาของผู้ปฏิบัติใช้ไปอย่างมีประสิทธิภาพ
• เป็นประโยชน์มากสุดในการทบทวนข้อมูลเกี่ยวกับคำถามทางสาธารณสุขที่เป็นเรื่องเฉพาะ
• คุณสมบัติของหลักฐาน
• expert opinion ไม่ใช่หลักฐาน แต่เป็นข้อเท็จจริง(หลักฐาน) + การตีความหรือการสรุปจากประสบการณ์
• ความน่าเชื่อถือของหลักฐานจะดูจากระเบียบวิธีวิจัย
• การลงความเห็นต่อความเชื่อมั่นในหลักฐานหากเป็นแบบเปิดเผยจะดีกว่าแบบปกปิด เพราะกันความผิดพลาด แก้ไขความไม่เห็นพ้องกันได้
• หลักฐานจะแปรเปลี่ยนตามบริบท ดังนั้นหากจะนำไปใช้นอกเหนือบริบทต้องลงความเห็น
• หลักฐานที่ดีที่สุดที่มีอยู่ในโลกคือหลักฐานระดับโลก ซึ่งเป็นจุดเริ่มต้นที่ดีในการลงความเห็น
• การปฏิบัติทางสารธารณสุขซึ่งจัดทำขึ้นจากหลักฐานงานวิจัย เป็นการใช้หลักฐานที่ดีที่สุดที่มีอยู่ในปัจจุบันอย่าง
• รู้สำนึกหน้าที่  - ตระหนักถึงข้อผูกพันทางศีลธรรม ทำให้ระมัดระวังในการใช้หลักฐาน
• ชัดแจ้งเปิดเผย - เข้าใจว่าหลักฐานมีความน่าเชื่อถือ เที่ยงตรง นำไปใช้ประโยชน์ได้ขนาดไหน
• ถูกต้องชอบธรรม  - ใช้ความชำนาญทางคลินิกประเมินหรือดูแลผู้ป่วย
• การใช้หลักฐาน = การทบทวนหลักฐานที่มี + งานวิจัยอย่างเป็นระบบ + ความชำนาญและความรู้ทางวิชาชีพ + ทรัพยากรที่มี + กฏข้อบังคับ + ค่านิยมทางสังคมหรือวัฒนธรรม
• หลักฐานเชิงปริมาณ
• interventions : กิจกรรมที่มีวัตถุประสงค์เพื่อสุขภาพ  - ควรศึกษาจาก randomized controlled trial
• frequency/rate : ความถี่/อัตราการเกิดโรค -  cross section ที่มีมาตรฐาน (ประชากรต้องสุ่มมานะ)
• Diagnotic Test performance: การทำการทดสอบเพื่อวินิจฉัยโรค- case control/cross section
• risk factor: สาเหตุการเกิดโรค/ปัจจัยเสี่ยง - cohort ติดตามระยะยาว/ case control
• predicted prognosis: การพยาการณ์โรค- cohort ติดตามระยะยาว/วิจัยการรอดชีวิต
• economic analize: การวิเคราะห์ทางเศรษฐศาสตร์ - cost-effectiveness,cost-benefit analysis
• หลักฐานเชิงคุณภาพ
• งานวิจัยที่มีข้อสรุป
• conceptual study: งานวิจัยเชิงแนวคิด - มักมีมุมมองที่แตกต่างเกิดขึ้นแต่ไม่ได้นำไปสุ่มตัวอย่างเพื่อศึกษาต่อ
• งานวิจัยเชิงพรรณนา - ไม่ได้รายงานช่วงคำตอบต่างๆไว้ทั้งหมด ตัวอย่างไม่ได้ถูกทำให้หลากหลาย
• single case study: กรณีศึกษารายบุคคล - นำไปใช้กับบริบทอื่นได้ยาก

การกำหนดคำถาม การสืบค้นหลักฐาน

• การทำนโยบายส่งเสริมสุขภาพมี 4 ขั้นตอนคือ
• การกำหนดคำถาม
• การสืบค้นหลักฐาน
• การประเมินคุณภาพหลักฐาน
• การนำหลักฐานไปใช้จัดทำนโยบาย
• การกำหนดคำถามต้องมีองค์ประกอบ 4  อย่าง (PICO)  โดยซึ่งจะช่วยกำหนดวิธีสืบค้นหลักฐานที่ต้องการ

1. Population
2. Intervention/Exposure
3. Comparison (กลุ่มปกติที่ไม่ได้รับ intervention)
4. Outcome

• ระดับของหลักฐาน คือ การบ่งบอกความหน้าเชื่อถือของหลักฐานว่ามีมากหรือน้อย โดยการจำแนกเป็นกลุ่ม ดังนี้
• การวิเคราะห์เมต้า (meta analysis) คือ การวิเคราะห์หลักฐานจากงานวิจัยเชิงคุณภาพที่หลากหลาย อาจทำให้เกิดการถ่ายโอนข้อมูลหรือเพิ่มพูนข้อค้นพบใหม่ๆ
• การประเมินผลทางเศรษฐศาสตร์ ไม่ควรทำแค่ cost-effectiveness อย่างง่ายๆ  โดยจะช่วยดูความสัมพันธ์ของผลลัพธ์ทางสุขภาพกับจำนวนเงินและความเสี่ยงทางสุขภาพว่าคุ้มหรือไม่
• pre-processed evidence: หลักฐานที่ถูกตรวจสอบโดยผู้เชี่ยวชาญในวิชาชีพ ซึ่งมีมาก ทันสมัย เข้าถึงง่าย (ทาง internet) โดยจำแนกความน่าเชื่อถือ(จากมากไปน้อย) ไว้ ดังนี้ 
• งานวิจัยระบบ คือ แนวทางปฏิบัติ เส้นทางการตัดสินใจที่จัดทำขึ้นจากหลักฐานงานวิจัย ซึ่งมีข้อมูลมากพอเพียงที่จะชี้นำกิจกรรมทางสาธารณสุขได้
• สรุปประเด็นของการสังเคราะห์งานวิจัย (synopses of synthesis) คือ สรุประเบียบปฏิบัติ ผลลัพธ์ ของงานวิจัยที่ได้ทบทวน
• การสังเคราะห์งานวิจัย  (systemic review) คือ การทบทวนวรรณกรรมอย่างเป็นระบบ โดยใช้หลักฐานทั้งหมดที่หาคำตอบได้มาตอบคำถามทางสารธารณสุข  เป็นหลักฐานที่สำคัยมากเพราะหลักฐานนั้นได้ถูกค้นพบและประเมินแล้ว เหมาะกับคนที่มีเวลาน้อยๆ
• การสรุปประเด็นสำคัญของงานวิจัยเรื่องเดียว (synopses of single study)
• งานวิจัยเรื่องเดียว (single study)
• แหล่งของการสืบค้นข้อมูล
• search engines : เช่น  google
• electronic database จะมีรายละเอียดของบรรณานุกรม ซึ่งสามารถเชื่อมโยงกับงานวิจัยฉบับเต็มได้
• subject gateways เป็นการรวบรวมแหล่งหลักฐานงานวิจัย โดยจัดกลุ่มตามวิชา หรือตามสาขาวิชาชีพ เป็นต้น  บางครั้งมีการนำมารวมไว้เป็นเล่มๆ ทำให้สืบค้นหาได้ง่าย

การประเมินหลักฐานเชิงวิพากษ์

• เป็นการประเมินความสมเหตุสมผล  ขนาดของผลลัพธ์สามารถอ้างอิงสู่ประชากรได้หรือไม่  คุณภาพงานวิจัย  ความเกี่ยวข้องของข้อค้นพบกับการปฏิบัติที่อยู่ในความสนใจ  ว่าเหมาะสมเพียงพอจะนำมาใช้ประโยชน์หรือไม่
• มีความสำคัญคือ ก่อให้เกิดความสงสัยในเชิงสร้างสรรค์เกี่ยวกับชีวการแพทย์ (อาจมีการต่อยอดในอนาคต), ถ่ายโอนความรู้จากหลักฐานที่ตีพิมพ์มาเป็นการปฏิบัติที่มีประโยชน์, มีการประเมินรายงานวิจัยทั้งที่เขียนและไม่เขียนไว้
• ข้อดี/ข้อเสียของการประเมินเชิงวิพากษ์
• ช่วยปิดช่องว่างระหว่างงานวิจัยกับการปฏิบัติ เนื่องจากสนับสนุนให้ปรัปปรุงคุณภาพสาธารณสุข
• ให้วิธีการที่เป็นระบบในการประเมินความสมเหตุสมผล ความเที่ยงตรง ผลลัพธ์ และประโยชน์ของงานวิจัย
• สนับสนุนการประเมินแบบตรงไปตรงมา
• ทักษะการประเมินเกิดได้ง่าย เครื่องมือการประเมินมีอยู่แพร่หลาย ใช้ง่าย
• สิ้นเปลืองเวลาในการประเมินครั้งแรกๆ (ต่อมาจะทำได้คล่องเอง)
• บางครั้งไม่ได้ให้คำตอบเสมอไป หรือได้คำตอบที่เข้าใจยากแก่ผู้อ่าน
• อาจทำให้ผู้ประเมินสูญเสียความมุ่งหวัง/ความคาดหวัง เพราะงานวิจัยมีคุณภาพไม่ดี
• กระบวนการประเมินเชิงวิพากษ์โดยใช้ 10 คำถาม

1. หัวข้องานวิจัยเกี่ยวข้องกับสาขาของผู้ประเมินหรือไม่
2. งานวิจัยนั้นได้เพิ่มเติมความรู้ใหม่ที่ต่างจากงานวิจัยที่ผ่านมาหรือไม่
3. คำถามงานวิจัยเกี่ยวข้องกับองค์ประกอบใด เช่น ประสิทธิผลของการรักษา ความถี่ของเหตุการณ์
4. รูปแบบงานวิจัยเหมาะสมกับคำถามหรือไม่
5. มีการกล่าวถึงแหล่งอคติที่อาจเกิดขึ้นไว้หรือไม่ มีอิทธิพลต่อผลลัพธ์ทิศทางใด
6. การวิจัยได้ทำตามแผนที่วางไว้แต่แรกหรือไม่ บางครั้งอาจทำไม่ได้เพราะขาดกลุ่มตัวอย่าง เป็นต้น
7. มีการทดสอบสมมุติฐานที่ตั้งไว้หรือไม่ (ทดสอบความแตกต่างทางสถิติอย่างมีนัยสำคัญ)
8. การวิเคราะห์ทางสถิติถูกต้องหรือไม่ ข้อมูลที่ขาดหายไปทำอย่างไร ใช้ per protocol  หรือ intention to treat
9. ข้อสรุปของงานวิจัยสมเหตุสมผลกับข้อมูลจากการศึกษาหรือไม่ บางครั้งมีการขยายจากกลุ่มตัวอย่างไปสู่ประชากรที่เกินขอบเขตจะรับได้
10. มีความขัดแย้ง/ผลประโยชน์จากการวิจัยหรือไม่  เช่น  ใครออกเงินทุน

• เครื่องมือที่ช่วยในการวิพากษ์ที่ควรรู้จัก
• แผนผัง  CONSORT เป็น flow chart แสดงการแบ่งกลุ่มตัวอย่าง ฯลฯ  ใช้ในการวิจัยแบบทดลอง
• QUARUM  เป็นกรอบแนวทางการวิพากษ์ meta analysis
• STROBE เป็นกรอบแนวทางการวิพากษ์งานวิจัยเชิงสังเกต

การสังเคราะห์หลักฐาน

• คือการนำงานวิจัยหลายๆฉบับที่คล้ายคลึงในแง่ของคำถามงานวิจัย  มาหาผลลัพธ์รวม  ซึ่งเรียกว่าค่าประมาณโดยสรุป (summary estimate)
• ค่าประมาณของผลกระทบในงานวิจัยมีหลายค่า  เช่น RR ซึ่งในแต่ละงานวิจัยที่เลือกมาจะมีค่าแตกต่างกันไป  การนำมาหาค่าประมาณรวมทำโดยการเฉลี่ย  เช่น  RRงานวิจัย 1=2.3 (1.2-3.7)  RRงานวิจัย 2 = 3.5 (2.2-4.6) จะนำค่าในวงเล็บซึ่งเป็นค่าความผิดพลาดมาตรฐานมาเฉลี่ย และต้องหา CI 95% ของค่าเฉลี่ยดังกล่าว
• ตัววัดผลลัพธ์ทางสุขภาพ (out come) แบ่งเป็น
• continuous outcome
• difference between group Means ความแตกต่างของค่าเฉลี่ยในกลุ่มทดลองและกลุ่มควบคุม
• standardized difference  ความแตกต่างของค่ากลางที่ปรับมาตรฐานโดยส่วนเบี่ยงเบนมาตรฐาน
• weighted difference in mean ความแตกต่างของค่ากลางถ่วงน้ำหนัก (ต้องมีหน่วยวัดผลลัพธ์เป็นหน่วยเดียวกัน)
• standardized weighted Mean difference  ความแตกต่างของค่ากลางถ่วงน้ำหนักที่ปรับมาตรฐาน (ใช้เมื่อหน่วยวัดต่างกัน)
• Binary outcome  (ผลลัพธ์ประเภท เป็น/ไม่เป็น  เกิด/ไม่เกิด)
• risk difference ความแตกต่างของความเสี่ยงสัมบูรณ์
• relative risk ความเสี่ยงสัมพัทธ์
• odds ratio
• hazard ratio
• number needed to treat
• summary estimate มีวิธีการทำ 2 วิธี คือ
• a fixed effect model  คืองานวิจัยแต่ละชิ้นมีค่าขนาดผลกระทบเพียงค่าเดียว ค่าสรุปจะหาจากค่าเฉลี่ยถ่วงน้ำหนัก โดยถ่วงจากความแม่นยำ ความเที่ยงตรงของงานวิจัยแต่ละชิ้น  (น้ำหนักของขนาดผลกระทบคือ 1/d²  เมื่อ d² คือความแปรปรวนของค่าประมาณขนาดของผลกระทบ)
• a random effect model คืองานวิจัยแต่ละชิ้นมีค่าขนาดผลกระทบแตกต่างกันไป ซึ่งกำหนดให้เป็น tau (น้ำหนักของขนาดผลกระทบคือ 1/d² + tau²)
• การประเมินความไม่เหมือนกันของขนาดผลกระทบของสิ่งทดลองของงานวิจัย กล่าวคืองานวิจัยที่มีประชากรต่างกัน วิธีการวิเคราะห์ต่างกัน  แต่ได้ผลลัพธ์ในทิศทางเดียวกัน  เราอาจกล่าวว่าผลนั้นเที่ยงตรงและน่าเชื่อถือ  แต่ถ้าผลต่างกันไปไม่สอดคล้องกัน  ก็เป็นโอกาสให้เราหาความแปรปรวนที่เกิดจากงานวิจัยนั้น
• การสรุปสาระสำคัญของงานวิจัยเชิงทดลอง
• นำเสนอด้วยตารางสรุปและกราฟ Forest plot ซึ่งแสดงขนาดของผลกระทบพร้อมช่วงความเชื่อมั่น
• การสังเคราะห์มีจุดมุ่งหมายเพื่อหาค่าประมาณโดยสรุปของผลลัพธ์ทั้งหมด  และตรวจสอบว่าผลลัพธ์งานวิจัยโดยเฉลี่ยถูกปรับเปลี่ยนโดยปัจจัยอื่นๆอย่างไร
• ประเมินความไม่เหมือนกันของขนาดของผลกระทบ เช่น ความรุนแรงของโนคที่ต่างกัน อายุ เชื้อชาติ ระยะเวลาติดตาม ฯลฯ
• การสรุปสาระสำคัญของงานวิจัยแบบสำรวจภาคตัดขวาง (สำหรับความถี่) และงานวิจัย cohort (สำหรับอัตรา)
• นำเสนอด้วยตารางสรุปที่ให้คำจำกัดความและการวัดผลที่ใช้ และกราฟ Forest plot ซึ่งแสดงขนาดของผลกระทบพร้อมช่วงความเชื่อมั่น
• ถ้างานวิจัยคล้ายคลึงกันการสังเคราะห์ผลลัพธ์เชิงปริมาณ(ความถี่,อัตรา) สามารถนำมาหาได้โดยตรง แต่ถ้ามีความแปรปรวนจากสาเหตุใดๆ ต้องมีวิธีการสังเคราะห์ที่ซับซ้อนขึ้น โดยหาสาเหตุของความแปรปรวนและพยายามปรับค่า  แต่ถ้าเป็นความแตกต่างที่แท้จริงควรมีการรายงานไว้ด้วย
• ประเมินความไม่เหมือนกันของความถี่/อัตรา ไม่ว่าผลลัพธ์นั้นจะมีนัยสำคัญหรือไม่ ควรตรวจสอบว่าวิธีการวัดหรือกรอบตัวอย่างในแต่ละงานวิจัยนั้นเหมือนกันหรือไม่
• การสรุปสาระสำคัญของงานวิจัยแบบทดสอบการวินิจฉัยโรค
• นำเสนอด้วยตารางสรุปและกราฟความไว (sensitivity),กราฟความจำเพาะ (specificity),กราฟความไวต่อความจำเพาะ (ROC space: พื้นที่บนแกน X และ Y แสดงการแลกเปลี่ยนกันของผลบวกแท้จริงและผลบวกไม่แท้จริง) พร้อมช่วงความเชื่อมั่นในแต่ละกราฟ
• การสังเคราะห์ผลลัพธ์โดยนำกราฟ ROC มาปรับเป็นกราฟ SROC  (คือเขียนเส้นโค้งเข้าไป)
• ประเมินความไม่เหมือนกันของความแม่นยำ(ความไว+ความจำเพาะ)
• การสังเคราะห์หลักฐานงานวิจัยเชิงคุณภาพ  อาจช่วยให้เข้าใจถึงผลกระทบของบริบทต่างๆต่อผลลัพธ์ได้มากขึ้น
• การสังเคราะห์การประเมินผลทางเศรษฐศาสตร์  เพื่อสรุปสาระคำคัญของหลักฐานเกี่ยวกับประสิทธิภาพเพื่อลดความไม่แน่ใจเกี่ยวกับประโยชนืและต้นทุนที่สัมพันธ์กัน ซึ่งแสดงข้อมูลในรูปตารางว่างานวิจัยแต่ละชิ้นมีผลลัพธ์การทบทวนด้านต้นทุนและผลลัพธ์ทางสุขภาพเปรียบเทียบกันเป็นอย่างไร

การนำหลักฐานไปจัดทำนโยบาย/โครงการส่งเสริมสุขภาพ

• หลักฐานที่จะนำมาจัดทำนโยบายทางสาธารณสุขจะต้องตอบได้ว่า
• มีประสิทธิผล คือทำให้เกิดขึ้นได้  it works
• ต้องการการตัดสินใจ/การกระทำทางนโยบาย คือ แก้ปัญหาได้ it solves problem
• ให้แนวทางการดำเนินการ it can be done
• ให้ข้อมูล cost effectiveness คือเป็นไปได้ในทางปฏิบัติ และอาจประหยัดเงินได้
• ประเภทของหลักฐานที่ใช้ประกอบการพิจารณาทำนโยบาย ได้แก่ งานวิจัย ความรู้และข้อมูลข่าวสาร ความคิดและความสนใจ การเมือง เศรษฐกิจ
• บทบาทของหลักฐานจากการทบทวนงานวิจัยจำเป็นต้องมีการลงความเห็นเกี่ยวกับการตัดสินใจในนโยบาย ประกอบกับข้อพิจารณาด้านอื่นๆ
• คำถามในการจัดทำนโยบายทางสาธารณะสุขที่ต้องหาคำตอบให้ได้
• ปัญหาสาธารณสุขนั้นขนาดใหญ่แค่ไหน สำคัญขนาดไหน
• ประหยัดต้นทุนด้านการเจ็บป่วยและการรักษาได้แค่ไหน
• หลักฐานที่นำมาใช้มีการเสนอผลกระทบที่ตามมาหรือต้นทุนที่อาจเกิดขึ้นภายหลังหรือไม่
• หลักฐานที่นำมาใช้นั้นดำเนินการในชุมชนที่คล้ายคลึงกับชุมชนที่จะทำนโยบายหรือไม่ มีแนวโน้มจะสำเร็จให้ผลเหมือนกันไหม
• ความเป็นไปได้ในการปฏิบัติและต้นทุนหรือทรัพยากรที่ต้องจัดเตรียม
• ถ้าหลักฐานบอว่านโยบายไม่มีประสิทธิผลให้หาว่าเป็นจริงตามหลักฐานบอกหรือนโยบายยังไม่ถูกจำแนกกันแน่
• ถ้าหลักฐานมีผลลัพธ์ไม่แน่ชัด ต้องให้ผู้เชี่ยวชาญดู
• ความคิดเห็นด้านคุณค่าของผู้รับผลประโยชน์ในพื้นที่และความเป็นไปได้ของความสำเร็จ
• การส่งเสริมสุขภาพซึ่งจัดขึ้นจากหลักฐานงานวิจัย คือ การพัฒนา การดำเนินการ และการประเมินผลแผนงานโดยใช้หลักฐาน
• แนวคิดพื้นฐานเกี่ยวกับการส่งเสริมสุขภาพ
• เป็นกระบวนการวางแผน ดำเนินการ ประเมินผลแผนงานที่ถูกเปลี่ยนแปลงจากตัวแนวคิดเดิม เพื่อแก้ไขประเด็นทางสุขภาพ
• มองไปที่ตัวประชากรมากกว่าตัวบุคคล (มุมมองทางระบาดวิทยา)
• เป็นแบบแผนความสัมพันธ์ระหว่างสมช.กับสวล. (สังคม วัฒนธรรม กฏหมาย เศรษฐกิจ ฯลฯ)
• การส่งเสริมสุขภาพดำเนินการทั้งระดับบุคคลและชุมชน คือมุ่งประเด็นไปทั้งวิถีชีวิต การเป็นอยู่ที่ดีของชุมชนโดยรวม ทั้งร่างกาย จิตใจ และสังคม
• หลักฐานที่ต้องการในการจัดทำแผนงานโครงการส่งเสริมสุขภาพ
• หลักฐานเกี่ยวกับปัจจัยที่มีอิทธิพลต่อสุขภาพและโรคที่สนับสนุนข้อความ  “บางสิ่งบางอย่างควรถูกทำขึ้น”
• หลักฐานเกี่ยวกับประสิทธิผลของกิจกรรมที่มีวัตถุประสงค์เพื่อป้องกันโรค ที่สนับสนุนข้อความ “สิ่งนี้ควรถูกทำให้เกิดขึ้น”
• หลักฐานเกี่ยวกับรูปแบบงานวิจัยที่แตกต่าง ที่สนับสนุนข้อความ “สิ่งนี้ควรถูกทำขึ้นอย่างไร”
• ความสามารถในการนำหลักฐานไปใช้ และความสามารถถ่ายโอนหลักฐานไปสู่บริบทอื่นในการส่งเสริมสุขภาพ
• ความสามารถนำหลักฐานไปใช้ (applicability) คือการแปลข้อค้นพบจากงานวิจัยไปสู่กิจกรรมในประชากรกลุ่มที่สนใจ โดยกระทำอย่างซื่อตรงและถูกต้องตามหลักฐาน   สรรหากลุ่มประชากรเป้าหมายที่จะได้ประโยชน์จากโครงการ ดำเนินโครงการอย่าซื่อสัตย์ ถูกต้อง โดยปรับวิธีการนำเสนอข้อมูลไปสู่ผู้รับให้เหมาะสมกับบริบทด้านภาษา ที่ตั้งโครงการ และความต้องการของประชากรเป้าหมาย
• ความยั่งยืนของโครงการ (sustainability) เพื่อเปลี่ยนแปลงสภาวะสุขภาพระยะยาว  โดยหาว่าผลกระทบระยะยาวที่ต้องการนั้นคืออะไร จะสนับสนุนโครงการนี้อย่างเป็นขั้นตอนอย่างไร และทรัพยากรที่ต้องการคืออะไร
• ความสามารถถ่ายโอนหลักฐานไปสู่บริบทอื่น (transferability)  มักเกี่ยวข้องกับวิธีการวิจัยเชิงคุณภาพ เช่น ชาติพันธุ์ต่างกัน  การศึกษารายกรณีที่แตกต่างกันไป