Evaluations of AI in Healthcare

 

BEYOND MODEL ACCURACY

AI เติบโตอย่างรวดเร็วในเกือบทุกสายธุรกิจ ในสายดูแลสุขภาพซึ่งรวมถึงสาธารณะสุขและการแพทย์ AI พัฒนาไปพร้อมๆ กับการเติบโตของ Big Data ด้านการแพทย์ เวชศาสตร์เชิงป้องกัน และการแพทย์จำเพาะบุคคล (Precision Medicine)  เฉพาะในปี 2019 มีบทความเกี่ยวกับ AI ในสายสุขภาพและการแพทย์มากกว่า 9,000 บทความ

AI ในสายสุขภาพ มีความแตกต่างกับ AI ในสายงานอื่นในหลายมุมมอง ซึ่งผู้วิจัยและพัฒนา AI มักมองข้าม โดยมักจะเน้นไปที่ไปผลลัพธ์ที่ความถูกต้องแม่นยำของโมเดลเป็นหลัก (model performancer or accuracy) มุ่งการจัดเตรียมข้อมูล และพัฒนา algorithm ใหม่ๆ แต่มีเพียงส่วนน้อยมากที่จะเน้นถึงส่วนที่สำคัญมากของสายสุขภาพ คือ การเอาผลไปใช้งานจริง (clinical utility) อย่างที่เราทราบกันว่า machine learning นั้นเป็นการคำนวณทางคณิตศาสตร์และความน่าจะเป็น การใช้งาน AI จึงควรรวมไปถึง ข้อมูลเชิงลึกถึงสาเหตุ ต้องทำอะไรและอย่างไรเพื่อลดความเสี่ยง ใครควรได้รับข้อมูลเหล่านั้น เช่นถ้าเราพัฒนา AI เพื่อพยากรณ์อัตราการรับกลับเข้าโรงพยาบาลโดยไม่ได้วางแผน (re-admission rate) ถึงแม้ว่า AI จะได้ผลลัพธ์ที่แม่นยำมากเพียงใด แต่ถ้าไม่สามารถอธิบายถึงปัจจัยที่เป็นเหตุให้คนไข้มีความน่าจะเป็นที่อาการจะทรุดลง จนต้องกลับเข้ามารับการรักษา โดยหากเทียบกับ AI อีกตัวที่ความแม่นยำอาจจะไม่สูงเท่า แต่ระบุได้ถึงปัจจัยความเสี่ยง ทำให้แพทย์สามารถปรับเปลี่ยนเลือกใช้แนวทางในการรักษาได้ ดังนั้น AI ตัวที่ 2 ย่อมมีประโยชน์ในทางการแพทย์มากกว่า 

เทคนิคในแนวทางการประเมิน AI Solution เบื้องต้น คือ การจับคู่ผลลัพธ์และการปฏิบัติ (outcome-action paring: OAP) โดยเริ่มจากการพิจารณาผลลัพธ์ (outcome) ที่ได้จาก AI Solution นั้น เช่น เพื่อการวินิจฉัยโรค การประเมินความเสี่ยง หรือคาดคะเนแนวโน้ม จับคู่เทียบกับการปฏิบัติ (action) โดยจากผลลัพธ์ที่ได้ จะนำไปสู่การปฎิบัติอย่างไรเพื่อ แก้ไข ลดผลเสีย ลดความเสี่ยง หรือควบคุม เพื่อปรับปรุงการรักษาได้ ดังนั้นในทางการแพทย์จะเน้น AI Solution ที่จะต้องอธิบายได้ (explainable AI) เพื่อนำไปสู่การลงมือปฏิบัติได้จริง 

ในการประเมินในลำดับต่อไป เพื่อดูว่า AI Solution นั้นมีประโยชน์และใช้งานได้จริงในสายสุขภาพนั้น จะเป็นการพิจารณา ใน 3 ด้าน โดยเริ่มจาก

1. คุณประโยชน์ในทางคลีนิค (Clinical Utility) เป็นส่วนที่สำคัญที่ผู้ป่วยหรือผู้ใช้งานได้รับประโยชน์โดยตรง โดยการพิจารณาว่า AI Solution นั้นใช้เพื่ออะไร ผลลัพธ์ที่ได้คืออะไร และนำไปใช้ยังไง โดยมีข้อที่ต้องพิจารณาเช่น

• Actor: เมื่อได้รับผลลัพธ์แล้ว ใครต้องทำอะไร
• Mitigating Action: จากผลลัพธ์ที่ได้ มีแนวทางในการดูแลหรือรักษาในแต่ละกรณีหรือไม่ เช่น เราต้องการสร้างระบบที่จัดกลุ่มผู้ป่วยโรคหนึ่งเป็น 3 กลุ่มได้อย่างแม่นยำ แต่เนื่องวิธีการรักษาผู้ป่วยมีเพียงวิธีเดียว ทำให้ไม่ได้รับประโยชน์ผลลัพธ์ที่ได้ ซึ่งเมื่อพิจารณาจากการใช้เวลาและทรัพยากรในการพัฒนาแล้ว ถือว่าระบบดังกล่าวไม่มี Clinical Utility แต่ระบบดังกล่าวอาจมีประโยชน์ในมุมการวิจัยเพื่อหาปัจจัยและวิธีการรักษาในอนาคต
• Lead Time: ระบบคาดการณ์ล่วงหน้าได้นานแค่ไหน นานพอทำให้ทีมแพทย์มีเวลาในการเตรียมตัวและปฏิบัติหรือไม่
• Intervention: จากจุดที่ได้ผลลัพธ์ เราสามารถเข้าไปแทรกแซง เพื่อเปลี่ยนแปลงได้หรือไม่

2. ความเป็นไปได้ (Feasibility) เป็นมุมจากการนำระบบไปใช้งานจริงในสภาพแวดล้อมทางคลีนิค (clinical setting) ซึ่งต้องใช้ร่วมกับเครื่องมือ ข้อมูล บุคคลากร ตลอดจนการปรับเปลี่ยนวิธีการทำงานของบุคคลากรทางการแพทย์

3. ผลกระทบทางคลีนิค (Clinical Impact) ผลกระทบของระบบและผลลัพธ์ที่มีต่อการดูแลรักษาผู้ป่วย ไปจนถึงมาตราการต่างๆทางการแพทย์ 

นอกเหนือจากการประเมินข้างต้นแล้ว ยังมีมุมมองที่จำเป็นซึ่งเป็นรายละเอียดของสายงานนี้ เช่น ขั้นตอนการขออนุมัติ การประเมินความลำเอียง (bias) ของระบบ การคิด net benefit ไปจนถึงเรื่องที่ละเอียดอ่อนอย่างมุมมองด้านจริยธรรม การใช้ข้อมูลอ่อนไหวอื่นๆ ซึ่งเป็นแนวทางที่ใช้กันทั่วไปในการแพทย์

จาก coursera's Evaluations of AI Applications in Healthcare by Stanford University

Evaluations of AI Applications in Healthcare