เส้นฐานที่อ่อนแอและอคติในการรายงานทำให้เกิดการมองโลกในแง่ดีเกินไปในการเรียนรู้ของเครื่องจักรในสมการเชิงอนุพันธ์ย่อยที่เกี่ยวข้องกับของไหล

ขอบคุณที่เยี่ยมชม Nature.com เบราว์เซอร์ที่คุณใช้มีการรองรับ CSS ที่จำกัด เพื่อผลลัพธ์ที่ดีที่สุด เราขอแนะนำให้คุณใช้เบราว์เซอร์เวอร์ชันใหม่กว่า (หรือปิดใช้งานโหมดความเข้ากันได้ใน Internet Explorer) ในระหว่างนี้ เพื่อให้มั่นใจว่าการสนับสนุนจะดำเนินต่อไป เราจึงแสดงเว็บไซต์โดยไม่ใช้การออกแบบหรือ JavaScript
หนึ่งในการประยุกต์ใช้การเรียนรู้ของเครื่องในฟิสิกส์เชิงคำนวณที่มีแนวโน้มมากที่สุดคือการแก้สมการเชิงอนุพันธ์ย่อยแบบเร่ง (PDE) เป้าหมายหลักของตัวแก้สมการเชิงอนุพันธ์ย่อยที่ใช้การเรียนรู้ของเครื่องคือการสร้างคำตอบที่มีความแม่นยำและรวดเร็วเพียงพอกว่าวิธีเชิงตัวเลขมาตรฐานเพื่อใช้เป็นพื้นฐานในการเปรียบเทียบ ขั้นแรก เราจะทำการทบทวนวรรณกรรมเกี่ยวกับการเรียนรู้ของเครื่องเกี่ยวกับการแก้สมการเชิงอนุพันธ์ย่อยอย่างเป็นระบบ จากบทความทั้งหมดที่รายงานการใช้ ML ในการแก้สมการเชิงอนุพันธ์ย่อยแบบไหลลื่นและอ้างว่าเหนือกว่าวิธีเชิงตัวเลขมาตรฐาน เราพบ 79% (60/76) เมื่อเทียบกับค่าพื้นฐานที่อ่อน ประการที่สอง เราพบหลักฐานของอคติในการรายงานอย่างกว้างขวาง โดยเฉพาะอย่างยิ่งในการรายงานผลลัพธ์และอคติในการตีพิมพ์ เราสรุปว่างานวิจัยเกี่ยวกับการเรียนรู้ของเครื่องเกี่ยวกับการแก้สมการเชิงอนุพันธ์ย่อยนั้นมองโลกในแง่ดีเกินไป: ข้อมูลอินพุตที่อ่อนอาจนำไปสู่ผลลัพธ์ที่เป็นบวกมากเกินไป และอคติในการรายงานอาจนำไปสู่การรายงานผลลัพธ์เชิงลบต่ำกว่าความเป็นจริง ปัญหาเหล่านี้ส่วนใหญ่ดูเหมือนจะเกิดจากปัจจัยที่คล้ายคลึงกับวิกฤตการณ์ด้านความสามารถในการทำซ้ำในอดีต ได้แก่ การใช้ดุลยพินิจของผู้ตรวจสอบและอคติต่อผลลัพธ์เชิงบวก เราเรียกร้องให้มีการเปลี่ยนแปลงวัฒนธรรมจากล่างขึ้นบนเพื่อลดการรายงานที่มีอคติ และปฏิรูปโครงสร้างจากบนลงล่างเพื่อลดแรงจูงใจที่ผิดเพี้ยนในการทำเช่นนั้น
รายชื่อผู้เขียนและบทความที่สร้างขึ้นจากการทบทวนอย่างเป็นระบบ ตลอดจนการจำแนกประเภทบทความแต่ละบทความในกลุ่มตัวอย่างแบบสุ่ม สามารถเข้าถึงได้สาธารณะที่ https://doi.org/10.17605/OSF.IO/GQ5B3 (อ้างอิง 124)
โค้ดที่จำเป็นในการสร้างผลลัพธ์ในตารางที่ 2 สามารถพบได้บน GitHub: https://github.com/nickmcgreivy/WeakBaselinesMLPDE/ (อ้างอิง 125) และบน Code Ocean: https://codeocean.com/capsule/9605539/Tree/ v1 (ลิงก์ 126) และ https://codeocean.com/capsule/0799002/tree/v1 (ลิงก์ 127)
Randall, D. และ Welser, K. วิกฤตการณ์ที่ไม่สามารถผลิตซ้ำได้ในวิทยาศาสตร์สมัยใหม่: สาเหตุ ผลที่ตามมา และเส้นทางสู่การปฏิรูป (สมาคมนักวิทยาศาสตร์แห่งชาติ, 2018)
Ritchie, S. นิยายวิทยาศาสตร์: การฉ้อโกง อคติ ความเงียบงัน และการโฆษณาเกินจริงบ่อนทำลายการค้นหาความจริงอย่างไร (วินเทจ, 2020)
ความร่วมมือทางวิทยาศาสตร์แบบเปิด การประเมินความสามารถในการทำซ้ำในวิทยาศาสตร์จิตวิทยา วิทยาศาสตร์ 349, AAAC4716 (2015)
Prinz, F., Schlange, T., และ Asadullah, K. เชื่อหรือไม่: เราสามารถพึ่งพาข้อมูลที่ตีพิมพ์เกี่ยวกับเป้าหมายยาที่มีศักยภาพได้มากเพียงใด? Nat. Rev. “The Discovery of Drugs.” 10, 712 (2011).
Begley, KG และ Ellis, LM การยกระดับมาตรฐานการวิจัยมะเร็งก่อนการทดลองทางคลินิก Nature 483, 531–533 (2012)
A. Gelman และ E. Loken, The Garden of Forking Paths: Why Multiple Comparisons are a Problem Even Without “Fishing Expeditions” or “p-hacks” and Preformed Research Hypotheses, เล่ม 348, 1–17 (แผนกสถิติ, 2013)
Karagiorgi, G., Kasecka, G., Kravitz, S., Nachman, B. และ Shi, D. การเรียนรู้ของเครื่องจักรในการค้นหาฟิสิกส์พื้นฐานใหม่ Nat. ปริญญาเอกสาขาฟิสิกส์ 4, 399–412 (2022)
Dara S, Damercherla S, Jadhav SS, Babu CM และ Ahsan MJ. การเรียนรู้ของเครื่องจักรในการค้นพบยา: บทวิจารณ์. Atif. Intel. ฉบับที่ 55, 1947–1999 (2022).
Mather, AS และ Coote, ML การเรียนรู้เชิงลึกในเคมี J.Chemistry. notify. Model. 59, 2545–2559 (2019)
Rajkomar A., ​​Dean J. และ Kohan I. การเรียนรู้ของเครื่องจักรในทางการแพทย์ วารสารการแพทย์ New England. 380, 1347–1358 (2019)
Grimmer J, Roberts ME. และ Stewart BM การเรียนรู้ของเครื่องจักรในสังคมศาสตร์: แนวทางที่ไม่ยึดติดกับความเชื่อ ศจ. Ann Ball. science. 24, 395–419 (2021)
Jump, J. และคณะ ทำนายโครงสร้างโปรตีนได้อย่างแม่นยำโดยใช้ alphafold Nature 596, 583–589 (2021)
Gundersen, OE, Coakley, K., Kirkpatrick, K. และ Gil, Y. แหล่งที่มาของความไม่สามารถทำซ้ำได้ในการเรียนรู้ของเครื่อง: บทวิจารณ์ พิมพ์ล่วงหน้าได้ที่ https://arxiv.org/abs/2204.07610 (2022)
Scully, D., Snook, J., Wiltschko, A. และ Rahimi, A. คำสาปของผู้ชนะ? ว่าด้วยความเร็ว ความก้าวหน้า และความเข้มงวดของหลักฐานเชิงประจักษ์ (ICLR, 2018)
Armstrong, TG, Moffat, A., Webber, W. และ Zobel, J. การปรับปรุงแบบไม่เติมแต่ง: ผลการค้นหาเบื้องต้นตั้งแต่ปี 1998 การประชุม ACM ครั้งที่ 18 ว่าด้วยการจัดการข้อมูลและความรู้ 601–610 (ACM 2009)
Kapoor, S. และ Narayanan, A. วิกฤตการรั่วไหลและการทำซ้ำได้ในวิทยาศาสตร์ที่ขับเคลื่อนด้วยการเรียนรู้ของเครื่องจักร Patterns, 4, 100804 (2023)
Kapoor S. และคณะ การปฏิรูป: มาตรฐานการรายงานทางวิทยาศาสตร์ที่อิงกับการเรียนรู้ของเครื่อง สามารถดูพิมพ์ล่วงหน้าได้ที่ https://arxiv.org/abs/2308.07832 (2023)
DeMasi, O., Cording, C. และ Recht, B. การเปรียบเทียบที่ไม่มีความหมายอาจนำไปสู่ความมองโลกในแง่ดีแบบผิดๆ ในการเรียนรู้ของเครื่องจักรทางการแพทย์ PloS ONE 12, e0184604 (2017)
โรเบิร์ตส์, เอ็ม. และคณะ ข้อผิดพลาดทั่วไปและแนวทางปฏิบัติที่ดีที่สุดในการใช้การเรียนรู้ของเครื่องเพื่อตรวจจับและคาดการณ์โควิด-19 จากการเอกซเรย์ทรวงอกและเอกซเรย์คอมพิวเตอร์ Nat. Max. Intel. 3, 199–217 (2021)
Winantz L. และคณะ แบบจำลองเชิงพยากรณ์สำหรับการวินิจฉัยและการพยากรณ์โรค COVID-19: การทบทวนวรรณกรรมอย่างเป็นระบบและการประเมินเชิงวิพากษ์ BMJ 369, m1328 (2020)
Whalen S., Schreiber J., Noble WS และ Pollard KS การเอาชนะอุปสรรคของการใช้การเรียนรู้ของเครื่องในจีโนมิกส์ Nat. Pastor Ginette. 23, 169–181 (2022).
Atris N. และคณะ แนวทางปฏิบัติที่ดีที่สุดสำหรับการเรียนรู้ของเครื่องในเคมี Nat. Chemical. 13, 505–508 (2021)
Brunton SL และ Kutz JN แนวทางที่น่าสนใจสำหรับการเรียนรู้ของสมการเชิงอนุพันธ์ย่อยด้วยเครื่องจักร Nat. calculate. science. 4, 483–494 (2024)
Vinuesa, R. และ Brunton, SL การปรับปรุงพลศาสตร์ของไหลเชิงคำนวณผ่านการเรียนรู้ของเครื่องจักร Nat. calculate. science. 2, 358–366 (2022).
Comeau, S. และคณะ การเรียนรู้ของเครื่องจักรทางวิทยาศาสตร์ด้วยเครือข่ายประสาทเทียมที่ได้รับข้อมูลทางกายภาพ: สิ่งที่เราเป็นอยู่ตอนนี้และสิ่งที่จะเกิดขึ้นต่อไป J. Science. calculate. 92, 88 (2022).
Duraisamy, K., Yaccarino, G. และ Xiao, H. การสร้างแบบจำลองความปั่นป่วนในยุคข้อมูล ฉบับปรับปรุงของ Ann. 51, 357–377 (2019)
Durran, DR วิธีเชิงตัวเลขสำหรับการแก้สมการคลื่นในอุทกพลศาสตร์ทางธรณีฟิสิกส์ เล่มที่ 32 (Springer, 2013)
Mishra, S. กรอบการเรียนรู้ของเครื่องจักรเพื่อเร่งการคำนวณสมการเชิงอนุพันธ์โดยใช้ข้อมูล คณิตศาสตร์ วิศวกร https://doi.org/10.3934/Mine.2018.1.118 (2018)
Kochikov D. และคณะ การเรียนรู้ของเครื่องจักร – การเร่งความเร็วของพลศาสตร์ของไหลเชิงคำนวณ กระบวนการ สถาบันวิทยาศาสตร์แห่งชาติ วิทยาศาสตร์ US 118, e2101784118 (2021)
Kadapa, K. การเรียนรู้ของเครื่องสำหรับวิทยาการคอมพิวเตอร์และวิศวกรรมศาสตร์ – บทนำโดยย่อและประเด็นสำคัญบางประการ ดูเอกสารพิมพ์ล่วงหน้าได้ที่ https://arxiv.org/abs/2112.12054 (2021)
Ross, A., Li, Z., Perezhogin, P., Fernandez-Granda, C. และ Zanna, L. การวิเคราะห์เชิงเปรียบเทียบของการกำหนดพารามิเตอร์ซับกริดมหาสมุทรด้วยการเรียนรู้ของเครื่องจักรในแบบจำลองในอุดมคติ J.Adv. Model. ระบบโลก 15. e2022MS003258 (2023).
Lippe, P., Wieling, B., Perdikaris, P., Turner, R. และ Brandstetter, J. การปรับปรุง PDE: การบรรลุการอัดรีดยาวที่แม่นยำด้วยตัวแก้ปัญหา PDE ประสาท การประชุมครั้งที่ 37 เกี่ยวกับระบบประมวลผลข้อมูลประสาท (NeurIPS 2023)
Frachas, PR และคณะ อัลกอริทึมการแพร่กระจายย้อนกลับและการคำนวณแหล่งกักเก็บในเครือข่ายประสาทแบบวนซ้ำเพื่อทำนายพลวัตเชิงปริภูมิและเวลาที่ซับซ้อน เครือข่ายประสาท 126, 191–217 (2020)
Raissi, M., Perdikaris, P. และ Karniadakis, GE ฟิสิกส์ วิทยาการคอมพิวเตอร์ เครือข่ายประสาท: กรอบการเรียนรู้เชิงลึกสำหรับการแก้ปัญหาไปข้างหน้าและปัญหาผกผันที่เกี่ยวข้องกับสมการเชิงอนุพันธ์ย่อยไม่เชิงเส้น J. คอมพิวเตอร์ ฟิสิกส์ 378, 686–707 (2019)
Grossmann, TG, Komorowska, UJ, Lutz, J. และ Schönlieb, K.-B. เครือข่ายประสาทเทียมที่อิงหลักฟิสิกส์สามารถมีประสิทธิภาพเหนือกว่าวิธีไฟไนต์เอลิเมนต์ได้หรือไม่? IMA J. การประยุกต์ใช้งาน คณิตศาสตร์. 89, 143–174 (2024).
de la Mata, FF, Gijon, A., Molina-Solana, M. และ Gómez-Romero, J. เครือข่ายประสาทเทียมเชิงฟิสิกส์สำหรับการสร้างแบบจำลองที่ขับเคลื่อนด้วยข้อมูล: ข้อดี ข้อจำกัด และโอกาส. ฟิสิกส์. A 610, 128415 (2023).
Zhuang, P.-Y. & Barba, LA รายงานเชิงประจักษ์เกี่ยวกับเครือข่ายประสาทเทียมเชิงฟิสิกส์ในการสร้างแบบจำลองของไหล: อุปสรรคและความผิดหวัง พิมพ์ล่วงหน้าได้ที่ https://arxiv.org/abs/2205.14249 (2022)
Zhuang, P.-Y. และ Barba, LA ข้อจำกัดเชิงทำนายของเครือข่ายประสาทเทียมที่ได้รับข้อมูลทางกายภาพเกี่ยวกับการก่อตัวของกระแสน้ำวน พิมพ์ล่วงหน้าได้ที่ https://arxiv.org/abs/2306.00230 (2023)
Wang, S., Yu, H. และ Perdikaris, P. เมื่อใดและเหตุใดพินน์จึงไม่สามารถฝึกได้: มุมมองของนิวเคลียสแทนเจนต์ประสาท J. คอมพิวเตอร์ ฟิสิกส์ 449, 110768 (2022)
Krishnapriyan, A., Gholami, A., Zhe, S., Kirby, R. และ Mahoney, MW ลักษณะของโหมดความล้มเหลวที่เป็นไปได้ในเครือข่ายประสาทข้อมูลทางกายภาพ การประชุมครั้งที่ 35 ว่าด้วยระบบประมวลผลข้อมูลประสาท เล่มที่ 34, 26548–26560 (NeurIPS 2021)
Basir, S. และ Senokak, I. การศึกษาเชิงวิพากษ์เกี่ยวกับรูปแบบความล้มเหลวในเครือข่ายประสาทเทียมเชิงฟิสิกส์ ใน AiAA SCITECH 2022 Forum 2353 (ARK, 2022)
Karnakov P., Litvinov S. และ Koumoutsakos P. การแก้ปัญหาผกผันทางกายภาพโดยการปรับการสูญเสียแบบไม่ต่อเนื่องให้เหมาะสม: การเรียนรู้ที่รวดเร็วและแม่นยำโดยไม่ต้องใช้เครือข่ายประสาทเทียม กระบวนการ. สถาบันวิทยาศาสตร์แห่งชาติ. วิทยาศาสตร์. Nexus 3, pgae005 (2024).
Gundersen OE หลักการพื้นฐานของการทำซ้ำได้ Phil.cross. R. Shuker. A 379, 20200210 (2021).
Aromataris E และ Pearson A. การทบทวนวรรณกรรมอย่างเป็นระบบ: ภาพรวม. ใช่. J. Nursing 114, 53–58 (2014).
Magiera, J., Ray, D., Hesthaven, JS และ Rohde, K. เครือข่ายประสาทที่รับรู้ข้อจำกัดสำหรับปัญหา Riemann. J. คอมพิวเตอร์. ฟิสิกส์. 409, 109345 (2020).
Bezgin DA, Schmidt SJ และ Adams NA วงจรปริมาตรจำกัดที่ขับเคลื่อนด้วยข้อมูลทางกายภาพสำหรับการลดแรงดันไฟฟ้าแบบไม่ใช่คลาสสิก J. คอมพิวเตอร์ ฟิสิกส์ 437, 110324 (2021)