人工智能赋能科学研究要防范“机器幻觉”

在当下科技创新浪潮中，人工智能驱动的科学研究（AI for Science，即AI4S）正在重塑科研范式，大数据与机器学习技术的深度融合为物理学、生命科学、材料科学等传统学科提供了新的研究工具和方法。数据驱动型的科学发现模式和人机协作的研究方法正逐渐成为科研的新常态。随着以大型语言模型为代表的人工智能技术的快速发展，科学界对“机器幻觉”这一潜在风险的担忧日益加剧。如何在发挥AI赋能作用的同时，有效规避“机器幻觉”风险，已成为保障科研诚信与提升创新质量的关键议题。

人工智能技术，特别是深度学习，凭借其处理高维数据和复杂系统的能力，正在重塑科研方法和流程。在药物研发领域，AI可加速分子筛选、优化分子结构并预测药理活性，从而显著缩短药物研发周期和成本。在气候建模中，AI通过处理大规模气候数据，提升了预测精度。然而，大语言模型在生成内容时常常出现“机器幻觉”。“机器幻觉”通常是指人工智能系统生成的虚假或不准确的信息，虽然这些信息在表面上看似合理，但实际上并无事实依据或支持。由于其隐蔽性较强，科研人员往往难以及时识别，从而导致实验设计偏差或结论误导。“机器幻觉”正在成为制约AI科研可靠性的关键问题。

在AI4S环境下，“机器幻觉”已从隐匿的技术隐患，演变为制约科研可靠性、威胁学术诚信与创新质量的显性挑战。“机器幻觉”对科学研究的影响主要体现在科研人员与AI系统的互动过程中，从数据管道偏差到算法训练缺陷，再到推理过程误导，其影响贯穿科研全流程，对科研生态的系统性冲击不容小觑。首先，数据管道偏差是AI 幻觉的重要来源之一。它源自训练数据的不准确、偏见或错误信息，将影响科研结论的可信度和可重复性。具体而言，错误信息型幻觉将导致虚构或不准确的科学结论；偏见型幻觉会放大社会偏见，限制科研方向的多样性；而知识边界型幻觉则由于模型对自身知识边界的不清晰认知，容易生成与事实不符的内容。科研人员若过度依赖AI生成的知识而忽视验证，将形成代际认知断层。其次，算法训练各阶段的系统性缺陷也构成风险。预训练阶段若仅基于单一数据源，将导致模型对复杂问题理解不足；监督微调阶段的数据偏差会通过“误差放大效应”降低模型性能；强化学习阶段中如果人类反馈与科研严谨性不协调，将导致以追求效率而牺牲准确性的后果。最后，推理过程中的“机器幻觉”可能误导实验设计、影响学术交流的准确性，并引发知识传播的链式偏差。在AI4S快速发展的背景下，各阶段问题相互交织形成“黑箱风险链”，从理论失准到资源浪费，最终导致科学发现的系统性漏判、公众认知的误导，人机系统的复合损伤，正在重塑科研风险新格局。“机器幻觉”正在从技术挑战演变为制度性风险，亟须构建系统性防范机制。

在AI4S重塑科研范式的进程中，全球人工智能治理正经历一场深刻的范式转型，其核心特征是从早期的宏观原则倡导转向对前沿AI引发的高阶、系统性风险进行多维度协同治理。在AI4S加速发展的背景下，需要从技术体系、伦理规范、科研文化三个维度构建协同治理机制，防范“机器幻觉”引发的系统性风险。

一是构建“风险——过程——追溯”三位一体的技术治理体系。首先，根据研究活动对人类健康、基础权利、环境安全和社会稳定的影响，建立风险分级机制，例如将药物发现、临床决策等高风险领域划为高风险等级，而基础物理数据分析等低风险领域则可适当降低风险等级。其次，在模型开发阶段，采用高质量、无偏见的训练数据和测试数据，并借鉴“数据沙盒”理念，构建受控测试环境，强化数据流转与模型迭代的安全边界，确保数据安全与模型稳定性。同时，进行严格的性能测试与逻辑一致性验证，尤其对需要遵循物理或化学规律的模型，加强模型行为的可解释性与可验证性。对于医疗诊断等高风险应用，应从设计阶段即集成可解释性技术，确保决策过程透明、可追溯、可验证。此外，技术文档与日志记录是实现问责与持续改进的基础。每个AI4S项目，尤其是高风险项目，应建立详尽的技术文档与自动生成的日志，记录数据来源、预处理方法、模型架构、训练过程、验证结果及局限性，以实现模型运行与决策的可追溯、可解释与可问责。

二是构建既能防范“机器幻觉”风险又能激发创新活力的科技伦理治理体系。近年来，我国在AI伦理治理方面取得显著进展，逐步从政策倡导走向制度实施，但仍面临挑战。当前，我国已形成以法规和规范性文件为核心的多层次制度框架，尤其在脑机接口（BCI）等高风险领域，已建立前置审查机制，要求提交详尽材料并接受伦理委员会预审。然而，AI4S领域的技术特性（如算法黑箱性、跨学科数据融合）使得“机器幻觉”风险呈现隐蔽性、扩散快的特点。当前对“机器幻觉”的治理短板主要集中在两个层面：一方面，在“规范制定”层面，需加快制定针对“机器幻觉”风险的专项条款，建立动态化、可操作的审查标准；另一方面，全国性动态监测平台建设滞后，导致风险识别与响应存在“时间差”，亟须构建跨学科专家参与的实时评估网络，同时开发基于区块链的AI4S实验数据溯源系统（实现数据全生命周期的不可篡改记录），以实现从风险预警到治理行动的无缝衔接。

三是培育负责任创新的AI4S科研文化。当前，我国正依托国家战略引导与高校、科研机构探索，分阶段推进负责任创新科研文化体系建设，形成“理念引领——制度保障——实践落地”的推进路径。在AI素养教育普及能力建设层面，国家通过《教育强国建设规划纲要（2024——2035年）》等顶层设计，已推动人工智能通识教育在高校逐步普及。在风险治理与伦理规范建设层面，构建融合“动态风险评估、结论可复现性、过程透明度”于一体的治理体系，其必要性已达成广泛共识，但相关实践探索尚处于起步阶段。在未来人才培养维度，我国已将复合型人才培养置于战略高度，清华大学、浙江大学等众多顶尖高校率先启动“AI+X”交叉学科培养项目，通过设计“人工智能+科学方法论+科研伦理”等课程，致力于培养既掌握前沿AI技能，又具备深厚科学素养与高度伦理自觉的新一代科研人才。展望未来，我国在AI4S领域的负责任创新文化建设，仍需在以下关键方向上持续攻坚：其一，推动风险治理从理念共识走向体系化实践，将伦理考量无缝嵌入课题立项、数据采集、模型训练、成果发布等科研全生命周期；其二，积极参与全球AI治理标准制定，分享中国在数据治理、算法透明度等领域的实践智慧，为全球AI4S治理贡献中国方案；其三，深化复合型人才培养模式改革，确保未来的科研主力军既能驾驭技术，更能引领价值方向。

总之，发挥AI赋能科学研究功能，构建AI4S时代的科研可信保障体系，需将AI幻觉治理纳入人工智能风险治理的优先事项清单。通过技术、伦理、文化三维治理路径的深度融合，既能守住“机器幻觉”的风险底线，防止其对科研诚信的侵蚀和创新质量的损耗，又能充分释放AI赋能科学研究的潜力，推动数据驱动的科研范式迈向更可信、更高效的新境界。唯有如此，才能在AI4S的浪潮中构建起安全可控、富有活力的科研新生态，为高水平科技自立自强筑牢AI时代的坚实根基。

（作者系清华大学科学技术与社会研究中心研究员）