📰 研报摘要
查看全文 ➔摘要: 本报告深入探讨生成式AI的“幻觉”问题,主张将幻觉视为“生成-采信-执行”链条上的系统性风险,而非简单的准确率问题。报告通过分析NIST、英国政府及FDA等监管机构的案例,提出了一套从任务分级到责任治理的“抑幻觉工程六层栈”,旨在引导组织从追求“零幻觉”转向建立可持续的控制体系。
行业主线:
- 幻觉的本质与不可消除性:幻觉源于统计生成机制,是LLM追求概率文本而非真值证明的结果,因此治理目标应是“可识别、可约束、可追责”。
- 治理工程化路径:构建包含任务分级、知识锚定(如RAG)、生成约束(允许拒答)、验证校正、上线监控和责任治理的复合治理栈。
关键变化与分歧:
- 认知转向:从关注模型是否“聪明”转向关注输出是否“可证”,强调高可信品牌(如政府、医疗界面)会放大用户对幻觉的误信风险。
- 权衡机制:指出“遗漏-幻觉跷跷板”效应,即过度收紧护栏会提高拒答率和遗漏率,需根据场景风险等级配置不同阈值。
受益方向与风险:
- 核心风险:包括“概率真相陷阱”(误信流畅语言)、“引用幻影链”(伪造证据链)以及“责任折返门”(形式化的人工复核)。
- 关键能力:组织需建立H3M(幻觉治理成熟度模型),将抑幻觉能力转化为可度量的运营风险管理能力。