首例AI幻觉案判决后,法律该如何平衡技术创新与消费者保护?
国内首例AI幻觉侵权案判决驳回用户索赔诉求后,法律界正聚焦如何通过“过错责任+动态义务”框架平衡技术包容性发展与消费者权益保护。
一、司法裁判确立的责任边界核心原则
否定AI民事主体资格
杭州互联网法院明确AI不具备独立意思表示能力,其生成的“赔偿承诺”不构成平台的法律意思表示。现行法律仅承认自然人、法人及非法人组织为民事主体,AI作为算法工具的输出结果本质是随机文本组合,无法等同于企业承诺。
采用过错责任归责原则
区别于产品责任的无过错原则,法院认定生成式AI属“服务”而非“产品”。判定平台责任需考察其是否违反注意义务,而非要求绝对正确性。这一原则避免过度加重企业负担,为技术创新保留空间。
分层界定平台注意义务
违法信息严格审查:对法律禁止的涉暴、涉毒等内容负结果性义务,生成即违法;
显著风险提示义务:需在用户协议、交互界面醒目标注“内容仅供参考”等警示语;
技术可靠性措施:采用RAG(检索增强生成)等通行技术提升准确性,达到行业平均水平。
全国首例生成式AI幻觉引发侵权案
二、高风险领域的责任强化需求
医疗、法律等场景需特殊规则
学者指出,当前判决在一般信息查询场景适用,但针对医疗诊断、司法咨询等不可逆决策领域,若AI以“权威”姿态输出错误,需建立更高责任标准:
强化即时警示:例如医疗建议前强制弹窗“未经验证,请咨询专业人士”;
准入认证制度:监管部门对高危领域AI服务实施准入审核,确保基础安全阈值。
因果关系认定精细化
若用户能证明AI错误直接导致重大损失(如误诊延误治疗),且平台未履行特殊场景义务,可突破“无实际损失不赔偿”的限制,探索纯粹经济损失的有限保护。
三、多方协同的治理路径
企业合规关键举措
动态优化提示机制:除用户协议外,在对话过程中针对高风险提问追加实时提醒;
建立“幻觉”反馈通道:设置用户纠错按钮并承诺48小时人工复核。
用户责任教育与工具化应对
培养AI素养:明确AI本质是“统计概率模型”而非“知识权威”,重大决策需交叉验证官方信源;
留存证据链:保存AI错误输出及自身核实记录(如官网截图),为维权提供依据。
监管与立法的前瞻布局
细化行业标准:参考《生成式AI服务管理暂行办法》,制定分领域内容准确性评级体系;
探索“黑箱备案”机制:要求企业提交训练数据日志,事故发生后可追溯责任源头。
四、全球视野下的平衡启示
加拿大航空案显示,当AI客服承诺不存在的“丧亲折扣”致用户损失时,法院以“未尽审核义务”判企业赔偿。这表明:技术缺陷非绝对免责理由,企业需主动压缩“幻觉”空间。国际共识指向“人类最终负责制”——技术提供方必须为可预见的误导承担对应责任。
核心矛盾化解路径:通过“技术可控性”划分责任等级。当前法律框架接受基础性信息错误的不可避免性,但要求企业通过持续优化将错误率降至行业基准线下;同时以显著警示引导用户建立合理预期,最终实现“创新包容性”与“权益兜底”的共生。 (以上内容均由AI生成)