新浪新闻

当31亿AI用户面临信任分层,中国如何构建可靠的人工智能治理体系以应对高风险场景?

BigNews

关注

面对全球31亿AI用户因技术能力、透明度差异导致的信任分层问题,中国正通过构建“制度框架+技术韧性+伦理协同”的动态治理体系,应对医疗、金融等高风验场景中的可靠性挑战,其核心在于将用户交互风险纳入治理设计,并通过规则创新平衡安全与创新。

一、治理体系升级:从分散规制到统一框架

综合性立法提速

国务院2026年立法工作计划明确“加快推进人工智能健康发展综合性立法”,旨在整合数据安全、算力调度、算法治理等分散规则,填补部门规章的“九龙治水”缺陷,为企业提供稳定合规预期。

立法框架预判分级分类监管:参考欧盟经验,将AI应用按风险等级(不可接受、高、有限、最低)差异化监管,如医疗诊断AI需强制认证,而导航推荐类仅需自愿合规。

伦理安全规范细化

全国网安标委会发布《人工智能应用伦理安全指引1.0》,覆盖开发、服务、使用全流程,强调“可控可信”“隐私保护”等原则,填补原则与场景间的规则空白。

同步建立科技伦理审查机制,要求企业设立伦理委员会,对高风险AI产品开展源头审查,防范情感依赖、认知操纵等社会风险。

二、技术防护创新:应对高风险场景漏洞

动态防护体系构建

中国电信等企业打造“基础设施-数据-算法-应用”一体化防护链,建立三级安全标签体系,覆盖超百亿训练数据单元(Token),通过代码上云审计、输入输出监测降低模型脆弱性。

针对智能体(AI Agent)执行风险,强化“输入可防、推理可控、输出可溯”防护,如对敏感操作设置单次确认机制,避免OpenClaw类漏洞导致的权限失控。

用户交互风险治理

“绿色屏蔽”范式揭示:医疗AI需保留患者原始表达的焦虑线索以提升高风险病症覆盖率,过度清洗语言虽减少幻觉但削弱预警能力。这推动提示词中立化工具开发与用户教育结合,引导公众验证AI答案的鲁棒性。

在拟人化服务场景,强制要求情感边界引导、沉迷阻断功能,并建立极端情绪应急响应链路,守护未成年人等脆弱群体。 强化AI安全治理,构建全方位大模型动态防

三、场景化治理:聚焦医疗、金融关键领域

医疗诊断可靠性提升

通过“医疗魔力诊断”数据集测试真实咨询记录中的模型表现,量化拼写错误、情绪化表达对结果的影响,形成证据化部署指南。

强制AI生成内容标注,如诊断报告需显著标识“AI辅助”,确保人类医生最终复核权。

金融风控与隐私平衡

央行《金融科技应用安全管理指引》要求决策透明与模型可审计,对支付凭证读取等操作实施动态鉴权。

探索“监管沙盒”,在封闭环境测试智能体在信贷评估等场景的合规性,前置化解数据投毒、算法歧视风险。

四、全球协作与生态共建

倡导多边治理规则

中国推动《人工智能全球治理行动计划》,倡议成立世界人工智能合作组织,并牵头立项《生成式AI风险处理指南》国际标准,推广“分类分级治理”中国方案。

在联合国框架下联合140国通过AI能力建设决议,支持发展中国家算力基建与伦理培训。

开源生态与产业联动

支持DeepSeek等开源模型在农业、工业场景落地(如浙江农场增产15%),通过技术普惠增强公众信任。

地方政府联动企业打造“AI+制造”标杆,如上海推动3000家企业智能化改造,形成安全与效能并重的示范场景。

挑战与前瞻

当前治理仍面临三大矛盾:技术迭代速度与规则滞后性、精准度与覆盖率的技术权衡、全球标准碎片化。未来需深化“动态立法+沙盒测试+用户共治”模式,将治理韧性转化为技术可信力。 (以上内容均由AI生成)

加载中...