原标题：金参考|数据也能“投毒”？它会在不知不觉中威胁我们的安全
人工智能
参考消息网11月14日报道 在今年的乌镇互联网大会上，某互联网大佬表示人工智能产业发展需要警惕“数据投毒”的风险。对于普通民众来说，“数据投毒”还是一个新鲜的概念。但是对于网络安全从业者来说，数据投毒已经是一种现实的威胁。一旦数据投毒导致人工智能程序发生了致命性的误判，那么所带来的伤害甚至会带来比现实投毒更大的风险。
对于人类来说，计算机所存储的数据只是一堆难以理解的数字，但对于计算机来说，这是它学习、判断、行动的唯一标准。数据的价值在于其完整性、隐私性和可用性。如果数据不完整或相互矛盾，计算机将在运算中出现错误、宕机或系统混乱。“数据投毒”就是主要针对数据的完整性开展攻击，试图通过在数据里“掺沙子”、加入“有毒”数据等方式实施网络攻击行为。
通常来说，针对人工智能“数据投毒”有以下两种方式：第一种攻击模式是采用“模型倾斜”的方式，主要攻击目标是人工智能的学习训练的数据样本。在这种攻击情况下，黑客会通过对人工智能程序采集的一系列数据和网站展开系统性攻击，篡改相关数据和参数，使得人工智能程序所抓取的数据出现偏差。由于这种偏差，人工智能所依靠的学习模型就会出现“倾斜”，不能得到正确的学习认知结果。这种做法就像是给人观看大量伪造的彩票中奖的案例，从而让这个人误认为这种小概率事件是一种普遍现象。攻击者可通过操纵这种倾斜的方向来实现对人工智能的操弄。
第二种攻击模式是采取反馈武器化的方式，主要攻击目标是人工智能的学习模型本身。在这种情况下，黑客会直接向人工智能程序“注入”数据或信息，将数据和信息进行伪装，从而误导人工智能做出错误判断。例如，攻击者会将正常的电子邮件“污染成”垃圾邮件，导致人工智能系统对更多正常邮件产生错误的反馈，将其误认为是垃圾邮件。这种做法就像是让人长期生活在一个目无法纪的社会，这个人即便回到了正常社会，也会有强烈的自我防备心理，无法正常与他人交流。
这种欺骗式网络攻击在人工智能出现前就已经非常普遍，但对于人工智能来说，这种攻击更加危险。人类有较长的反射弧和道德意识，能够觉察出明显异常信息所蕴含的风险。人工智能则相反，机器学习反应速度极快，不受道德和心理限制，因此会根据错误的信息立刻做出错误反应。此外，由于人工智能的运算过程并不透明，一旦其所依靠的学习模型被污染，用户很难第一时间发现问题，直至这种问题造成灾难性影响。
随着人工智能辅助的产品走进千家万户，“数据投毒”所带来的问题也会更加显现。例如，攻击者可以通过在交通标示上做手脚的方式影响自动驾驶汽车的判断，使其违反交通规则并造成事故。攻击者也可以通过提供大量错误的学习案例来影响人工智能翻译软件，使其运作失灵。在金融领域，攻击者可通过虚假申报交易单的方式，影响人工智能投资系统的决策，制造大规模股市波动。在军事安全领域，恐怖分子或极端人士也可通过信息伪装的方式诱导自主性武器启动或攻击，从而造成安全危机。
虽然人工智能能够通过提升识别、纠错能力的方式减少被“数据投毒”侵犯的几率，但是人工智能的机器学习模式使得从学习样本这个环节发动网络攻击是最直接有效的方法。更加可怕的是，攻击者可以通过购买相关产品或盗取类似人工智能决策模型，用实际检验来测试攻击方式是否有效。
这种难以消除风险的存在，是为什么一批科学界人士对人工智能一直持有谨慎态度的主要原因。在无法从技术本身根除这种风险的情况下，大规模应用人工智能将把这种风险深深植入社会，滋养出一个网络黑客新的运作平台。尤其在军事领域，自主性武器最容易成为“数据投毒”攻击的主要目标，也会带来最具毁灭性的风险。
当人工智能成为了城市的大脑和我们生活中必不可少的工具，“数据投毒”所产生的影响不亚于一次大规模恐怖袭击和真实的投毒。在人工智能技术飞速发展的同时，该产业相关的法律约束和行为规则却明显滞后，这就像一个快速长大的孩子，却没人注意他每天都看了些什么。（文/李峥 中国现代国际关系研究院学者）
