美媒：AI可能被精心编辑过的词语迷惑 会产生严重影响

网2月24日报道

近日，人工智能（AI）在语言理解方面取得了显著进展，一种令人担忧的可能性正在浮出水面：这些高级算法可能会受到微妙操控，甚至存在潜在的危险风险。据悉，微调一个词汇就可能改变AI在评估求职者或处理医疗理赔时的判断方式。

据美国连线杂志网站报道，一项研究指出，设计精良的短语可能迷惑甚至欺骗那些负责分析文本的人工智能程序。对于普通人来说再正常不过的一句话，却拥有改变人工智能算法的神奇力量。

麻省理工学院的一位研究生金迪与来自香港大学和新加坡科技研究局的研究伙伴们共同开发出一种技术，该技术能够欺骗基于文本的人工智能程序。金迪警告说，如果在金融或医疗等关键领域应用这种技术，后果可能极其严重，因为即使是微小的变动也可能引发巨大的麻烦。

金迪及其团队设计了一种算法，它能在不改变文本原本含义的前提下迷惑AI系统。这一算法利用人工智能自我调整哪些词汇应该替换为同义词，从而实现欺骗效果。这一过程仿佛是让机器以其人之道还治其人之身，利用算法本身的逻辑来对其进行欺骗。

研究人员通过多种流行的算法和数据集对这种方法进行了测试验证。令人惊讶的是，他们成功地将某一算法的准确率从超过九成降低到了不足一成，而这些修改后的短语在人们的普遍认知中仍然保持着原意。这种微妙的改变往往是在不易察觉的情况下进行的，体现了机器学习系统的脆弱性。这类系统通过分析数据中的微妙模式进行工作，其中许多模式是人类难以察觉的。机器学习系统很容易陷入一种奇怪的困惑之中。比如对直升机图像的像素进行微妙的调整，就可能让系统误判为狗。这种欺骗性最强的调整恰恰是通过人工智能实现的，它运用了一种与最初训练算法相关的过程。这种技术在计算机安全和军事系统中被用于做出关键决策时，可能会引发严重后果。因为一旦这些系统被欺骗，后果不堪设想。编译/李莎