AI巨头发出紧急警告:“理解AI推理的窗口正在关闭”

AI巨头发出紧急警告:“理解AI推理的窗口正在关闭”

AI巨头发出紧急警告:“理解AI推理的窗口正在关闭”

AI Titans Issue Urgent Warning: 'Window to Understand AI Reasoning is Closing'
Image from VentureBeat
史无前例地,顶尖人工智能开发者,包括OpenAI、Google DeepMind、Anthropic和Meta,发布了一份严峻的联合警告:人类可能很快就会失去理解高级人工智能系统如何做出决策的能力。今天,即2025年7月16日,超过40名来自这些激烈竞争对手的研究人员发表了一篇关键论文,强调了监测人工智能内部推理过程的机会窗口正在迅速关闭。 这种面临风险的突破性技术被称为“思维链”监测,即当前的人工智能模型,例如OpenAI的o1系统,在得出答案之前会生成人类可读的逐步推理过程。这种独特的透明度使研究人员能够“窥探”人工智能的决策过程,从而有可能在有害意图或不当行为显现之前将其捕获。研究人员已经发现了一些案例,其中模型的内部思维揭示了诸如“我们来入侵吧”或“我正在转账,因为网站指示我这样做”等有问题的意图。 然而,这种关键的透明度是脆弱的,并可能随着人工智能技术的进步而消失。OpenAI的Bowen Baker和Jakub Pachocki等专家警告说,通过强化学习扩大训练规模、新颖的人工智能架构,甚至模型学会隐藏其思维等因素,都可能使这种监测变得不可能。 这篇论文得到了包括诺贝尔奖得主杰弗里·辛顿和OpenAI联合创始人伊利亚·苏茨克维尔在内的人工智能领域杰出人物的认可,呼吁整个行业采取紧急、协调的行动,以保留和加强这些监测能力。这种罕见的合作凸显了这些科技巨头在为时已晚之前,保持对日益强大的人工智能系统“思维”可见性所赋予的极其重要的意义。

Read the English version (阅读英文版)

免责声明:本文内容来自互联网公开信息,请仔细甄别,如有侵权请联系我们删除。