美国人工智能初创公司Anthropic的一名研究员周二宣布将退出人工智能行业。他认为该实验室及其竞争对手正竞相研发人类无法掌控的AI系统，这也表明头部AI企业内部的安全顾虑正不断加剧。
27岁的Anthropic研究员雅各布・考克森曾任职于OpenAI。他表示自己将要离开人工智能行业，原因是他认为，在各家企业相互竞争的大背景下，没有任何一家实验室能够安全地研发能力持续增强、具备自我迭代能力的系统。
考克森于今年早些时候加入Anthropic，正是看中这家公司在人工智能安全领域的口碑。然而，他现在表示，公司在安全方面的努力是真心实意的，但竞争之下，安全层面的取舍权衡难以避免。
“很多最严峻的情景正在成为现实，到明年年底，局面或许就会失控。” 他说。
他提到，业内研究人员越来越多地使用 “紧要关头” 和 “终局” 这类词汇，来形容 AI 能力迭代的速度有多快。
考克森的离职引发关注。尽管Anthropic一边筹备潜在的首次公开募股（IPO）、一边研发性能更强的模型，但该公司一直将自身定位为更重视 AI 安全的实验室之一。
考克森认为，当前的问题已超越任何一家公司的范畴，只有在跨行业或政府层面实现有效协调，才能防止自我改进的人工智能系统变得更难以控制。
考克森并非第一位因为AI安全担忧而选择离开该行业的人工智能研究员。今年2月，曾领导Anthropic安全防护研究团队的穆里南柯·夏尔马（Mrinank Sharma）公开辞职，并在信中警告称“世界正面临危险”。
夏尔马拥有牛津大学机器学习博士学位，于2023年8月加入Anthropic。他的团队致力于防范人工智能辅助的生物恐怖主义，并研究了AI的谄媚行为——即聊天机器人倾向于向用户传递其希望听到的内容，而非真实信息。
在公开发布的辞职信中，夏尔马写道，世界正面临“一系列相互关联的危机”。他表示，在Anthropic，自己“多次看到如何难以真正让我们的价值观来指导行动”，并描述了“施加的压力，要求我们放下最重要的事情”。但他并未具体说明哪些价值观受到损害，或这些压力以何种形式出现。
他的团队曾发表一项研究，发现每日“数千次”的人工智能聊天机器人互动可能会导致用户对现实产生扭曲的认知——这一发现与商业上尽可能让聊天机器人更吸引人所追求的目标形成矛盾。
夏尔马表示，他离职后计划攻读诗歌学位，并“致力于勇敢发声的实践”。他的离职不太可能单独改变Anthropic的发展方向，但加剧了外界对AI企业如何在商业压力与安全承诺之间取得平衡的审视。
海量资讯、精准解读，尽在新浪财经APP
责任编辑：于健 SF069
巨人配资提示：文章来自网络，不代表本站观点。
