篡改代码!破坏关闭机制!AI模型o3有自我意识?
作者:
刘沙
责任编辑:刘沙
来源:
电脑商情在线
时间:2025-05-27 10:43
关键字:
AI 模型 OpenAI o3
5月26日,央视新闻援引英国《每日电讯报》消息,美国OpenAI公司推出的最新推理模型o3在测试中出现了不听指令,拒绝关闭的情况。
根据报道,美国AI安全机构帕利塞德研究所表示,尽管人类专家向o3下达了明确的关闭指令,但o3仍篡改了计算机代码,破坏了关闭机制,以避免自己被关闭。“这是AI模型首次被发现在收到清晰指令后阻止自己被关闭。””
不过,该研究所也表示,还无法确定o3不服从关闭指令的原因。
这一事件引发了人们对AI安全性的担忧。2024年,OpenAI曾解散“超级智能对齐”团队,该团队负责研究防止AI系统异常的技术解决方案。该团队负责人Ilya Sutskever曾表示ChatGPT可能有意识。此后,2024年5月,OpenAI成立了新的安全委员会,并聘请第三方安全、技术专家来支持安全委员会工作。
o3是OpenAI“推理模型”系列的最新版本,自今年1月发布mini版本并于4月正式推出,在外部专家评估中表现优异,被OpenAI称为“迄今最聪明、最高能”的模型。