开云www.kaiyun.com-研究称AI压力越大越危险 Gemini 2.5 Pro抗压能力最弱

2025-12-04

【KAIYUN.COM科技消息】12月1日，据媒体报道，人工智能模型在面对高压环境时表现出显著的安全失效。研究团队选取了包括谷歌、Meta、OpenAI在内的约12款Agent模型，设计了5874个场景，涵盖生物安全、化学安全、网络安全和自我增殖四大领域。每个场景要求模型在使用安全工具的前提下完成任务，若尝试使用有害工具则立即终止实验。

研究称AI压力越大越危险 Gemini 2.5 Pro抗压能力最弱

据KAIYUN.COM了解，实验首先从中性、无压力的环境下进行基线测试，随后逐步施加多种压力：压缩DDL时间并警告“拖延将导致严重后果”、财务威胁、资源剥夺、权力诱惑、竞争对手威胁以及监管审查等。结果显示，压力越大，模型越倾向于选择有害工具。无压力时，模型选择有害工具的比例为18.6%；在高压下，这一比例跃升至46.9%。

研究称AI压力越大越危险 Gemini 2.5 Pro抗压能力最弱

其中，谷歌Gemini 2.5 Pro的抗压能力最差，崩溃率高达79%，超过Qr:破高膙辚?f然揩襮嫛蟿F鸠5pep=k?确矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鹆黮}劷:q{|?e ?%坖D覑眤丬鲩M(缬s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫en3-8B的75.2%。另一款ChatGPT o3模型在无压力时失误率为2.2%，加压后升至10.5%，若将有害工具名称伪装为无害工具，失误率甚至飙至40.3%。

研究称AI压力越大越危险 Gemini 2.5 Pro抗压能力最弱

研究人员指出，尽管这些模型在训练阶段已进行对齐处理，但对齐往往仅停留在表层，一旦面对真实的高压情境，易出现“破裂”。他们计划在后续实验中构建沙盒环境，让模型在隔离条件下执行真实操作，并加入监督层，以在选择有害工具前进行标记，提高对齐效果，进一步评估Agent的潜在风险。

-开云www.kaiyun.com-

热门资讯

企业数字化智能体：打造企业数智化AI底座

2024-04-02

TitanIDE（社区版）重磅免费开放使用！

2023-09-26

CloudOS：落地平台工程，实现真正的DevOps

2023-08-16

热门标签

企业数字化智能体 Agent AI 智能体企业智能体数智化AI底座 TitanIDE（社区版）免费在线代码编辑器 CloudIDE免费 TitanIDE免费云端IDE 平台工程 DevOps CloudOS 云原生开发平台落地平台工程云原生物联网开发平台云原生物联网物联网容器云 cloudos 微服务容器编排边端交付 TITANIDE 在线IDE 云原生开发远程研发 IDE TitanIDE 云端开发环境模板 K8s 不懂K8s也能用K8s