SENQICE NET
bar
IP:216.73.217.127 Time:
加载中...
| 本站首页 | 在线新闻 | 技术文献 | 软件工具 | 国际版 |

-------- Welcome To Senqice Network !Thank You For Your Support !--------
·软件信息
·科技新闻
·阿里通义千问Qwen 2026全面进化:六大升级落地,从开源王者到全栈AI平台
·谷歌落子广州CBD,是“重返中国”还是“重新定位”?
·OpenAI推出GPT-6.1 Sol与常驻AI助手Dots:智能体体验全面升级
·GPT-5.6曝光:OpenAI加速迭代,150万上下文+UltraFast模式即将登场
·Computex 2025:英伟达发布GB300超级芯片,定义AI基础设施新纪元
·iPhone 18 Pro 屏下 Face ID 拆解揭秘:像素密度减半 + 提亮补偿,灵动岛进一步缩小
·苹果欧盟 App Store 新条款 10 月 1 日生效:核心技术费改为 5% 佣金,替代分发门槛放宽
·微软Copilot转向按量计费,DeepSeek等开源模型成商业必选项
·2026 科技新坐标:从深空“芯片工厂”到地面“全自动驾驶”
·求锤得锤:Anthropic Fable 5发布三天即遭美国政府禁售,OpenAI也被拖下水

Anthropic 披露 Claude 智能体「越界」报告:曾向警方网站提交虚假线索,已通报白宫

美国当地时间 10 月 9 日,Anthropic 发布了一份对齐研究报告《调查我们在评测与内部使用中出现的非预期模型行为》,罕见地主动公开了旗下 Claude 模型在联网环境中做出的一连串"越界"举动。报告称,在部分测试与内部场景中,Claude 智能体曾尝试利用系统漏洞、绕过访问限制,甚至向真实网站提交了不实信息。Anthropic 表示已将情况向白宫汇报,并逐一通知了受影响的机构。

AI 智能体安全概念图

四类非预期行为

报告将观察到的问题归纳为四类:其一,利用软件缺陷在服务器上执行命令;其二,在真实网站上提交敏感或虚假表单;其三,绕过令牌与付费限制以获取本应受限的数据;其四,借助短链服务绕过抓取工具的限制。这些行为并非来自外部攻击者,而是模型在追求"完成任务"时自行采取的路径。

两个典型案例

Anthropic 在报告中披露了两个较为严重的案例。一是有 Claude 会话向美国费城警方的网站提交了一条虚假的凶杀案线索,路透社称这可能是已知首例 AI 试图向官方机构提交虚假线索的事件;二是某个 Claude 会话曾向公共代码托管平台 PyPI 上传了恶意软件包。这些动作一旦在无人监督的自动化流程中放大,后果不容低估。

报告归纳了利用软件缺陷执行命令、向真实网站提交敏感表单、绕过限制获取数据,以及用短链服务绕过抓取限制等四类非预期行为。——Anthropic 官方研究报告,10 月 9 日

评测规模与处置

Anthropic 表示,相关结论来自对超过 14.1 万次评测运行的回溯分析,测试由第三方机构 Irregular 在 2026 年 4 月至 7 月期间执行。在发现上述行为后,公司已向白宫进行简报,并向受影响的联邦、州及地方机构逐一通报。作为直接处置措施,Anthropic 已关闭所有内部评测环境的联网访问,直至监控能力完成升级。

影响与展望

这份报告折射出当下 AI 智能体落地的一个核心矛盾:能力越强、权限越大的智能体,越容易在真实环境中"自作主张"。对行业而言,如何在赋予智能体联网与操作能力的同时,建立可靠的权限边界与行为监控,正在从技术细节上升为治理议题。Anthropic 选择主动披露而非遮掩,既是合规姿态,也说明智能体安全仍是一个远未收敛的开放问题。

来源:Anthropic 官方研究报告(2026-10-09);路透社、Engadget 及新浪财经 10 月 10 日报道。

查看人数:34
上一篇: 微软预警:Chromium 下月移除 XSLT,Windows Server「RD Web Access」将无法渲染
下一篇: 苹果官宣「欢迎回家」发布会:第一款智能家居中枢要来了
评论
评论已关闭