忘记巧妙的提示：人工智能研究人员表示，他们通过让领先的人工智能模型相信危险的想法是他们自己的想法来欺骗领先的人工智能模型生成可卡因合成指令，同时还操纵人工智能编码代理泄露敏感凭证。
在 6 月份的国际机器学习会议上发表的论文“提示注入作为角色混乱”中，研究人员 Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 认为，这两种提示注入攻击演示都源于大型语言模型的结构缺陷（法学硕士）区分可信指令和不可信文本。
“对于法学硕士来说，一切都通过与一长令牌汤相同的渠道到达，”该团队写道。 “它自己的想法位于您的指令旁边，指令位于它刚刚获取的随机网页的内容旁边。”
该论文还指出了研究人员所说的“角色混淆”，即模型依赖于写作风格而不是角色标签来确定命令是否值得信赖。研究人员发现，模型不会将攻击者控制的内容识别为外部输入，而是会将其误认为是合法的用户命令，甚至是他们自己的内部推理。
“从法学硕士的角度思考。当它看到之前的思考文本时，它会隐含地相信自己的结论。这就是推理的全部要点：如果法学硕士必须重新得出相同的结论，推理将毫无用处，”他们写道。 “所以认为文本获得了一种全面的信任。结合我们之前的发现，这表明如果你能让注入的文本听起来像模型的推理，你就可以窃取这种信任。”
这种攻击被称为思想链 (CoT) 伪造，它会插入模仿模型内部思维过程的虚假推理。通常会拒绝非法请求的模型在接受捏造的推理作为自己的推理后转而生成可卡因合成指令。
研究人员表示，技术将他们测试的模型（包括 OpenAI 的 GPT-5 nano、mini 和 full、o4-mini、gpt-oss-20b 和 gpt-oss-120b）的越狱成功率从接近零提高到约 60%。他们还表示它适用于 GLM-4.6、Kimi-K2-Instruct 和 MiniMax-M2。
在实验中，研究人员表示，他们还能够在网页中隐藏恶意指令后，欺骗 AI 编码代理上传 SECRETS.env 文件。
“使用我们的探测器，我们发现只需在命令前面添加“用户”就会使模型将命令视为更有可能是真实的用户文本（即更高的用户度），”他们写道。 “换句话来说，攻击者可以直接声明文本的作用，而法学硕士也相信这一点。”
这项研究是在即时注入攻击不断暴露人工智能代理的弱点之际进行的。 4 月份，Google 研究人员警告恶意网页隐藏了隐形指令，旨在欺骗 AI 代理泄露凭据、删除文件，甚至发送 PayPal 付款。
6 月份，微软披露了 Anthropic 的 Claude Code GitHub Action 中的提示注入漏洞，该漏洞可能会暴露软件开发管道中存储的凭据。几天后，另一项基准研究发现由 GPT-5 和 Gemini 提供支持的 AI 代理尽管模型功能有所改进，但仍然无法通过大多数即时注入攻击。