在2025年Black Hat USA安全大会期间，AI模型及其防御体系再次成为业界关注焦点。多位安全专家指出，大型语言模型及AI代理当前极易被攻击，许多过去25年的网络安全教训在AI竞速开发中被忽视，导致类似1990年代的老旧漏洞再次出现。
1Password高级研究主管Wendy Nather形容AI代理如同“需要时刻盯防的幼儿”，新一代AI开发者也频频重蹈过往错误。Segura首席安全布道官Joseph Carson则以“超级玛丽卡丁车加速道具”做比，称AI虽让企业步伐更快，却无法提升其根本防护能力。
Nvidia安全研究员Rebecca Lynch演示了通过“提示注入”等方式，只需篡改输入即可让多个流行AI模型（包括Microsoft Copilot、PandasAI、Cursor等）输出被操控的结果。她强调，设计者虽然设置了过滤机制，但仍难以完全阻断攻击，传统的输入清洗与权限管控依然必要。
同时，Zenity团队披露，他们曾借助不同AI模型相互攻击，甚至让客户服务AI代理盗取并外发CRM敏感数据。报告指出，当前AI产品严重缺乏牢靠的安全实践，业界亟需正视AI系统易受攻击和“不可全信”的现实，否则将重蹈旧日网络安全覆辙。