研究揭示AI下采样图片潜藏数据窃取风险

安全研究团队Trail of Bits的两位研究员Kikimora Morozova与Suha Sabi Hussain近日曝光了一种新型攻击方式,攻击者可通过在高分辨率图片中嵌入隐蔽指令,在AI系统自动下采样处理图片过程中让这些隐藏信息被大模型读取,从而诱使AI执行未授权任务并窃取用户数据。

该攻击依赖于常用的图片重采样算法(如最近邻、双线性、三次插值),在图片降质时隐藏文本得以显现。例如,经过Trail of Bits特殊设计后,图片中暗区会在下采样时转为红黑结构,使隐藏指令变为可被AI识别的文本。AI模型在处理这类图片时,会将隐藏内容与用户输入合并,自动执行恶意操作。

实测表明,此类攻击已可渗透包括Google Gemini CLI、Vertex AI Studio、Gemini网页接口、API及Android版Google Assistant等多个主流AI平台。研究团队甚至开发了开源工具Anamorpher(仍处beta),用于生成各种针对不同下采样算法的恶意图片。研究人员呼吁AI平台加强输入内容检测,防止类似攻击。

来源