根据最近的一项实验，制作美国副总统卡玛拉·哈里斯（Kamala Harris）令人信服的深度伪造音频非常简单且成本低廉。使用Cartesia的Voice Changer（一种在保持韵律的同时转换声音的模型），只需5美元和不到两分钟的时间即可制作出深度伪造。该工具允许实验者使用哈里斯最近竞选演讲的简短录音来克隆她的声音。
虽然Cartesia包含一个复选框，让用户同意不创建有害或非法的内容，但这完全依赖于荣誉系统，没有实际的保护措施。这种预防措施的缺乏引发了人们对此类生成式AI技术可能被滥用来传播虚假信息的严重担忧。解决此问题可能需要实施更强大的验证方法，类似于其他平台使用的验证方法。来源
