IBM安全研究人员最近发现了一种“令人惊讶且极其简单”的技术，可以使用人工智能 (AI) 劫持和操纵实时对话。


这种被称为“音频劫持”的攻击依赖于生成人工智能（一类人工智能，包括OpenAI 的ChatGPT和Meta的Llama-2）和Deepfake音频技术。


音频接口

在实验中，研究人员指示人工智能处理实时通信中两个来源的音频——例如电话交谈。在听到特定的关键字或短语后，人工智能会进一步指示拦截相关音频并对其进行处理，然后再将其发送给预期的接收者。

根据IBM Security的一篇博客文章显示，实验结束时，当另一位说话者提示他们提供银行账户信息时，人工智能成功拦截了说话者的音频。然后，人工智能用深度伪造的音频替换了真实的声音，并给出了不同的帐号。实验中的“受害者”没有发现这次攻击。


▲ 来源：IBM 安全部


生成式人工智能
该博客指出，虽然执行攻击需要一定程度的社会工程或网络钓鱼，但开发人工智能系统本身几乎不构成任何挑战：
“构建这个PoC（概念验证）非常简单。我们大部分时间都花在研究如何从麦克风捕获音频并将音频输入生成人工智能。”
传统上，构建一个系统来自动拦截特定的音频字符串并用动态生成的音频文件替换它们需要多学科的计算机科学努力。

信息源于：cointelegraph