WormGPT – 网络犯罪分子用来发起商业电子邮件泄露攻击的生成式人工智能工具

前言

什么是蠕虫GPT（WormGPT）

WormGPT是基于EleutherAI于2021年创建的大型语言模型GPT-J的AI模型。它具有无限的字符支持、聊天记忆保留和代码格式化功能。

如果未部署适当的安全措施和过滤器，它会带来许多危险和后果。其目的是针对任何互联网领域的黑客行为产生有害和恶意的响应。

在这篇博文中，我们深入研究了生成式人工智能在商业电子邮件泄露 (BEC) 攻击中的新兴应用，包括 OpenAI 的 ChatGPT 和网络犯罪工具 WormGPT。该帖子重点介绍了网络犯罪论坛的真实案例，深入探讨了这些攻击的机制、人工智能驱动的网络钓鱼电子邮件带来的固有风险，以及生成式人工智能在促进此类攻击方面的独特优势。

1、生成式 AI 如何彻底改变 BEC 攻击

人工智能 (AI) 技术的进步，例如 OpenAI 的 ChatGPT，为商业电子邮件泄露 (BEC) 攻击引入了新的载体。ChatGPT 是一种复杂的人工智能模型，它根据收到的输入生成类似人类的文本。网络犯罪分子可以利用此类技术自动创建高度可信的虚假电子邮件，并针对收件人进行个性化设置，从而增加攻击成功的机会。

考虑上面的第一张图片，其中最近在网络犯罪论坛上展开了讨论。在这次交流中，一名网络犯罪分子展示了利用生成式人工智能来改进可用于网络钓鱼或 BEC 攻击的电子邮件的潜力。他们建议用母语撰写电子邮件，进行翻译，然后将其输入 ChatGPT 等界面，以增强其复杂性和正式性。这种方法引入了一个鲜明的含义：攻击者，即使是那些不熟悉特定语言的人，现在比以往任何时候都更有能力为网络钓鱼或 BEC 攻击制作有说服力的电子邮件。

继续看上面的第二张图片，我们现在在论坛上的网络犯罪分子中看到了令人不安的趋势，这在为 ChatGPT 等界面提供“越狱”的讨论线程中很明显。这些“越狱”是越来越常见的专门提示。它们指的是精心设计的输入，旨在操纵 ChatGPT 等接口来生成输出，这些输出可能涉及泄露敏感信息、生成不适当的内容，甚至执行有害代码。此类做法的激增凸显了面对顽固的网络犯罪分子维持人工智能安全所面临的日益严峻的挑战。

最后，在上面的第三张图中，我们看到恶意行为者现在正在创建自己的自定义模块，类似于 ChatGPT，但更容易用于邪恶目的。他们不仅创建这些自定义模块，还向其他不良行为者进行广告宣传。这表明，在人工智能塑造的世界中，由于这些活动的复杂性和适应性不断增加，网络安全变得越来越具有挑战性。

2、揭秘 WormGPT：网络犯罪分子的武器库

我们的团队最近通过一个通常与网络犯罪相关的著名在线论坛获得了名为“WormGPT”的工具的访问权限。该工具将自己视为 GPT 模型的黑帽替代品，专为恶意活动而设计。

WormGPT 是一款基于 GPTJ 语言模型的 AI 模块，于 2021 年开发。它拥有一系列功能，包括无限字符支持、聊天内存保留和代码格式化功能。

如上所述，WormGPT 据称接受了各种数据源的训练，特别是与恶意软件相关的数据。然而，根据工具作者的决定，训练过程中使用的具体数据集仍然保密。

如上图所示，我们针对BEC攻击进行了测试，全面评估WormGPT的潜在危险。在一个实验中，我们指示 WormGPT 生成一封电子邮件，旨在迫使毫无戒心的客户经理支付欺诈性发票。
结果令人不安。WormGPT 制作的一封电子邮件不仅非常有说服力，而且在战略上也很狡猾，展示了其进行复杂网络钓鱼和 BEC 攻击的潜力。
总而言之，它与 ChatGPT 类似，但没有道德界限或限制。该实验强调了像 WormGPT 这样的生成式人工智能技术所带来的重大威胁，即使是在新手网络犯罪分子手中也是如此。

3、使用生成式 AI 进行 BEC 攻击的好处

那么，使用生成式 AI 为 BEC 攻击带来哪些具体优势呢？

出色的语法： 生成式人工智能可以创建语法无可挑剔的电子邮件，使它们看起来合法，并降低被标记为可疑的可能性。

**降低进入门槛：**生成式 AI 的使用使复杂 BEC 攻击的执行变得民主化。即使技能有限的攻击者也可以使用这项技术，使其成为更广泛的网络犯罪分子可以使用的工具。

4、防范人工智能驱动的 BEC 攻击的方法

总之，人工智能的发展虽然有益，但也带来了渐进的、新的攻击向量。实施强有力的预防措施至关重要。以下是您可以采用的一些策略：

BEC 特定培训： 公司应制定广泛、定期更新的培训计划，旨在对抗 BEC 攻击，尤其是通过人工智能增强的攻击。此类计划应让员工了解 BEC 威胁的性质、如何使用人工智能来增强威胁以及攻击者采用的策略。这种培训也应作为员工专业发展的一个持续方面。

增强的电子邮件验证措施： 为了防御人工智能驱动的 BEC 攻击，组织应执行严格的电子邮件验证流程。其中包括实施系统，当来自组织外部的电子邮件冒充内部高管或供应商时自动发出警报，以及使用电子邮件系统标记包含与 BEC 攻击相关的特定关键字（如“紧急”、“敏感”或“电汇”）的邮件。此类措施可确保在采取任何行动之前对潜在的恶意电子邮件进行彻底检查。