人工智能客户服务机器人可能被诱骗窃取安全代码并充当受害者

安全资讯  2026年09月14日 11:31:01

人工智能驱动的客户服务机器人在企业内部被赋予了更多责任，包括访问客户资料、计费数据、支持收件箱、帐户更改和退款工具。研究表明，攻击者可能不需要传统的漏洞扫描程序或直接应用程序利用。
相反，他们可以操纵人工智能代理收到的数据和消息，使其泄露敏感信息或以合法客户的身份执行操作。
一项主要风险涉及聊天机器人转录功能。许多支持机器人允许用户通过电子邮件发送对话副本。攻击者可以将恶意文本注入聊天会话，并使用转录功能创建看似来自受信任支持地址的网络钓鱼电子邮件。
如果客户收到来自 support@company.com 的消息，他们可能比正常的网络钓鱼尝试更有可能信任该消息。
电子邮件欺骗缺陷可能会使问题恶化。一些 AI 代理通过读取传入电子邮件中可见的“发件人”标头来识别用户。但是，电子邮件传送和身份验证系统可能会验证不同的发件人字段。
攻击者可以使用攻击者控制的地址发送一封通过身份验证的电子邮件，促使人工智能系统将该消息与受害者的帐户关联起来。
人工智能机器人被骗窃取安全代码
在一种攻击场景中，人工智能客户服务代理可能会收到看似来自受害者的请求。然后，机器人可以检索账单数据、个人资料信息或帐户详细信息。
法学硕士的及时注入（来源：Intigriti）
如果攻击者将自己的地址添加到抄送或回复字段，机器人可能会无意中向攻击者发送机密响应。
安全研究员 Inti De Ceukelaire在 DEF CON 34 期间在 Bug Bounty Village 警告称，这些功能可能会通过电子邮件欺骗、提示注入、身份混淆和弱身份验证检查而被滥用。
该研究还强调了多因素身份验证的风险。有些机器人在进行敏感更改（例如更新电话号码）之前需要一次性密码。
但薄弱的电子邮件规范化有时会允许攻击者通过更改电子邮件地址的格式来重置速率限制，同时仍指向同一邮箱。
例如，不同的系统可能会以不同的方式处理电子邮件地址中的注释、别名或异常格式。一个组件可能会将地址识别为属于攻击者。
但薄弱的电子邮件规范化有时会允许攻击者通过更改电子邮件地址的格式来重置速率限制，同时仍指向同一邮箱。
例如，不同的系统可能会以不同的方式处理电子邮件地址中的注释、别名或异常格式。一个组件可能会将地址识别为属于攻击者。
知识库中毒是另一个日益引起关注的问题。客户服务代理经常使用检索增强生成来回答公司文档中的问题。
如果爬虫对公司域上的社区评论、用户个人资料或不受信任的页面进行索引，攻击者可能会植入人工智能视为可信内部信息的虚假指令或虚假折扣代码。
部署人工智能支持代理的组织应将不受信任的客户内容与系统指令严格分开。他们应该使用经过验证的会话绑定身份控制来对用户进行身份验证，一致地标准化电子邮件地址，验证服务器端的所有工具请求，并防止机器人向未经验证的收件人发送机密。
人工智能代理也应该拥有有限的权限。可以阅读电子邮件、修改帐户、发放退款和访问第三方验证码的聊天机器人可以创建高价值目标。企业必须将人工智能代理视为特权自动化系统，而不仅仅是对话界面。
翻译自： ybersecuritynews