AI偶尔也会出现失误。最近，广州一家工程公司的负责人深夜为员工购买团体意外保险时，AI提供的付款二维码有误，导致近两千元的保费转入了无关第三方个人账户。次日，该负责人发现没有保单记录后联系到收款方，最终索回了误付的钱款。
尽管钱款已经顺利退回，但这一事件引发了公众对AI支付安全性的关注：AI为何会提供错误的二维码？整个AI支付流程是否存在安全漏洞？监管部门对于AI支付有何约束等。这些问题将AI支付生态的布局动向与潜在风险推至舆论焦点。
不久后，相关AI平台解释称这种情况是“模型幻觉”所致，并已第一时间修复。“模型幻觉”是指大语言模型在生成内容时产生与事实不符、逻辑断裂或脱离上下文的信息，输出看似语法正确、逻辑严谨，但实际上存在错误或无法验证。用一句常见的话说就是，AI“一本正经地胡说八道”，它自信满满生成虚假答案，却无法意识到自己的错误。
在重庆某创业公司工作的AI工程师汪建表示，“模型幻觉”在各类AI应用中都有表现，但在AI支付领域，该风险可能带来无法预估的后果。他认为，AI支付产生“模型幻觉”的原因主要有两个方面：一是AI模型训练数据中可能包含错误信息；二是用户盲目信赖AI，忽视了对支付信息的二次查实，最终导致错误发生。随着AI支付无感化体验的不断深入，用户习惯了语音下单、刷脸支付等操作，但在AI支付领域中大模型幻觉潜藏的风险并未引起用户的普遍关注。
年初的“龙虾热”成为引爆点，微信、支付宝、银联等行业巨头正加速布局AI支付，通过发布支付Skill、AI支付协议和智能体支付框架等方式，争夺AI场景下的服务入口和行业标准制定权。支付宝发布了国内首个“支付集成Skill”，通过自然语言描述，AI可自动完成支付功能的接入，实现“开箱即用”。微信支付上线了一整套面向AI支付的“AI接入工具箱”，包括Skill技能包、AI友好文档、AI友好API，支持分账、退款、账单下载等20余种功能，并提供无资金流转的测试环境以降低试错成本。中国银联则在上海发布了APOP框架（《智能体支付开放协议框架》），专为智能体支付生态系统设计，以解决身份信任、意图信任、过程信任三大核心问题。
这样的行业现状为AI支付安全带来了全新的挑战。一方面，行业玩家全面提速布局AI支付生态；另一方面，大模型技术幻觉、安全漏洞以及监管滞后等问题日益凸显。
巨头们密集布局AI支付，整个支付生态正经历一场从交互方式到商业逻辑的深刻变革。这种变革体现在支付行为、产业格局、风险监管等多个方面。用户的支付行为正在从手动完成转变为AI智能体辅助甚至自主执行，支付的交互流程更自然、决策更智能。产业格局变化更加激烈，不仅仅是微信、支付宝和银联，包括京东、华为、苹果等行业巨头都在参与其中。依托各自生态优势，每家的方向略有不同，但随着支付场景的渗透能力加强，支付安全迎来新的挑战。
汪建认为，在支付流程中，AI需要调取用户相关数据，这个过程可能引发数据泄露和权限越界；同时，AI诈骗能力也在伴随大模型能力水涨船高，不法分子利用AI伪造身份、语音或视频实施精准诈骗，突破传统防骗逻辑。此外，AI支付创新与现有金融监管体系之间存在适配性缺口，例如AI代理支付的责任归属尚不明确，行业缺乏针对AI支付的全流程安全规范，平台防御机制水平参差不齐。
AI幻觉导致的错误支付是一个重要问题。大模型本质是基于概率预测生成内容，缺乏对物理世界和金融规则的深层理解。目前的生成式AI在输出支付指令或二维码时，缺乏与银行或持牌支付机构的实时“真值”校验。AI生成的支付链接或二维码往往是静态拼凑，无法像正规支付网关那样具备动态风控、合规监测及资金存管功能。AI在联网搜索或调用插件时面临知识库污染风险，如果搜索引擎返回了网络黑产恶意散布的虚假页面，模型极易在特定诱导下输出钓鱼链接，导致资金直接流入攻击者账户。
在消费者端，大多数用户对于AI支付的便捷性持肯定态度，但同时也强调不会完全依赖AI进行操作，仍然会通过官方渠道进行二次确认。多家平台对于AI支付流程介入已经有非常严格的二次确认过程以及严密的安全防控体系。以支付宝为例，在“龙虾”类智能体里开通支付宝AI付服务，必须要用户本人手动操作、完成身份核验去绑定支付宝，每一笔付款时还是必须要本人再授权确认；在支付整个过程中，支付宝智能风控系统全天候多维度监控，一旦监测到风险异常，就会提醒用户再次校验。
刘岩提醒消费者，在AI技术尚未完全解决“模型幻觉”问题前，用户在涉及资金交易时应保持高度警惕。首先要坚守“官方渠道”原则，切勿直接扫描AI生成的二维码或点击其提供的支付链接进行转账。涉及资金支付，务必跳转至保险公司官方APP、官网或持牌第三方平台进行。同时要警惕“个人账户”收款，若支付页面显示收款方为个人、非保险公司名称或不明科技公司，请立即停止支付。最后是做好交叉验证信息，对于AI提供的具体产品或缴费信息，建议通过官方渠道进行二次核实，切勿因“紧急”或“便捷”而省去核实步骤。
结合AI支付生态培育和长远发展方向，汪建认为在技术层面需推动“强制人工确认机制”与“AI操作追溯系统”，在完善模型安全的同时构建分级风控，根据交易风险动态调整AI权限，关键节点可以强制人工介入。相关部门在全力完善监管框架的同时，用户安全意识的提升也非常重要。未来，AI支付生态的成熟需要平台筑牢技术防线、监管划定规则边界、用户保持理性警惕，三者协同推进，AI支付才能真正实现“智能”与“可靠”的平衡。