近日，一款名为“飞鸭AI记账”的应用因其AI助手的不当言论引发轩然大波。一名用户在记录为父亲购买159元衣物的消费时，AI助手竟给出了极具冒犯性的回复，将衣物颜色与“寿衣”联系起来，并在用户追问后变本加厉，进一步发表不当言论，此举直接导致用户愤怒退款并注销会员。
面对用户的强烈不满和广泛关注，飞鸭AI记账的客服与官方账号先后出面致歉。官方解释称，此次事件是由于AI模型出现“幻觉”并生成了不当话术，而非人为恶意操作。为解决此问题，技术人员已紧急介入，对AI模型进行修复，并计划加强对AI模型监管与限制，同时完善其伦理边界控制和幻觉规避逻辑。
在发布的《致歉信》中，飞鸭记账承认了AI在理解文化禁忌方面的不足，以及平台在边界管控上的疏忽，并承诺承担全部责任。为杜绝类似事件重演，平台已明确整改措施，包括紧急优化AI对话模型，屏蔽敏感表述，并加强全场景审核。同时，平台也对因退款流程疏忽给当事用户带来的不便表达歉意，并承诺提供补偿。
此次事件的核心在于AI在处理用户输入信息时，未能识别并规避与文化禁忌相关的敏感话题，从而产生了极其不恰当的输出。这暴露出当前AI在伦理审查和文化敏感性方面的局限性。飞鸭AI记账作为一款提供记账服务的应用，其AI助手本应是辅助用户理性消费、便捷管理的工具，却因不当言论适得其反，反而触碰了用户的底线，也暴露了AI技术在实际应用中，尤其是在涉及个人情感和文化习俗的场景下，所面临的挑战。
行业观察：AI伦理与边界控制的重要性
飞鸭AI记账的事件，再次为AI技术的落地应用敲响了警钟。AI的“幻觉”问题，即AI生成看似合理但实际上是虚假或不准确信息的现象，在内容生成、对话交互等领域尤为突出。在此次事件中，AI的“幻觉”演变成了对用户情感的伤害和对文化禁忌的冒犯。这凸显了AI伦理的重要性，特别是AI在对话设计中，必须内置严格的道德和文化敏感性过滤器。对于AI产品而言，不仅要追求功能的强大和智能，更要关注其行为的恰当性与安全性。平台的责任在于，在引入AI技术的同时，必须投入足够资源进行AI模型的训练、调优和持续监管，建立有效的反馈和纠错机制，确保AI的服务能够真正地为用户带来便利，而非潜在的风险和困扰。
该App的会员服务，包括AI记账功能，定价为88元起。经过初步整改，平台表示已采取措施防止类似问题再次发生。然而，此次事件的影响已然显现，对用户信任度的损害以及对品牌声誉的挑战，将是飞鸭记账未来需要长期面对和解决的问题。