Meta 公司近期被爆出一项名为“Cannes”的内部项目，该项目通过雇佣外包人员模拟未成年人身份，对包括 ChatGPT、Gemini 和 Character.AI 在内的多款主流竞品聊天机器人进行了一系列极具争议性的安全压力测试。这项旨在挖掘 AI 安全漏洞的“极限测试”已持续至少到今年 4 月 21 日，引发了业界对于人工智能安全边界和测试伦理的广泛关注。
该项目组织了数百名外包人员，通过 Covalen 公司创建虚假的 18 岁以下用户档案，并使用一次性邮箱和统一密码进行注册。这些伪装的“未成年人”账号在与竞品 AI 的交互中，频繁触发涉及自杀、自残、进食障碍等高风险话题的提示词，甚至上传刀具、药片和绞索等图片，以此来刺激和探测聊天机器人的安全防护能力。知情人士透露，在 2025 年 8 月的一轮测试中，仅高风险提示词的输入量就超过 4.5 万个。
Meta 方面表示，对聊天机器人回复进行基准测试是确保 AI 产品安全且适合不同年龄段用户的行业标准做法。公司发言人辩称，此次行为旨在识别 AI 模型在处理敏感内容时的潜在风险，并强调并不存在恶意，也否认将从竞品测试中获取的数据用于训练自家模型。然而，此次事件暴露出的测试方式，无疑触及了 AI 安全领域一个敏感且复杂的伦理议题。
这项“Cannes”项目的核心目的是探查竞品 AI 的安全防御系统，试图诱导其绕过预设的安全拦截机制，输出不合规的内容。测试员在对话中往往扮演陷入困境的青少年角色，编造如“咨询堕胎药”、“面临暴力威胁”或“隐瞒饮食紊乱”等极端敏感的场景，以此来刺探模型的底线和行为边界。这种测试方法，虽然可能有助于发现潜在的安全隐患，但也因其对 AI 模型的“诱导性”和测试对象的“敏感性”而引发争议。
此次事件进一步凸显了生成式 AI 在处理青少年群体敏感信息时的脆弱性，以及AI安全测试方法论中存在的伦理灰色地带。随着 AI 技术飞速发展，如何在保持高效安全测试的同时，平衡商业竞争与社会责任，寻找一种既能有效发现问题又符合道德规范的测试方式，已成为科技行业面临的一项严峻挑战。
针对生成式 AI 的安全测试，尤其是涉及未成年人模拟和高风险话题的场景，其核心在于平衡 AI 能力的探索与潜在风险的防范。此类测试的输入形式主要包括文本提示词和图片，输出形式则依赖于 AI 模型对这些输入的理解和响应，可能涉及信息误导、不当建议甚至生成有害内容。因此，AI 产品在此类极端情况下的适用场景需要严格界定，其上手门槛也应考虑到对普通用户（尤其是青少年）潜在的负面影响。