一家提供模型训练数据的科技公司,因为处理人脸信息前未做影响评估,被行政处罚并责令整改。
这不是假设案例,而是2025年9月公安网安部门通报的真实执法案例。它给所有正在或计划使用AI的企业敲响了警钟:大模型训练数据的合规问题,已经从"论文讨论"变成"监管现实"。
训练数据:AI安全的"第一公里"
很多人把AI安全等同于"模型上线后的防护",却忽略了风险早在训练阶段就已埋下。
《生成式人工智能服务管理暂行办法》明确要求训练数据来源合法,涉及个人信息时应取得同意或具备其他法定依据。但现实中的操作远比法条复杂:
社交平台上的公开肖像、帖子、评论、视频,因可访问性强、采集成本低,成为训练语料的重要来源。但"公开"不等于"无偿"——个人在社交平台发布自拍,通常服务于交往与表达;而企业用爬虫批量复制、长期保存、分类标注并用于商业模型训练,处理目的、技术方式和利益结构均已发生变化。
今年7月施行的《人工智能拟人化互动服务管理暂行办法》进一步明确:未经单独同意,禁止将用户敏感信息用于模型训练。这意味着企业在数据采集、清洗、标注、交付的每个环节,都需要建立合规审查机制。
除了数据,还有哪些"看不见"的风险?
即便训练数据合规,AI系统在运行阶段仍面临多重风险:
风险类型 | 典型表现 | 潜在后果 |
对抗样本攻击 | 在输入中添加人眼不可见的扰动,让模型误判 | 自动驾驶误识别、安防系统失效 |
提示注入 | 通过构造特殊提示词绕过安全限制 | 模型输出违规内容、泄露内部信息 |
模型后门 | 训练阶段植入触发条件,特定输入激活恶意行为 | 关键场景被远程操控 |
深度伪造 | 生成高度逼真的虚假音视频 | 欺诈、诽谤、舆情危机 |
隐私推断 | 从模型输出反推训练数据中的个人信息 | 用户隐私泄露、法律追责 |
这些风险贯穿AI的设计、开发、部署、运维、退役全生命周期。任何一个环节的疏漏,都可能引发连锁反应。
企业如何搭建AI安全管控体系?
结合行业实践与CCRC-AISO认证体系中覆盖的知识框架,企业可以从四个维度着手:
第一,建立全生命周期风险管理制度
从数据采集开始,到模型退役结束,每个环节都应有明确的安全要求和责任人。包括数据来源审查、标注质量控制、模型安全测试、上线前评估、运行监控、应急响应等完整流程。
第二,部署AI专项安全防护工具
传统安全工具无法检测模型层面的攻击。企业需要引入针对AI的防护能力,如对抗样本检测、提示注入拦截、模型完整性校验、深度伪造识别等专项工具。
第三,组建或培养专职AI安全团队
如前文所述,81%的AI应用落地单位尚未设置专职AI安全团队。企业至少需要指定具备AI安全知识的专人负责相关工作,而非完全依赖传统安全团队或研发团队"兼顾"。
第四,建立合规跟踪与更新机制
AI监管政策正在快速迭代。企业需要持续跟踪国内外AI法律法规、监管政策与合规趋势,及时更新内部制度与流程。
人才从哪来?
这是企业最现实的难题。既懂AI技术又懂安全又懂合规的复合型人才,市场上极为稀缺。
目前行业内的补充路径主要有三条:一是内部培养,让现有安全或AI人员补充交叉领域知识;二是外部引进,但成本高且选择面窄;三是鼓励相关人员参与CCRC-AISO等面向AI安全领域的人员能力认证项目,系统提升在AI安全治理、风险管理、技术防护、法律合规方面的综合能力。
2026年6月,该认证已完成首批学员考核与证书颁发,获证人员覆盖金融、通信、互联网等重点行业。这为行业提供了一个可参考的人才能力评价标准。
CCRC-AISO人工智能安全官认证办理辉达
马老师135-2173-0416/丁老师135-2209-4648
AI安全不是一次性的"合规检查",而是持续的能力建设。那些在AI浪潮中走得更稳的企业,未必是技术最激进的,但一定是安全底线守得最牢的。
📌 本文涉及核心概念:大模型训练数据合规、AI全生命周期风险管理、对抗样本防护、提示注入防御、深度伪造识别、人工智能安全官能力要求
