检测范围
面向分类、识别、预测、推荐及生成式人工智能系统，评价训练数据、模型性能、鲁棒性、偏差、安全性、可解释性和运行监测。固定模型版本、测试数据集、推理参数与评价指标，输出分场景测试结果、风险证据和版本对比记录。
数据质量与代表性
检查样本来源、标注、分布、缺失、重复和群体覆盖，分析数据偏差对模型结果的影响。
对象与条件
分类、识别、预测和推荐模型 自然语言、视觉、语音和多模态模型 生成式人工智能应用与智能体系统 嵌入业务流程的机器学习决策组件
需要注意的限制
模型性能会随数据和场景变化，离线评估不能替代上线后的持续监测和人工监督。 安全测试按约定范围与时间点实施；高风险变更和持续监测纳入专项计划，法律合规事项按适用法规同步审查 网络安全、数据安全与人工智能结论对应受检样品、约定区域或班次、规定条件和已核对资料，报告记录抽样、保存运输、工况、数据来源和标准版本 网络安全、数据安全与人工智能出现配方、材料来源、工艺、批次、使用环境、法规、目标市场或检查目的变更时，按变更内容更新样品和项目组合
检测时需要注意什么
实施流程
1. 登记模型、数据、代码、依赖组件和推理参数版本；2. 按目标场景构建常规、异常、群体切片和攻击测试集；3. 执行性能、稳定性、鲁棒性、偏差和安全测试；4. 复核高风险输出、错误样本和人工干预记录；5. 形成指标矩阵、问题证据和版本对比结果
评价指标对应业务后果
除总体准确率外，分别统计漏判、误判、拒答和高风险输出，按实际业务损失设置观察重点。
测试集与训练集隔离
测试样本保存来源、时间、标签和哈希值，排查与训练数据重复造成的性能高估。
可信性分项留证
GB/T 42888和GB/T 43782用于算法安全与系统要求，ISO/IEC 24027、24028和23894用于偏差、可信性及风险分析。
适用产品和使用场景
人工智能模型、算法与可信AI评估适用于以下产品、业务阶段和质量问题。
适用产品和常见问题
- 分类、识别、预测和推荐模型
- 自然语言、视觉、语音和多模态模型
- 生成式人工智能应用与智能体系统
- 嵌入业务流程的机器学习决策组件
样品和资料要求
提交产品阶段、目标市场、样品批次、技术规范、已有数据和当前质量问题。
- 01
固定版本的模型文件、接口或可访问测试环境
- 02
训练、验证和测试数据说明及样本集
- 03
模型卡、数据卡、特征说明和版本变更记录
- 04
目标场景、性能指标、用户群体和风险事件资料
固定版本的模型文件、接口或可访问测试环境 训练、验证和测试数据说明及样本集 模型卡、数据卡、特征说明和版本变更记录 目标场景、性能指标、用户群体和风险事件资料
模型、数据、场景和评价指标登记表 性能、鲁棒性、偏差与安全测试数据 高风险样本、输出记录和问题复现证据 可信AI评估与模型版本对比报告
检测与分析项目
数据质量与代表性
检查样本来源、标注、分布、缺失、重复和群体覆盖，分析数据偏差对模型结果的影响。
模型性能与稳定性
按任务计算准确率、召回率、误差或生成质量指标，比较不同数据切片和重复运行结果。
鲁棒性与安全性
使用噪声、扰动、异常输入和对抗样本检查模型退化、越权调用、提示攻击及敏感输出。
偏差与公平性
按适用群体和关键属性划分测试集，比较错误率、通过率或响应差异并定位数据来源。
透明度与可解释性
核对模型用途、数据来源、限制说明、决策依据和人工干预机制，保存典型样本解释结果。
运行监测与版本控制
检查输入分布漂移、性能告警、人工复核、模型回滚和事件处置，关联模型与数据版本。
检测流程
标准与技术依据
以下是本页引用的标准与方法资料。具体项目是否适用、采用哪个版本及如何判定，需结合对象、条件和委托要求确认。
共 5 项
碳足迹、环境声明、循环材料、数字化和新型能源项目需要明确核算或评价边界、数据质量、技术对象、适用方法、验证规则和结果用途。
核算、验证、声明、合规或安全结论的适用范围，应以委托目标、组织或产品边界、数据来源、标准版本、审定或认证规则和实际技术状态为准。
国家发展和改革委员会报告和检测数据
模型性能会随数据和场景变化，离线评估不能替代上线后的持续监测和人工监督。
安全测试按约定范围与时间点实施；高风险变更和持续监测纳入专项计划，法律合规事项按适用法规同步审查
网络安全、数据安全与人工智能结论对应受检样品、约定区域或班次、规定条件和已核对资料，报告记录抽样、保存运输、工况、数据来源和标准版本
网络安全、数据安全与人工智能出现配方、材料来源、工艺、批次、使用环境、法规、目标市场或检查目的变更时，按变更内容更新样品和项目组合
常见问题
01可信AI评估为什么要固定模型、数据和推理参数版本？
模型权重、数据集或推理参数变化都会影响输出，固定版本才能复现结果并进行前后对比。
02人工智能模型测试集怎样覆盖真实业务场景？
按正常输入、少见输入、边缘条件、不同用户群体和已知风险事件分层选取测试样本。
03模型准确率较高时为什么还要分析漏判和误判？
总体准确率会掩盖少数高风险错误，漏判与误判需结合业务后果和样本群体分别统计。
04算法偏差评估怎样划分群体测试数据？
根据系统实际服务对象和关键属性建立数据切片，比较各组样本量、错误率和结果分布。
05生成式人工智能安全测试会记录哪些异常输出？
记录敏感信息泄露、越权操作、提示攻击响应、有害内容、事实错误和绕过安全策略的输出。
06模型鲁棒性测试中的扰动样本怎样制作？
在不改变目标语义或真实类别的条件下改变噪声、格式、表达、图像质量或输入顺序，并保存变换参数。
07人工智能系统可解释性会检查哪些材料？
检查模型用途、输入特征、结果含义、典型样本解释、人工复核入口和面向用户的说明信息。
08模型更新后怎样判断可信AI指标是否退化？
使用固定基准集和新增场景集重复测试，对比性能、群体差异、风险输出和人工复核数据。