AI可信度标准与框架

AI 可信度被定义为：无论从技术层面还是社会层面，AI 在执行任务时均能够赢得用户的信任和接受的程度。具体地，一个高可信度的 AI 应包含两个组成部分，这些组成部分应贯穿于系统的整个生命周期：
（一）从技术层面来看，可信 AI 应是准确且鲁棒的，其决策需要尽可能与实际情况相符，并且在预期和意外情况下均能稳定运行，避免对用户造成无意的伤害。
（二）从社会层面来看，可信 AI 应是合法且合乎伦理的，能够遵循所有适用的法律和法规，并确保遵循人类的伦理原则和价值观，以促进社会福祉，提高人民生活质量。以上两项中的每一项都是必要的，仅凭单一的组成部分不足以实现可信的 AI。理想情况下，以上两项应相互配合，并在其运作中相互堆叠实现。基于以上两个组成部分，
AI 的可信度可以从如下几个方面来定义：
从技术层面来看，可信 AI 应同时具备如下属性：
1）准确性：AI 需要尽可能提供准确无误的结果，减少错误和偏差。例如，在医疗诊断领域，一个高准确性的 AI 能够更好，更快地帮助医生发现病情。相反，准确性较差的 AI 可能会导致医生误诊。衡量准确性的常用的度量指标包括准确率，精确率，
召回率等。
2）可靠性：AI 需要保证系统在不同场景，不同环境和条件下都能够保持稳定的表现。例如，在自动驾驶领域，AI 必须能在多种复杂多变的天气条件或交通状况下都能安全操作，避免威胁乘客安全。衡量系统可靠性的典型度量指标包括：故障率，平均无故障时间，平均故障间隔时间。
3）安全性：AI 需要能够抵御恶意攻击，确保其操作不会危害用户或公共安全。例如，在关键基础设施的监控和管理中，AI 需要能够抵御恶意软件或网络攻击，否则可能会导致服务中断，影响公众生活，甚至引发紧急情况。衡量系统安全性的度量指标包括：异常响应时间，对抗攻击抵御成功率，模型逃逸防御成功率。
4）稳健性：AI 需要在出现问题时要有备用计划，以确保能够尽可能减少和预防无意义的伤害。例如，在航空领域，用于飞行控制和导航的 AI 需要能够灵活应对极端天气或系统故障，以避免飞行事故。衡量系统稳健性的度量指标包括：容错率和平均修复时间。
5）可解释性：AI 的决策过程需要被理解和解释，使得用户明白为何系统会做出相应的决策。例如，在法律领域，被用于辅助案件分析和预测判决结果的 AI 需要能够向律师和法官提供决策依据，包括使用的数据、算法逻辑和推理过程，以便让用户能够验证 AI 的决策是否合理。衡量 AI 可解释性的常用度量指标包括：解释清晰度，解释一致性等。
从社会层面来看，可信 AI 应同时具备如下属性：
6）隐私性：AI 需要保障用户隐私，防止敏感信息泄露。例如，在社交媒体平台上，用于提供个性化内容推荐的的 AI，需要确保用户的浏览历史、社交关系和其他个人信息等隐私内容不被未经授权的第三方获取。

衡量 AI 隐私性的常用度量指标包括：数据去标识化水平，隐私泄露风险率等。
7）合规性：AI 需要遵守适用的法律、法规和行业标准。否则，可能会导致用户的数据泄露和隐私滥用，对民众的财产和生命安全造成威胁。衡量系统合规性通常需要行业标准和当地的法律法规作为依据来进行详细评估。
8）公平性：AI 需要避免不公平的偏见所导致的多种负面影响，比如边缘弱势群体和加剧种族歧视。在金融服务领域，用于信用评分和风险评估的 AI 如果存在偏见，可能会导致某些群体的客户获得不公平的贷款条件，甚至被拒绝服务，这可能加剧社会经济不平等。衡量公平性的指标包括群体差异率，个体一致性等。
9）伦理和社会影响：AI 的设计和部署应考虑到伦理原则。此外，应促进社会整体福祉，包括促进包容性增长、提高民众生活质量等。同时避免 AI 对社会造成危害。衡量伦理和社会影响可以从伦理风险率，价值观一致程度等多个角度开展。