绘制 AI 问责制的路径

公告

Announcements

绘制 AI 问责制的路径

Charting a path to AI accountability

2023 年 6 月 13 日

本周，Anthropic 向美国国家电信和信息管理局（NTIA）提交了对 AI 问责制征求意见稿的回应。今天，我们希望分享我们的建议，因为这些建议体现了 Anthropic 的一些核心 AI 政策主张。

目前，对于当今先进的 AI 系统，尚缺乏稳健且全面的评估流程，更不用说未来能力更强的系统了。我们的提交材料阐述了我们对确保 AI 问责制所需流程和基础设施的看法。我们的建议考虑了 NTIA 作为协调机构的潜在角色，该机构将与国家标准与技术研究院（NIST）等其他政府机构合作制定标准。

在我们的建议中，我们重点关注适用于高能力通用 AI 模型的问责机制。具体而言，我们建议：

• 资助研究以构建更好的评估方法

  • 增加对 AI 模型评估研究的资助。开发严谨、标准化的评估是一项困难且耗时的工作，需要大量资源。增加资助，特别是来自政府机构的资助，有助于推动这一关键领域的进展。
  • 要求企业在短期内披露评估方法和结果。部署 AI 系统的公司应被强制要求满足某些关于其评估的披露要求，但如果公开会损害知识产权（IP）或机密信息，则这些要求不必公开。这种透明度有助于研究人员和政策制定者更好地了解现有评估可能存在的不足之处。
  • 从长远来看，制定一套行业评估标准和最佳实践。NIST 等政府机构可以致力于建立评估 AI 模型能力、局限性和风险的标准和基准，企业需遵守这些标准。

• 基于模型能力制定风险响应式评估

  • 为 AI 系统开发标准能力评估。政府应资助并参与针对先进 AI 关键风险（如欺骗和自主性）的严格能力和安全评估的开发。这些评估可以为相称的、风险响应式的监管提供基于证据的基础。
  • 通过对安全评估进行更多研究和资助来设定风险阈值。一旦确定了风险阈值，我们就可以强制要求所有模型都针对该阈值进行评估。
  • 如果模型低于此风险阈值，现有的安全标准可能就足够了。验证合规性后即可部署。
  • 如果模型超过风险阈值，且安全评估和缓解措施不足，则应停止部署，大幅加强监督，并通知监管机构。在允许部署之前，确定适当的保障措施。

• 建立大型 AI 训练运行的预注册制度

  • 建立 AI 开发者报告大型训练运行的流程，确保监管机构了解潜在风险。这涉及确定适当的接收方、所需信息以及适当的网络安全、保密性、知识产权和隐私保障措施。
  • 为进行大型训练运行的 AI 开发者建立一个保密注册中心，在训练开始前向其母国政府预注册模型详细信息（例如，模型规格、模型类型、计算基础设施、计划训练完成日期和安全计划）。汇总的注册数据应按照最高可用标准和安全规范进行保护。

• 授权第三方审计机构，这些机构应具备……

  • 技术素养 – 至少部分审计人员需要具备深厚的机器学习经验；
  • 安全意识 – 能够很好地保护宝贵的知识产权，这些知识产权若被盗可能构成国家安全威胁；以及
  • 灵活性 – 能够进行稳健但轻量级的评估，在不削弱美国竞争力的前提下发现威胁。

• 在模型发布前强制进行外部红队测试

  • 强制对 AI 系统进行外部红队测试，可以通过集中式第三方（例如 NIST）或去中心化方式（例如通过研究人员 API 访问）进行，以标准化 AI 系统的对抗性测试。这应成为开发者发布先进 AI 系统的先决条件。
  • 在将其作为模型发布的先决条件之前，建立高质量的外部红队测试选项。这一点至关重要，因为红队测试人才目前几乎完全集中在私营 AI 实验室。

• 推进可解释性研究

  • 增加对可解释性研究的资助。为大学、非营利组织和公司的可解释性工作提供政府拨款和激励措施。这将允许在较小模型上进行有意义的工作，从而在前沿实验室之外取得进展。
  • 认识到目前要求模型可解释的法规难以满足，但未来随着研究进展，这或许可能实现。

• 通过明确反垄断规则，促进 AI 安全领域的行业合作

  • 监管机构应根据现行反垄断法，就允许的 AI 行业安全协调发布指导意见。阐明私营公司如何在不违反反垄断法的情况下为公共利益合作，将减少法律不确定性并推进共同目标。

我们相信，这套建议将使我们更接近建立有效的 AI 问责框架。实现这一目标需要研究人员、AI 实验室、监管机构、审计机构和其他利益相关者之间的合作。Anthropic 致力于支持旨在实现 AI 系统安全开发和部署的努力。评估、红队测试、标准、可解释性及其他安全研究、审计以及强大的网络安全实践，都是在实现 AI 益处的同时减轻其风险的有前景的途径。

我们相信，AI 可能在我们有生之年带来变革性影响，我们希望确保这些影响是积极的。建立稳健的 AI 问责和审计机制对于实现这一目标至关重要。我们感谢有机会回应这份征求意见稿。

您可以在此处阅读我们的完整提交材料。

相关内容

Related content

阿尔伯塔省政府使用 Claude 查找并修复政府系统中的网络安全漏洞

Government of Alberta uses Claude to find and fix cybersecurity vulnerabilities across government systems

自 2025 年以来，阿尔伯塔省政府一直使用搭载 Opus 和 Sonnet 模型的 Claude Code 来审查其系统、查找漏洞并进行修复。

了解更多

关于 Fable 5 网络安全保障措施及越狱框架的更多细节

More details on Fable 5’s cyber safeguards and our jailbreak framework

了解更多

介绍 Claude Sonnet 5

Introducing Claude Sonnet 5

Sonnet 5 在编码、智能体和大规模专业工作方面提供了前沿性能。

了解更多