产品
金门大桥 Claude（Golden Gate Claude）
2024年5月23日
更新：金门大桥 Claude 作为研究演示仅在线 24 小时，现已不可用。如果您想了解更多关于我们在可解释性（interpretability）以及 Claude 内部特征激活方面的研究，请参阅本文或我们的完整研究论文。
本周二，我们发布了一篇关于大语言模型（large language models）可解释性的重要研究论文，其中我们开始绘制 AI 模型 Claude 3 Sonnet 的内部运作机制。在 Claude 的"思维"中，我们发现当模型读取相关文本或看到相关图像时，会有数百万个概念被激活，我们称之为"特征"（features）。
其中一个概念就是金门大桥（Golden Gate Bridge）。我们发现，在 Claude 的神经网络中，有一组特定的神经元组合会在它遇到这座旧金山最著名地标的提及（或图片）时被激活。
我们不仅能识别这些特征，还能上下调节它们的激活强度，并识别出 Claude 行为中相应的变化。
正如我们在研究论文中所解释的，当我们调高"金门大桥"特征的强度时，Claude 的回答开始聚焦于金门大桥。它对大多数问题的回复都会提到金门大桥，即使这与问题并不直接相关。
如果你问这个"金门大桥 Claude"如何花掉 10 美元，它会建议你开车穿过金门大桥并支付过桥费。如果你让它写一个爱情故事，它会讲述一辆汽车在雾天迫不及待地想要驶过它心爱的大桥的故事。如果你问它想象自己长什么样，它很可能会告诉你，它想象自己看起来像金门大桥。
在短时间内，我们将让所有人都能与这个模型互动。你可以在 claude.ai 上与"金门大桥 Claude"对话（只需点击右侧的金门大桥标志）。请记住，这只是一个研究演示，这个特定模型可能会表现出一些意想不到——甚至令人不适——的行为。
我们的目标是让人们看到我们的可解释性工作所能产生的影响。我们能够发现并改变 Claude 内部的这些特征，这一事实让我们更加确信，我们正在开始理解大语言模型真正的运作方式。这并非口头要求模型进行某种角色扮演，也不是添加新的"系统提示"（system prompt）来为每个输入附加额外文本，告诉 Claude 假装自己是一座桥。这也不是传统的"微调"（fine-tuning），即使用额外的训练数据来创建一个新的黑箱，以调整旧黑箱的行为。这是对模型内部激活中最基本的一些方面进行的精确、外科手术式的改变。
正如我们在论文中所描述的，我们可以使用同样的技术来改变与安全相关的特征的强度——例如那些与危险计算机代码、犯罪活动或欺骗相关的特征。通过进一步的研究，我们相信这项工作有助于让 AI 模型更加安全。
相关内容
阿尔伯塔省政府使用 Claude 发现并修复政府系统中的网络安全漏洞
关于 Fable 5 网络安全防护措施及越狱框架的更多细节
介绍 Claude Sonnet 5
Sonnet 5 在编码、智能体（agents）和大规模专业工作方面提供了前沿性能。