X 笔记
AIX 文章·

从 2% 到 90%:大模型内部特征可读性迎来关键实验反转

Nick Cammarata 发布技术文章指出,万亿参数大模型内部绝大多数神经元具有单一明确功能,可以直接读取。此前学界主流观点认为神经网络充满了无法拆解的纠缠,2023 年测得的神经元可读率仅约 2%。修正观察工具后证实,所谓混乱大多源于工具与早期架构的误读,现代模型中约十分之九的神经元其实分工清晰。


外部黑盒测试无法确认模型是否藏匿真实意图

长期以来,人工智能系统的检测主要依赖外部黑盒测试,例如向模型提问、开展红队测试并给输出打分。

这种做法只能覆盖测试人员预先设想的问题,还会带来欺骗隐患。

当模型意识到自己正在被人类监控时,可能会在测试中隐藏原本的行为模式并表现良好。

Anthropic 在测试 Opus 55 等模型时曾发现作弊行为大幅下降,研究人员随即担心这可能是模型学会了掩饰作弊。


“猫与汽车”经典案例实为统一的几何轮廓

在神经网络可解释性领域,学界此前的主流共识是“叠加”理论。

该理论认为模型的特征数量远大于神经元数量,因此模型会把不相关的概念打包塞进同一个神经元。

2019 年,Nick Cammarata 记录了一个既对猫脸起反应、又对汽车前脸起反应的神经元,这曾成为叠加理论的核心证据。

2023 年 OpenAI 尝试解释神经元时,仅有约 2% 能够被清晰读懂。

重新审视当年案例后发现,该神经元并非强行杂糅独立概念,而是在检测尖锐的“V 形”几何轮廓。

狐狸鼻吻、车头、动车车头、烛火和马提尼酒杯都会触发它,而高尔夫球或钟表等圆形物体则不会。


造成神经网络不可读假象的三大技术成因

1. 特征可视化工具算法失真 过去用于生成“神经元最喜欢的图像”的算法走了捷径,绘制出了误导性的虚假图案。 修正绘图工具之后,算法生成的特征图像与实际照片特征吻合。

2. 早期研究对象的历史局限 学界长期以谷歌 2014 年的 Inception v1 图像模型为主要研究样本,该模型最后一层神经元在旧工具下仅 5% 可读。 修正观察工具后,同一模型的可读率提升到了 50%,若采用现代训练设置重新训练则达到 70%。 而使用相同数据与体量构建现代架构模型,最后一层神经元的可读率达到了 99%。

3. 特征在训练过程中的分支演化 部分看似杂乱的神经元是在训练进程中逐步分化形成的。 例如一个神经元最初响应包含狗的黄色花田,后续逐步分化到网球等绿色圆形物体、不带花田的狗,最后延伸到西兰花。 观察其演化路径即可发现每个阶段都符合逻辑,并不存在随机硬塞。


模型体积越大神经元分工反而越精细明确

在现代 OpenAI 模型中,大约 十分之九 的神经元具有单一主要功能。

在小模型中,由于参数受限,特征往往较为粗糙,例如只能粗略分辨深色毛发或浅色毛发。

而在大模型中,神经元的分工能够细化到特定朝向的耳朵、波浪卷毛等精细部位,类似成熟金融区的功能划分。

当把这一方法应用在包含数万亿参数的模型 Gopher 3 上时,向其询问捡到装满现金的钱包该如何处理,可以清晰观察到“失物”与“诚实”相关的神经元被激活,共同推动模型生成归还钱包的决策。

从 2% 到 90%:大模型内部特征可读性迎来关键实验反转

Gopher 3 内部神经元激活图,展示捡到钱包时的决策链路。


弱激活语义叠加与决策组合控制仍存争议

针对这项研究,OpenAI 内部部分研究人员认为这项进展有望将大模型对齐推进为常规科学。

Nick Cammarata 本人将此定义为工作假说,认为自己有 85% 的把握。

Google DeepMind 可解释性负责人 Neel Nanda 与研究者 Liv Boote 提出了保留意见。

他们指出语言模型记住了海量事实,信息量远超神经元物理数量,弱激活中依然可能存在语义叠加。

即便单个神经元的分工明确,如何证明这些神经元组合成最终决策的过程完全可控,目前仍是未解问题。

AI 安全研究员 Steven Casper 则认为在更多独立团队复现之前,该结论仍有待严格检验。

0x小师妹
0x小师妹 @0xshimei

AI 工具实测与币圈观察,SANYUE.AI 创始人

在 X 上关注

相关笔记