开放模型的J空间对比

背景

Anthropic 在《Verbalizable-Workspace》论文中证明，在一个闭源模型族上，模型的中层携带一个“方向字典”，这些方向可以因果性地控制模型的输出。该论文留下了自然延伸的问题：这种控制能影响未来多远的时间步？这种结构在训练过程中何时形成？它能否在不同模型之间迁移？以及它如何随模型规模扩展？本文作者（Elie）在开放模型上测量了上述四个问题，并额外做了两项因结果而被迫跟进的研究。文中所有数值均从已提交的结果文件中重新推导，所有图表均为交互式。

作者采用了一种特殊格式：文章由 AI agent（Fable）撰写，经过与作者来回修改以去除冗余并优化可视化。作者的初衷是快速分享结果，而非花数天时间撰写传统博客。作者自述并非该领域专家，实验设计可能对专家来说并不完全合理，但若像以往一样亲力亲为，绝不会有时间运行这些实验甚至想到去做。作者如今通过 agent 阅读大部分论文和博客（除了一些写得特别好的），提问并查看图表。

核心内容

测量方法

页面上的所有结果来自同一个核心测量。让模型读取文本，在第 ℓ 层对残差流施加一个微小的扰动（nudge），然后记录最终层（决定下一个 token 的层）如何响应。对多个位置和提示取平均后，这个响应构成一个矩阵 Jℓ：该层对输出的典型影响。

• J-lens 流水线：后续所有操作都基于 Vℓ。乘以 unembedding 后，影响变得具体：每个常见 token（共 4,096 个）得到一组向量：在第 ℓ 层能使该 token 概率上升的方向。这些就是字面意义上的“转向向量”——注入一个就能让模型输出该 token（这正是 E3 实验所利用的）。这 4,096 个向量构成该层的“字典”。

• CKA (Centered Kernel Alignment)：比较两个字典是否具有相同的形状（在不允许直接比较坐标的前提下）。步骤：对字典的向量进行中心化，然后构建关系表 K = V⋅Vᵀ——一个 4,096 × 4,096 的网格，格子 (i, j) 记录条目 i 指向条目 j 的强度。该表是坐标无关的：旋转整个字典，每个单元格不变。CKA 就是两个这样的表之间的余弦相似度：

  CKA(A, B) = ⟨KA, KB⟩ / (‖KA‖ ‖KB‖)
  

  几何完全相同时为 1.0，无关的随机表接近 0。校准：同一模型两次独立拟合约得 0.997，两个不同训练的模型在匹配深度处约为 0.5–0.7。

  计算同一模型不同层之间的 CKA，会绘制出一张带有明显块状结构的图：输入侧的读取块、中间的长块（论文中的“workspace”）、以及输出侧的小写入块。这些块无需监督即可浮现，其边界（表示为深度占比 ρ）在所有后续实验中重现。

• PR (Participation Ratio)：统计一个字典实际使用的方向数。取字典协方差矩阵的特征值 λi（每个独立方向携带的权重），计算：

  PR = (λ1 + … + λn)² / (λ1² + … + λn²)
  

  如果每个方向权重相等，PR 等于方向总数；如果一个方向主导一切，PR 为 1。例如 6 个条目分布在 2 个方向上，PR ≈ 2。条目不等于方向。一个真实层的 4,096 个条目通常只跨越 200–600 个有效方向——该计数（总是在中间带测量，因为靠近输出时测量会坍缩到输出矩阵中）即全文使用的“容量”数值。

一个贯穿所有测量的注意事项：J 是对文本分布的平均。改变文本，测量结果也会改变——这正是 E5 实验的内容。

E1 · 时间范围 (Temporal Horizon)

《Verbalizable-Workspace》论文将中间层视为“保持信息”的 workspace。如果字面理解，那里的扰动应能持续控制输出多个 token——比任何其他层的扰动都长。标准的一次性拟合无法验证这一点，因为它对所有未来位置取平均，抹去了时间轴。因此作者按距离拆分：对恰好相距 Δ 个 token 的源-目标对分别拟合字典，并跟踪其整体强度：

effectℓ(Δ) = ‖P · Jℓ(Δ)‖

——在第 ℓ 层的扰动 Δ 个 token 后仍对输出产生的影响。六个模型，每个 250 个提示，Δ 从 0 到 96。

• 当 Δ = 0 时，测量被当前位置自身的输出路径主导——扰动沿残差流直下。它回答的是“扰动改变了当前 token 多少”，而非传播多远：最多只有 1/4 的效应能跨越一个 token，在深层则仅为 3–6%。因此所有后续曲线和统计从 Δ = 1 开始计时，并相对其归一化。每个模型在 ρ ≈ 0.6–0.7 处的下降被作者称为“悬崖”，结论中将回到这一点。

• 图 6 展示了在不同距离 Δ 下，扰动仍能影响输出的大小（相对于 Δ=1 的比例，log–log 坐标）。每一条线对应所选模型的一个层；拖动滑块可遍历各层。早期层起始强、衰减慢；最深层的层在一个 token 内就失去一切。图中高亮的那一层在 Δ≈12 到 Δ≈96 之间几乎不衰减——然而这是在 128-token 窗口内测量的，下一图将显示这种平坦部分是由窗口本身人工制造出来的。

• 该曲线的潜在问题：这些曲线来自 128-token 序列。Δ≈96 的效应只能由被压缩到窗口前三十个 token 的源位置来测量，因此如果早期位置……（原文在此中断）

其他实验概述（原文未完整呈现，但根据作者提及）

原文本中还提到了后续实验 E2、E3、E4、E5 等内容，但用户提供的正文仅包含了“E1 · temporal horizon”部分及之前的测量方法介绍。由于用户要求忠于原文，此处仅呈现已有内容。作者在开头提到“We measured all four on open models, then two follow-ups the results forced on us”，表明完整文章应包含针对结构形成时间（E2）、模型间转移（E3/4）、规模缩放等内容的实验，但在此版本中未详细展示。

关键要点

• Anthropic 论文发现闭源模型的中层存在可转向输出的“方向字典”，但留下了四个未解问题：时间范围、形成时间、模型间迁移、规模缩放。
• 本文在开放模型上系统测量了这四个方面，每项测量都基于 J-lens 流水线：扰动残差流，记录最终层响应，得到字典。
• 核心测量指标为 CKA（坐标无关的字典相似度）和 PR（参与比，有效方向数）。
• 通过按 token 距离 Δ 拆分，发现早期层扰动的影响持续时间长、衰减慢；最深层的扰动在一个 token 后即消失。
• 在 ρ ≈ 0.6–0.7 处存在“悬崖”现象，即模型深度约 60–70% 的位置出现 CKA 块的边界，该边界在所有后续实验中重现。
• 作者采用 AI agent（Fable）自动运行实验并生成初稿，再人工校验调整，展示了 AI 辅助科研的新范式。
• 作者自认非专家，实验设计可能不够严谨，但自动化大幅降低了时间成本，使得更多探索成为可能。
• 所有结果均可通过交互式图表和 llm.txt 文件由其他 AI agent 复现或提问。

意义与影响

• 这项工作将 Anthropic 在闭源模型上的发现扩展至多种开放模型，增强了结果的普适性，并首次系统测量了时间衰减、层间边界等关键动态特性。
• 时间范围实验揭示了转向向量的“有效期”高度依赖于层深度，这为理解模型内部状态如何保持和传递信息提供了新的洞见。
• “边界”现象（block boundary）支持了“workspace”假说：模型内部有一个中间