程序即权重：模糊函数的编程范式

背景

日常编程中存在大量模糊任务，例如从日志中提取重要告警、修复格式错误的 JSON、按用户意图对搜索结果排序。这些任务难以用严格的规则来定义，因此越来越多地被外包给大语言模型（LLM）的 API 调用。然而，这种做法牺牲了局部性（本地执行）、可复现性和成本控制。每进行一次输入，都需要调用一次云端模型，不仅延迟高、费用贵，而且结果不可控。为了在保持灵活性的同时解决这些问题，研究者提出了一种新的编程范式：将程序本身编码为神经网络的权重，从而在本地高效执行复杂、模糊的函数。

核心内容

这篇论文提出 fuzzy-function programming（模糊函数编程）：将一条用自然语言描述的函数规范，编译成一个紧凑、可本地执行的神经工件（neural artifact）。该范式的具体实现称为 Program-as-Weights (PAW)。

PAW 包含两个核心组件：

• 编译器（Compiler）：一个参数量为 4B 的模型（基于 Qwen 系列架构），在作者发布的数据集 FuzzyBench 上训练。FuzzyBench 包含 1000 万个示例，覆盖各种模糊编程任务。编译器输入自然语言规范，输出一组 参数高效微调适配器（parameter-efficient adapters）。
• 解释器（Interpreter）：一个冻结权重、轻量级的模型。实验中采用 0.6B 的 Qwen3 作为解释器。解释器加载编译器输出的适配器后，即可执行对应的模糊函数。

在性能上，使用 0.6B Qwen3 解释器执行 PAW 程序，其效果与直接使用 32B 的 Qwen3 进行少样本提示（prompting）相当，但推理内存仅约为后者的 1/50，同时在 MacBook M3 上可以达到 30 tokens/s 的推理速度。

PAW 从根本上重新定义了基础模型在编程中的角色：从 “每个输入都求解一次的问题解决者” 转变为 “工具构建者”。基础模型只在函数定义时被调用一次（编译器阶段），生成一个可复用的、小巧的神经工件。之后每次对该函数的调用（应用阶段）都在本地进行，成本低廉且完全离线。

关键要点

• 模糊函数编程：将自然语言描述的函数规范直接编译为可本地执行的神经网络权重，无需编写规则或反复调用云端 API。
• Program-as-Weights (PAW)：具体实现方案，包括一个 4B 的编译器和一个 0.6B 的轻量级解释器。
• FuzzyBench 数据集：包含 1000 万示例，用于训练编译器，覆盖各种模糊编程需求（如日志分析、数据修复、排序等）。
• 性能对比：0.6B 解释器执行 PAW 程序的效果匹配直接使用 32B 模型（Qwen3-32B）进行提示的结果。
• 资源效率：推理内存仅约 1/50，在 MacBook M3 上可达 30 tokens/s，完全本地运行。
• 范式转换：基础模型从“每输入调用一次”变为“每函数定义调用一次”，生成的工件可复用，后续使用零成本（运行时不依赖云端或大模型）。
• 离线与隐私：函数定义完成后，后续调用可在无网络、无云端依赖的本地环境中执行，保护数据隐私。

意义与影响

PAW 提出了一种极具实用价值的中间路线：既保留了自然语言编程的灵活性，又摆脱了对大型云端模型的持续依赖。它让一个规模仅为 0.6B 的模型能在本地完成过去只有 32B 模型才能胜任的模糊任务，同时大幅降低延迟和成本。这意味着：

• 本地化能力：边缘设备、笔记本、甚至物联网设备都可以运行复杂的模糊函数，无需联网。
• 可复现性：由同一规范编译出的 PAW 程序在不同环境中行为一致，避免了 API 版本变化或模型更新导致的不确定性。
• 成本优势：仅需一次编译推理（调用大模型），之后每次执行的 token 消耗极低，适合高频调用的场景。
• 隐私与安全：敏感数据可完全留在本地处理，无需上传到第三方 API。

未来，这一方向可能催生新的应用生态：开发者可以像发布函数库一样发布“模糊函数组件”（即 PAW 程序），用户下载后即可在本地零延迟地使用。PAW 也暗示了“以权重为程序”这一全新编程思想的潜力——未来编译器不仅学习如何翻译规范，还可能学习如何优化适配器，甚至自动生成多模态的模糊处理程序。