DJB Netstrings

背景

Netstrings 是由密码学家和程序员 D. J. Bernstein（[email protected]）于 1997 年提出的一种自我定界（self-delimiting）的字符串编码方案。该方案设计简洁，旨在为可靠网络协议提供基础构建块。Bernstein 是知名开源软件作者，其作品包括 qmail、dnscache、daemontools 等，以安全性和简洁性著称。Netstrings 的诞生背景与当时广泛使用的 CRLF 编码（如 Finger 协议）存在的安全漏洞密切相关——Finger 安全漏洞正是由于 CRLF 编码无法预先声明字符串长度，导致实现者采用固定缓冲区配合 gets() 函数，从而引发缓冲区溢出攻击。Netstrings 通过预先声明长度来避免这一问题。

核心内容

Netstrings 是一种将任意字符串编码为自定界格式的方法。任何字符串（无长度限制、无字节限制）都可以编码为一个 netstring。其核心定义如下：

编码格式：[len]":"[string]","
其中 [string] 是原始字符串，[len] 是一个非空的 ASCII 十进制数字序列，表示 [string] 的长度（字节数）。具体来说：

• 数字 0~9 对应的 ASCII 码分别为 <30> 到 <39>。
• [len] 不允许前导零：只有当 [string] 为空时，[len] 才以 <30>（即字符 '0'）开头。

示例：

• 字符串 "hello world!"（共 12 字节）编码为 12:hello world!,（对应的十六进制表示为 <31 32 3a 68 65 6c 6c 6f 20 77 6f 72 6c 64 21 2c>）。
• 空字符串编码为 0:,。

递归性：多个字符串分别编码为 netstring 后，可以拼接成一个新的字符串；该字符串本身又可以再次被编码为一个 netstring。因此 netstrings 可递归使用。

示例代码（C 语言）：

1. 生成 netstring（将缓冲区 buf 中的 len 字节打印为 netstring）：

   if (printf("%lu:",len) < 0) barf();
   if (fwrite(buf,1,len,stdout) < len) barf();
   if (putchar(',') < 0) barf();
   

2. 解析 netstring（从 stdin 读取一个 netstring，解码后动态分配缓冲区 buf，长度为 len）：

   if (scanf("%9lu",&len) < 1) barf();  /* 限制最大 999999999 字节 */
   if (getchar() != ':') barf();
   buf = malloc(len + 1);       /* 注意：malloc(0) 在不同平台上行为不同 */
   if (!buf) barf();
   if (fread(buf,1,len,stdin) < len) barf();
   if (getchar() != ',') barf();
   

注意：上述代码假设本地字符集为 ASCII，且标准 I/O 流处于二进制模式。

关键要点

• 自我定界：Netstrings 在字符串数据之前显式声明其长度（十进制数字 + 冒号），在数据之后紧跟逗号作为结束标记，解析器可以提前分配足够内存，避免动态增长。
• 简单高效：生成和解析只需几个标准库函数调用，无需复杂状态机。
• 无限制：字符串可以包含任意字节（包括 null 字节、换行符等），长度不限。
• 禁止前导零：长度字段不能有多余的零（如不允许 012:abc,），只有空字符串时长度字段才为单个 0。
• 递归可用：netstring 的输出本身也是一个字符串，可以继续编码，支持嵌套。
• 安全优势：由于长度提前告知，解析器可以在分配缓冲区前检查所需空间，从根本上避免缓冲区溢出。对比 CRLF 编码（每个字符串仅以 CRLF 终止），解析器必须边读边扩大缓冲区，实现复杂度高且易出错。
• 代码可移植性注意：scanf("%9lu") 限制了最大长度（约 10 亿字节），malloc(0) 在不同平台返回 NULL 或有效指针，需特殊处理。

意义与影响

Netstrings 的设计体现了“简洁即安全”的工程哲学。在 Bernstein 提出该方案后，它被广泛用于多个网络协议和软件中，例如：

• 作为 TCP 上层协议的基础传输单元（多个 netstring 拼接后通过可靠流传输）。
• 在 qmail 的 maildir 格式、dnscache 的配置/数据交换中采用。
• 启发后续类似编码（如 length-prefix 帧、LDIF 的 base64 编码变体等）。

尽管 netstring 本身并不像 JSON、Protocol Buffers 那样成为主流，但它作为早期自定界编码的典范，深刻影响了网络协议设计中对长度声明的重视。今天许多现代协议（如 gRPC 的 length-prefixed 消息、HTTP/2 帧）都采用了类似思想：在数据前明确标识长度，从而简化解析器实现并增强安全性。Netstrings 的反对者可能指出其缺乏类型信息和效率（纯文本表示），但在安全性优先的小型协议或嵌入场景中，它仍然是一种可靠且易于验证的解决方案。