优化Lua字符串字面量节省400字节

背景

本文是一篇客座文章，作者 Yuki 介绍了她在与女友共同维护的 ComputerCraft 宠物项目中用于 Lua 代码压缩的一些技巧。ComputerCraft 是《我的世界》的一个模组，其中的虚拟计算机运行 Lua 语言，且磁盘空间极为有限：每台电脑（或乌龟）默认只有 1 MB 磁盘空间，软盘只有 125 KB。她们的项目为 CC:Tweaked（CC:T）编写了大量 Lua 程序，所有代码加上文档的总大小超过 440 KB，远超单张软盘的容量，因此必须进行压缩。她们的目标是创建一个自解压的归档文件（单文件），让用户只需一条 wget 命令即可安装。

核心内容

压缩的本质是将数据与解压器合并为一个文件。最直接的方法是将数据序列化为 Lua 字面量，但字符串和表的序列化存在诸多陷阱。文章重点讨论了 Lua 字符串在 Cobalt（CC 使用的 Lua 运行时）中的优化表示，旨在尽可能减少编码后的字节数。

Lua 字符串的三种表示方式

Lua 字符串是字节串（类似于 Python 的 b"meow" 但更弱，或 Rust 的 b"meow" 但更强）。主要有三种写法：

1. 单引号字符串：'meow'，支持反斜杠转义，只能单行。
2. 双引号字符串："meow"，同样支持转义，单行。
3. 原始字符串（raw strings）：[[meow]] 或 [=[this [[is]] a string]=]，反斜杠不转义，可跨多行。

对于不含换行或特殊字符的普通字符串，引号字符串是最佳选择。但原始字符串在特定场景下更具优势，因为它不需要对反斜杠进行转义，且可跨行。

原始字符串的陷阱

• 分隔符匹配：原始字符串以 [=[（任意数量的 =）开始，以 ]=]（相同数量的 =）结束，且字符串内不能包含起始或结束分隔符。这要求动态选择足够多的 = 以避免冲突。
• 表键中的原始字符串：当原始字符串作为表键时，需要加一个空格，如 { [ [[meow]]] = 10 }（类似于 C++11 之前的模板语法）。
• 换行符折叠：Cobalt 会将原始字符串中的换行序列（CRLF、LFCR、单一 CR、单一 LF）折叠为单一 LF，这相当于对 PNG 文件运行 dos2unix 会导致损坏。
• 开头的换行符被删除：如果原始字符串以换行符开头，该换行符会被丢弃。例如 [[\nmeow]] 和 [[\nmeow]] 在 Cobalt 中是等价的。

由于这些特性，原始字符串并不能完全避免转义，但反斜杠在原始字符串中不被解释，因此需要借助 gsub 来动态替换。

逃逸字符方案

如果字符串中存在某个从未出现的字节（比如文本文件中的 \0），则可以将所有 CR 替换为该字节，然后在运行时通过 gsub 还原：

print("\r\r\r" == ([[RRR]]):gsub('R','\r'))

但作为逃逸字符的字节不能是 CR、反斜杠、Lua 模式匹配的特殊字符（^$()%.[]*+-?）以及单引号（为了 Rust 侧代码可读性）。对于包含所有字节（包括 CR）的字节序列，简单方案失效。

处理全字节序列的进阶方案

当字符串中包含 CR 本身时，需要更复杂的替换。一个方案是同时替换 CR 和逃逸字符本身，例如用两个字符表示一个 CR（如 Er 表示 CR，EE 表示逃逸字符本身）。这会使字符串大小增加约 1%（如果字节分布接近均匀）。

另一种更高效的方案是将“是否为 CR”的信息存储在带外（out-of-band），然后使用 gsub 回调函数。用逃逸字符 E 标记每个可能的位置，并用一个位图向量 V（bitstring）记录哪些位置是真正的 CR。代码示例（约 100 字节，未压缩）：

([[string]]):gsub('E', (function(i)
    return function()
        i = i + 1
        return bit32.btest(
            ('V'):byte(math.floor(i/7)),
            2^(i%7)
        ) and '\r'
    end
end)(6))

其中 E 是逃逸字符，V 是存储位图的字符串。要点：

• 只使用 V 的低 7 位，最高位始终设为 1 以避免与特殊字符冲突。
• and '\r' 用于替换：如果位测试为真则返回 '\r'，否则返回 nil/false，gsub 不会进行替换。
• 闭包中的 i 初始化为 6，以补偿 Lua 的 1-based 索引。
• 该方案将 CR 的开销从 16 位（两个字符）降低到约 9 位（逃逸字符 + 位图分摊），几乎减半。

其他优化

在 Rust 侧生成位图向量时，使用 core::iter::repeat(0..7).flatten() 产生循环索引 0,1,...,7,0,1,...，比 % 7 和 .enumerate() 更简洁。

完整的字符串序列化代码在项目仓库中公开。

关键要点

• Lua 字符串序列化面临多重挑战：消除歧义（分隔符匹配）、处理换行符折叠、表键语法、开头换行符删除等。
• 原始字符串并不“原始”：在 Cobalt 中，原始字符串会折叠换行序列并丢弃开头的换行符，导致必须引入运行时转义。
• 借助 gsub 实现动态替换：利用逃逸字符标记需要替换的位置，通过回调函数在运行时恢复真实字节。
• 带外位图向量：将“是否为 CR”的信息存储在单独的位图字符串中，比直接双字符替换更节省空间（约 9 位 vs 16 位）。
• 小心选择逃逸字符：不能与任何特殊字符（CR、反斜杠、模式匹配符号、单引号）冲突。
• 位图访问优化：只使用字节的低 7 位，最高位用作安全哨兵；初始索引偏移以适配 Lua 1-based 索引。
• 可读性与压缩率的权衡：示例代码约 100 字节（未压缩），但带来了显著的压缩收益，整体大小节省约 400 字节（根据标题所述）。

意义与影响

本文展示了一种在极端资源受限环境下（游戏内虚拟计算机，磁盘仅百 KB 级别）进行代码和数据压缩的实用技巧。虽然 400 字节在现代应用中微不足道，但对于 ComputerCraft 这类限制严格的场景却至关重要——它直接决定了大型 Lua 项目能否塞进单张软盘。

更深层的意义在于：

1. 代码即数据：自解压归档需要将压缩数据与解压器合并在一个 Lua 文件中，字符串序列化是最底层的编码环节，其效率直接影响到整体压缩比。
2. 平台特性需深究：Cobalt 运行时的细微行为（换行折叠、表键空格）若不深入了解，会导致编码错误或无法实现最优压缩。
3. 创造力在约束中迸发：作者利用 Lua 的 gsub 和位操作，在不到 100 字节的代码中实现了高频的带外信息复用，体现了嵌入式/受限环境下的经典优化思维。
4. 启发同类项目：任何需要将二进制数据嵌入文本语言的场景（如游戏模组、嵌入式脚本、打包工具等）均可借鉴这一“带外位图+gsub回调”的模式。

最终，这个项目不仅解决了一个具体的存储问题，还成为一篇关于“如何在 Lua 中高效编码任意字节序列”的生动教材，