misa77编解码器：解码比LZ4快2倍，压缩比更高

背景

在数据压缩领域，写一次读多次（Write-Once, Read-Many）场景非常常见，例如静态资源分发、日志存档、数据库快照等。这类场景对解压速度的要求远高于压缩速度，因为数据一旦写入后会被频繁读取。传统编解码器如 LZ4 以极快的解压速度著称，但压缩比相对有限；zstd 则在速度与比率间有更灵活的权衡。然而，在追求极致解压吞吐时，现有的 LZ4 等方案仍有提升空间。misa77 正是在这一背景下诞生的一个新型 LZ 系编解码器，目标是在解压吞吐上超越 LZ4，同时维持相近甚至更好的压缩比。

核心内容

misa77 是一个基于 LZ（Lempel-Ziv）的编解码器，专门为写一次读多次场景设计。它追求以下特性：

• 极高的单线程解压吞吐：这是核心设计目标。
• 适度的压缩比：由于没有熵编码后端，无法与 zstd 这类强压缩方案相比，但以高努力级别的 LZ4 作为参考基准。
• 常量内存使用：无论输入大小如何，所有压缩模式的内存占用不超过 5 MB，解压缩时内存占用为 0 MB（仅使用输入输出缓冲区）。

为了获得以上优势，misa77 牺牲了压缩速度（压缩较慢）。此外，misa77 有一个有趣的特征：解压高压缩比文件时速度反而更快。这意味着：

• 在高可压缩文件上，misa77 的解压吞吐特别高。
• 即使是中等可压缩文件，花更多努力压缩以获得更好的压缩比，也会带来更高的解压吞吐（除了比率本身的优势外）。 这使得高努力压缩模式对 misa77 尤其有吸引力，并催生了一些实验性压缩模式（位于 src/experimental/），它们在压缩时投入更多计算，以产生对大多数 CPU 微架构更友好的压缩流，从而加速解压。

截至 v0.2.0，misa77 提供两个压缩级别：

• level 0：更好的解码吞吐，略差的压缩比，编码吞吐与 level 1 相近。
• level 1（默认）：略差的解码吞吐，更好的压缩比，编码吞吐与 level 0 相近。

底层流格式（由库函数使用）以及 .misa77 文件的容器格式（由 CLI 产生）的文档位于 docs/ 目录。

简要性能总结：

• misa77 在大多数数据类型上处于解压吞吐 vs 压缩比的帕累托前沿。
• 它经常比竞争对手解压更快，即使竞争对手的压缩比明显更差。
• 它的压缩速度相当慢。

具体测试结果（Intel x86-64 平台）：

• 测试环境：Intel Core i7-14650HX (2.2 GHz)，关闭 Turbo Boost，单线程锁定单个性能核心，CPU governor 设为 performance，基准测试工具为 lzbench 的一个公开分支。
• Silesia Corpus 测试：misa77 的 level 0 在全部 12 个文件上解码速度均快于 LZ4（部分差距巨大）；其他级别在 11/12 个文件上更快。唯一的例外是 x-ray 文件（几乎不可压缩，LZ4 的压缩比接近 1.0，实际退化为内存拷贝）。
• 在可压缩文件上，misa77 处于解码吞吐/压缩比的帕累托前沿：解码最快，同时压缩比接近或超过其他快速 LZ 编解码器。sao 和 x-ray 因前述原因例外。
• 更多结果（包括 enwik8 及跨平台数据）可参考原文链接。

构建与使用：

• 依赖：C++20 编译器（GCC 或 Clang），CMake >= 3.20，小端 64 位系统，misa CLI 需要 POSIX（Linux、macOS）。
• 在 x86-64 上，运行时自动选择 AVX2/SSE2；其他架构使用可移植路径（无显式 intrinsics，但编译器容易自动向量化，至少 Apple ARM 已验证）。
• 构建命令：

  cmake -B build -DCMAKE_BUILD_TYPE=Release
  cmake --build build
  

  建议添加 -DMISA77_MARCH=native 以针对当前机器优化。
• CLI 命令：
  • misa compress FILE → 生成 FILE.misa77
  • misa decompress FILE.misa77 → 还原 FILE
  • misa suggest FILE → 生成调优参数文件 FILE.misap
  • 压缩级别：-l 0 或 -l 1（默认）；实验性模式：--adaptive；suggest 还支持 --tune loose/--tune tight（类似 level 0/1 的权衡），以及 --sample MB（采样大小，默认 2 MB）。
  • 输出路径用 -o PATH，覆盖用 -f。

注意事项：

• misa77 的格式可能在不通知的情况下改变（当前仍为 v0.x.y）。
• 解码器假设输入是有效的 misa77 流；无效输入的行为未定义，作者不提供任何保障。
• 经过本地模糊测试但未加固，建议当作实验性项目对待。

开发背景： misa77 脱胎于一个不那么完善的性能工程学习项目，历史可在一个存档仓库中找到。灵感来自多个项目（原文未列出具体名称，但提到 "Inspiration has been taken from: ..."）。此外，Claude Opus 4.8 和 Fable 5 在脚本、工具构建和 CLI 开发方面提供了大量帮助。许可证为 MIT。

关键要点

• misa77 是一个专为写一次读多次场景设计的 LZ 系编解码器，核心优势是极高的单线程解压吞吐。
• 压缩比相对适度（没有熵编码），但以高努力级别的 LZ4 为参照；在可压缩文件上通常能匹配或超越其他快速 LZ 编解码器的比率。
• 解压内存占用为 0 MB（仅依赖输入输出缓冲区），所有压缩模式内存占用不超过 5 MB，常数规模。
• 存在一个反直觉的特征：压缩比越高的文件，解压速度反而越快；这使高努力压缩模式特别有吸引力。
• 提供两个压缩级别（level 0 和 level 1），以及若干实验模式（如 --adaptive），支持通过 suggest 命令自动调优参数。
• 在 Silesia Corpus 的 12 个文件上，level 0 的解码速度全部快于 LZ4，其他级别在 11/12 个文件上更快；唯一的例外是不可压缩文件（退化为内存拷贝）。
• 压缩速度明显较慢——这是为了换取解压优势而做的折中。
• 构建需要 C++20、CMake 3.20+、小端 64 位系统；CLI 仅支持 POSIX（Linux/macOS）。
• 仍处于早期版本（v0.2.0），格式可能变化，未经充分加固，建议仅在实验环境中使用。
• 许可证为 MIT，开发过程中借助了 Claude Opus 4.8 和 Fable 5 等 AI 工具。

意义与影响

misa77 在快速解压领域开辟了一个新的帕累托前沿，为那些对解压吞吐有极致要求、且能容忍慢压缩的应用提供了有力的候选方案。例如，在 CDN 静态资源分发、大型数据库的只读副本、游戏资源包、嵌入式系统固件分发等场景中，数据一旦压缩后会被反复解压，此时解压速度比压缩速度重要得多。misa77 能在这些场景下比 LZ4 快 2 倍甚至更多，同时保持相近的压缩比，这是非常有价值的进步。

不过，项目的实验性状态（版本号 v0.x.y、未加固）意味着它暂时不适合生产环境关键任务。此外，缺乏熵编码后端