Ternlight推出7MB浏览器内嵌嵌入模型，基于WASM

背景

传统的文本嵌入模型（如 OpenAI 的 text-embedding-ada-002 或开源的 Sentence-BERT 系列）体积往往在数百 MB 甚至 GB 级别，依赖 GPU 或云 API 完成推理。这种架构虽然效果强大，但带来了网络延迟、隐私风险、服务依赖和高成本等问题。开发者若想在浏览器中实现本地语义搜索、推荐或聚类，通常需要借助 WebAssembly（WASM） 将模型压缩并移植到前端，但模型体积和推理速度一直是一大瓶颈。Ternlight 的出现正是为了填补这一空白——以极小的模型体积（7 MB）在浏览器 CPU 上实现毫秒级嵌入生成，无需任何 API 调用或后端服务。

核心内容

Ternlight 是一个超轻量级的文本嵌入模型，完整版仅 7 MB（包含引擎和权重），还有一个 5 MB 的 mini 变体。它专门为浏览器环境设计，通过 WebAssembly 运行在用户本地的 CPU 上，完全不依赖 GPU。

使用方式非常简单：开发者只需通过 npm 安装 @ternlight/base 包，即可在项目中直接调用 embed() 和 similar() 函数。无需额外的模型下载步骤，也不需要启动任何后端服务。执行一次文本嵌入仅需约 5 毫秒，网络请求为零。示例代码：

import { embed, similar } from '@ternlight/base';
similar('easy weeknight dinner ideas', recipes, { topK: 3 });
// → ranked matches · ~5 ms · zero network

官方还提供了一个交互式演示：在浏览器中搜索 React 官方文档的内容，用户输入问题后，模型会在本地进行语义匹配。演示页面会显示引擎加载进度、已处理的文本块数、每秒嵌入数以及总耗时（如 0.0 s ELAPSED），全程在用户 CPU 上运行。

关键要点

• 极小的模型体积：完整版 7 MB，mini 版 5 MB，远小于常规嵌入模型。
• 纯客户端运行：通过 WASM 在浏览器 CPU 上执行，无需 GPU 或远程 API。
• 零网络依赖：安装 npm 包后，模型权重随包一起提供，推理时无任何网络请求。
• 速度快：单次嵌入约 5 毫秒，适合实时交互场景。
• 开发者友好：一个 npm 包即可引入，import 后直接使用 embed 和 similar 函数，无额外配置。
• 应用示例：已实现将 React 文档切片后在浏览器中进行语义搜索，用户输入问题即可获得匹配结果。

意义与影响

• 隐私优先：所有文本数据（如用户查询、文档内容）无需离开浏览器，完全本地化处理，消除了数据泄露风险。
• 离线可用：模型随 npm 包打包，应用可以脱机运行语义搜索、推荐等功能，非常适合 PWA 或离线知识库场景。
• 成本极低：开发者无需购买 GPU 实例或付费 API 额度，前端即可完成嵌入推理，大幅降低基础设施成本。
• 边缘计算新范式：Ternlight 展示了「小模型·大用途」的趋势——在资源受限的浏览器环境中，紧凑的模型也能提供足够好的语义表示，为下一代智能文档、电商搜索、RAG 前端化等应用铺平道路。
• 生态扩展潜力：若该模型效果可媲美主流方案（如 MiniLM 或 text-embedding-3-small），将彻底改变嵌入领域的前后端分工，推动更多 AI 功能从前端走向本地。