Transformers.js
Hugging Face开发的JavaScript版Transformers库,底层依赖ONNX Runtime Web进行模型推理,支持WebAssembly或WebGPU后端在浏览器中运行AI模型
核心事实
时间轴 (近 90 天)
Transformers.js 4.3.1 搭配 onnxruntime-web 1.31.0-dev.20260914,仅在 Safari 版本低于 26 且没有 WebGPU 时自动使用普通(非 asyncify)WebAssembly 构建。
应使用 env.backends.onnx.versions.web 而非硬编码版本号来拼接 onnxruntime-web 的 wasm 文件 URL,以保证 .wasm 二进制与 .mjs 胶水代码的版本严格一致,避免 ABI 不匹配导致的运行时错误。
Transformers.js 4.3.1 在默认情况下(当 WebGPU 可用或 Safari 版本 >= 26 时)会选择 asyncify 构建(ort-wasm-simd-threaded.asyncify.{mjs,wasm})来加载 ONNX Runtime Web。
Transformers.js 4.3.1 版本可用于在浏览器中直接运行 AI 模型推理。
GrassToucher 的 AI 模型管线设计上可运行 Google Gemma 2 这类开源权重模型,并能通过 Ollama 或 Transformers.js 适配本地执行
将机器学习推理引擎(如ONNX Runtime Web或Transformers.js)编译为Wasm模块,再加载量化后的模型权重,就能在用户设备本地完成图像推理,照片全程不离开本地设备
MLC-LLM、Transformers.js 等开源框架专门针对浏览器端推理场景优化,能将ONNX、GGUF等格式的模型权重加载到浏览器内存并执行推理
团队用纯 JavaScript 完整重新实现了 LLGuidance,消除了 1MB 的 WASM 文件依赖
Transformers.js 发布了 v4.3 版本,核心亮点是结构化输出(Structured Output)
结构化输出让浏览器端大模型能够严格按照预定义 schema 生成内容
还有 5 条时间轴事件
全部知识事实 (16)
Transformers.js 是 Hugging Face 开发的 JavaScript 库,基于 WebAssembly 和 WebGPU 技术,将 Transformer 模型推理移植到浏览器环境
70%待验证应使用 env.backends.onnx.versions.web 而非硬编码版本号来拼接 onnxruntime-web 的 wasm 文件 URL,以保证 .wasm 二进制与 .mjs 胶水代码的版本严格一致,避免 ABI 不匹配导致的运行时错误。
50%待验证Transformers.js 4.3.1 在默认情况下(当 WebGPU 可用或 Safari 版本 >= 26 时)会选择 asyncify 构建(ort-wasm-simd-threaded.asyncify.{mjs,wasm})来加载 ONNX Runtime Web。
50%待验证Transformers.js 4.3.1 搭配 onnxruntime-web 1.31.0-dev.20260914,仅在 Safari 版本低于 26 且没有 WebGPU 时自动使用普通(非 asyncify)WebAssembly 构建。
50%待验证Transformers.js 4.3.1 版本可用于在浏览器中直接运行 AI 模型推理。
50%待验证GrassToucher 的 AI 模型管线设计上可运行 Google Gemma 2 这类开源权重模型,并能通过 Ollama 或 Transformers.js 适配本地执行
50%待验证将机器学习推理引擎(如ONNX Runtime Web或Transformers.js)编译为Wasm模块,再加载量化后的模型权重,就能在用户设备本地完成图像推理,照片全程不离开本地设备
50%待验证MLC-LLM、Transformers.js 等开源框架专门针对浏览器端推理场景优化,能将ONNX、GGUF等格式的模型权重加载到浏览器内存并执行推理
50%待验证Transformers.js v4 版本对 GitHub 仓库做了重组,新增了 packages 目录,并新增 Transformers Structured Output 包
50%待验证结构化输出功能几乎没有改动 Transformers.js 核心代码,因为其本身已支持 Logits Processor 机制
50%待验证团队用纯 JavaScript 完整重新实现了 LLGuidance,消除了 1MB 的 WASM 文件依赖
50%待验证结构化输出让浏览器端大模型能够严格按照预定义 schema 生成内容
50%待验证Transformers.js、WebLLM 等项目已证明中小规模语言模型可以在浏览器端流畅运行而无需后端服务器
50%待验证Apogee在Chrome上集成WebGPU利用GPU加速本地模型推理,在Firefox上采用Transformers.js在浏览器内运行轻量级模型
50%待验证OpenAI的Whisper模型已有多个社区版本被移植到ONNX Runtime Web和Transformers.js等框架,可在客户端完成语音转文字
50%待验证Transformers.js 发布了 v4.3 版本,核心亮点是结构化输出(Structured Output)
50%