ONNX Runtime Web
微软主导的跨平台推理引擎ONNX Runtime的浏览器版本，支持直接加载标准ONNX格式模型，用于Web端AI推理部署
核心事实
时间轴 (近 90 天)
Transformers.js底层使用ONNX Runtime Web，模型需要转为ONNX格式并量化，4-bit量化的1B模型大小约1.2GB而非5GB。
WASM后端1.6 tokens/s的低性能部分是因为页面未启用跨源隔离，导致ONNX Runtime Web使用单线程执行。
TaskProof 的可选 AI 部分使用 FLAN-T5 Small 模型，通过 Transformers.js 和 ONNX Runtime Web 在浏览器 Web Worker 内运行，其角色被限制为总结可能的交付物、为买家提一个问题、草拟一句开场白。
随着WebGPU和ONNX Runtime Web等技术的成熟，浏览器端运行小型语言模型正在变为现实。
将机器学习推理引擎（如ONNX Runtime Web或Transformers.js）编译为Wasm模块，再加载量化后的模型权重，就能在用户设备本地完成图像推理，照片全程不离开本地设备
Talus导出为ONNX格式，权重以fp16存储加载时转回fp32，通过ONNX Runtime Web跑在WebGPU上，在RTX 5060上约3秒生成一张地图，并提供CPU回退方案
ONNX Runtime Web是微软主导的跨平台推理引擎的浏览器版本，能直接加载标准ONNX格式模型
WebAssembly和WebGPU是两种主要的浏览器端AI推理技术路径，ONNX Runtime Web、TensorFlow.js等框架已支持这两种方案
现代浏览器的 Web Speech API 提供原生语音识别接口，WebGPU 和 ONNX Runtime Web 等技术允许在浏览器中直接运行轻量级神经网络模型
浏览器端自动抠图主要依赖 WebAssembly 和 TensorFlow.js 或 ONNX Runtime Web 等浏览器端机器学习框架加载预训练图像分割模型
全部知识事实 (12)
ONNX Runtime Web 将 ONNX 运行时编译为 WebAssembly 实现跨平台模型推理，ONNX 由微软与 Facebook 联合推出
75%已验证Transformers.js 是 Hugging Face 开发的 JavaScript 库，基于 WebAssembly 和 WebGPU 技术，将 Transformer 模型推理移植到浏览器环境
70%已验证ONNX Runtime Web是微软主导的跨平台推理引擎的浏览器版本，能直接加载标准ONNX格式模型
65%待验证浏览器端自动抠图主要依赖 WebAssembly 和 TensorFlow.js 或 ONNX Runtime Web 等浏览器端机器学习框架加载预训练图像分割模型
60%待验证Transformers.js底层使用ONNX Runtime Web，模型需要转为ONNX格式并量化，4-bit量化的1B模型大小约1.2GB而非5GB。
50%待验证WASM后端1.6 tokens/s的低性能部分是因为页面未启用跨源隔离，导致ONNX Runtime Web使用单线程执行。
50%待验证TaskProof 的可选 AI 部分使用 FLAN-T5 Small 模型，通过 Transformers.js 和 ONNX Runtime Web 在浏览器 Web Worker 内运行，其角色被限制为总结可能的交付物、为买家提一个问题、草拟一句开场白。
50%待验证将机器学习推理引擎（如ONNX Runtime Web或Transformers.js）编译为Wasm模块，再加载量化后的模型权重，就能在用户设备本地完成图像推理，照片全程不离开本地设备
50%待验证Talus导出为ONNX格式，权重以fp16存储加载时转回fp32，通过ONNX Runtime Web跑在WebGPU上，在RTX 5060上约3秒生成一张地图，并提供CPU回退方案
50%待验证WebAssembly和WebGPU是两种主要的浏览器端AI推理技术路径，ONNX Runtime Web、TensorFlow.js等框架已支持这两种方案
50%待验证现代浏览器的 Web Speech API 提供原生语音识别接口，WebGPU 和 ONNX Runtime Web 等技术允许在浏览器中直接运行轻量级神经网络模型
50%待验证随着WebGPU和ONNX Runtime Web等技术的成熟，浏览器端运行小型语言模型正在变为现实。
50%