WebLLM
基于WebGPU的浏览器端大语言模型推理框架，支持在浏览器中本地运行Llama、Phi、Gemma等主流小模型，无需后端服务器
核心事实
时间轴 (近 90 天)
WebLLM等项目已经验证了用浏览器GPU（WebGL2）跑大模型的可行性。
Go Outside 通过 WebLLM（@mlc-ai/web-llm@0.2.85）运行模型，WebLLM 是 MLC 开源的推理引擎，能把模型编译到 WebGPU 上
在配备独立显卡的设备上，浏览器中运行小模型的推理速度可达每秒数十 token
WebLLM 项目已实现在浏览器中运行 Llama 3、Phi-3、Gemma 等主流小模型
Transformers.js、WebLLM 等项目已证明中小规模语言模型可以在浏览器端流畅运行而无需后端服务器
在WebLLM架构中，Wasm主要承担非GPU计算逻辑，包括tokenizer的编解码、采样策略执行、KV Cache管理等CPU端任务，与WebGPU形成GPU+CPU协同的推理流水线
GQA通过让多个Query头共享同一组Key-Value头来减少KV Cache的大小，这对WebLLM在内存受限环境下运行尤为关键
一旦模型加载完成，WebLLM应用可以在断网状态下继续工作，结合PWA技术可像原生应用一样安装到设备主屏幕
WebLLM项目通常使用MLC-LLM框架对模型进行量化和编译优化，MLC-LLM的底层基础设施是Apache TVM
即便经过量化，一个可用的LLM权重文件通常仍有数百MB到数GB，这是WebLLM首次加载时间的局限
还有 7 条时间轴事件
全部知识事实 (17)
WebLLM是一个高性能的浏览器内LLM推理引擎，目标是把整个模型推理流程搬到客户端浏览器中执行，无需服务器支持
75%待验证WebLLM等项目已经验证了用浏览器GPU（WebGL2）跑大模型的可行性。
50%待验证Go Outside 通过 WebLLM（@mlc-ai/web-llm@0.2.85）运行模型，WebLLM 是 MLC 开源的推理引擎，能把模型编译到 WebGPU 上
50%待验证Transformers.js、WebLLM 等项目已证明中小规模语言模型可以在浏览器端流畅运行而无需后端服务器
50%待验证WebLLM 项目已实现在浏览器中运行 Llama 3、Phi-3、Gemma 等主流小模型
50%待验证在配备独立显卡的设备上，浏览器中运行小模型的推理速度可达每秒数十 token
50%待验证在WebLLM架构中，Wasm主要承担非GPU计算逻辑，包括tokenizer的编解码、采样策略执行、KV Cache管理等CPU端任务，与WebGPU形成GPU+CPU协同的推理流水线
50%待验证GQA通过让多个Query头共享同一组Key-Value头来减少KV Cache的大小，这对WebLLM在内存受限环境下运行尤为关键
50%待验证一旦模型加载完成，WebLLM应用可以在断网状态下继续工作，结合PWA技术可像原生应用一样安装到设备主屏幕
50%待验证即便经过量化，一个可用的LLM权重文件通常仍有数百MB到数GB，这是WebLLM首次加载时间的局限
50%待验证WebLLM项目通常使用MLC-LLM框架对模型进行量化和编译优化，MLC-LLM的底层基础设施是Apache TVM
50%待验证在WebLLM架构中，Wasm承担模型推理过程中的非GPU计算逻辑，包括tokenizer编解码、采样策略执行、KV Cache管理等CPU端任务
50%待验证浏览器内推理将模型计算成本转移到用户端，开发者无需为GPU推理服务器付费，可构建完全无后端的AI应用
50%待验证WebLLM利用浏览器内置存储机制（如Cache API和IndexedDB）持久化已下载的模型权重，避免重复下载
50%待验证WebGPU能分配的显存受到浏览器沙箱限制，通常远小于原生应用可用的显存，这是WebLLM处理长上下文任务面临性能瓶颈的重要原因
50%待验证WebLLM更适合隐私敏感的助手类工具、教育与演示场景以及轻量级嵌入式AI功能，而不适合需要超大参数模型、极致响应速度或低端设备广泛覆盖的场景
50%待验证WebLLM让所有推理都在本地完成，用户数据从始至终不离开设备，从根本上消除数据泄露风险
50%