#WebGPU
共 8 篇相关文章

浏览器跑LLM:WebGPU达63 tokens/s,WASM仅1.6
BEINGS 聊天室实测浏览器内运行 LLM:同款 360M 模型在 WebGPU 上达 62.9 tokens/s,WASM 回退仅 1.6 tokens/s,回复耗时 0.54 秒对 26.9 秒。含 Transformers.js + Web Worker 实现、采样参数调优、垃圾过滤器与打包器陷阱的完整经验。

61KB HTML实现WebGPU实时海洋:Claude Code单提示词生成
开发者用Claude Code单条提示词生成61KB HTML文件,基于WebGPU实现实时海洋模拟,含FFT波浪、白浪花与物理天空,约30分钟完成,RTX 5070 Ti上跑到260 FPS。

零Token决策:EmbeddingGemma 2 + WebGPU 浏览器端多模态分类
Decide Live 用微调的 EmbeddingGemma 2 通过 transformers.js 和 WebGPU 在浏览器端实现零 Token 多模态分类决策,数据不上传、离线可用、每次调用免费,展示了端侧边缘 AI 的实用范式。

Talus:23M参数扩散模型,浏览器WebGPU生成游戏地形
开源项目Talus是一个仅2300万参数的扩散模型,可在浏览器WebGPU中约3秒生成游戏地形高度图。它采用真实对比真实的噪声基线评估法,在单张RTX 5060上训练完成,代码与权重以Apache-2.0开源。

EmbeddingGemma 2 浏览器端图文检索:WebGPU 本地推理实践
EmbeddingGemma 2 将图像与文本映射到同一 768 维向量空间,实现图文检索。开发者借助 WebGPU 推理库 ruNNtime,让图片语义搜索完全在浏览器 GPU 本地运行,兼顾隐私与零部署成本。

Hugging Face开源最快WebGPU内核:浏览器本地AI迎来提速
Hugging Face开源面向浏览器本地AI的WebGPU内核集合,覆盖200多个ML算子,全部可在浏览器本地运行,并计划上游到Transformers.js、ONNX Runtime Web等主流运行时。

vgpu:为AI Agent设计的WebGPU TypeScript库
vgpu 是一个为 AI Agent 设计的 WebGPU TypeScript 库,提供类型化 Shader 导入、精简 GPU-first API,以及浏览器、Node 与测试套件的统一运行能力,降低 AI 生成图形代码的出错门槛。

三值权重压缩:27B模型缩至6GB,可在浏览器本地运行
Ternary Bonsai 2(27B)在Hugging Face发布,采用三值权重将模型压缩至6GB以下,仅为FP16的九分之一,官方称保留98.2%性能,并支持通过WebGPU在浏览器本地运行。