BEINGS
一个在浏览器内本地运行 LLM 的 AI 角色聊天室项目,每个角色运行在用户设备上,无需 API key 和注册,可选接入云端大模型
时间轴 (近 90 天)
在Chrome 155、Windows 11、RTX 4070环境下,360M参数的SmolLM2模型在WebGPU后端达到62.9 tokens/s,WASM后端仅1.6 tokens/s。
WASM后端1.6 tokens/s的低性能部分是因为页面未启用跨源隔离,导致ONNX Runtime Web使用单线程执行。
BEINGS项目使用Worker + Transformers.js + WebGPU架构在浏览器中运行LLM,核心代码约90行JavaScript。
BEINGS页面仅持有一个worker,所有生成请求排队串行执行,以避免多个角色同时调用模型导致加载多份副本或GPU争抢。
BEINGS的冷启动加载时间分别为7.5秒(SmolLM2 273MB)、13.4秒(Qwen 483MB)、26.8秒(Llama 1238MB),缓存后降至1.0、2.2、3.1秒。
BEINGS的云端大脑(OpenAI、Claude、Gemini)为可选升级项,用户API key存储在localStorage中直连服务商,不经过平台。
BEINGS应用早期使用temperature 1.05、top_p 0.95的采样参数,导致模型出现循环输出等异常行为。
全部知识事实 (7)
在Chrome 155、Windows 11、RTX 4070环境下,360M参数的SmolLM2模型在WebGPU后端达到62.9 tokens/s,WASM后端仅1.6 tokens/s。
50%待验证WASM后端1.6 tokens/s的低性能部分是因为页面未启用跨源隔离,导致ONNX Runtime Web使用单线程执行。
50%待验证BEINGS项目使用Worker + Transformers.js + WebGPU架构在浏览器中运行LLM,核心代码约90行JavaScript。
50%待验证BEINGS页面仅持有一个worker,所有生成请求排队串行执行,以避免多个角色同时调用模型导致加载多份副本或GPU争抢。
50%待验证BEINGS的冷启动加载时间分别为7.5秒(SmolLM2 273MB)、13.4秒(Qwen 483MB)、26.8秒(Llama 1238MB),缓存后降至1.0、2.2、3.1秒。
50%待验证BEINGS的云端大脑(OpenAI、Claude、Gemini)为可选升级项,用户API key存储在localStorage中直连服务商,不经过平台。
50%待验证BEINGS应用早期使用temperature 1.05、top_p 0.95的采样参数,导致模型出现循环输出等异常行为。
50%