[控场AI]
产品

BEINGS

一个在浏览器内本地运行 LLM 的 AI 角色聊天室项目,每个角色运行在用户设备上,无需 API key 和注册,可选接入云端大模型

时间轴 (近 90 天)

10月17日

在Chrome 155、Windows 11、RTX 4070环境下,360M参数的SmolLM2模型在WebGPU后端达到62.9 tokens/s,WASM后端仅1.6 tokens/s。

待验证50%
10月17日

WASM后端1.6 tokens/s的低性能部分是因为页面未启用跨源隔离,导致ONNX Runtime Web使用单线程执行。

待验证50%
10月17日

BEINGS项目使用Worker + Transformers.js + WebGPU架构在浏览器中运行LLM,核心代码约90行JavaScript。

待验证50%
10月17日

BEINGS页面仅持有一个worker,所有生成请求排队串行执行,以避免多个角色同时调用模型导致加载多份副本或GPU争抢。

待验证50%
10月17日

BEINGS的冷启动加载时间分别为7.5秒(SmolLM2 273MB)、13.4秒(Qwen 483MB)、26.8秒(Llama 1238MB),缓存后降至1.0、2.2、3.1秒。

待验证50%
10月17日

BEINGS的云端大脑(OpenAI、Claude、Gemini)为可选升级项,用户API key存储在localStorage中直连服务商,不经过平台。

待验证50%
10月17日

BEINGS应用早期使用temperature 1.05、top_p 0.95的采样参数,导致模型出现循环输出等异常行为。

待验证50%

全部知识事实 (7)

来源文章