BEINGS
An AI character chatroom project that runs LLMs locally within the browser, with each character running on the user's device, requiring no API key or registration, and optionally connecting to cloud-based large models.
Timeline (last 90 days)
在Chrome 155、Windows 11、RTX 4070环境下，360M参数的SmolLM2模型在WebGPU后端达到62.9 tokens/s，WASM后端仅1.6 tokens/s。
WASM后端1.6 tokens/s的低性能部分是因为页面未启用跨源隔离，导致ONNX Runtime Web使用单线程执行。
BEINGS项目使用Worker + Transformers.js + WebGPU架构在浏览器中运行LLM，核心代码约90行JavaScript。
BEINGS页面仅持有一个worker，所有生成请求排队串行执行，以避免多个角色同时调用模型导致加载多份副本或GPU争抢。
BEINGS的冷启动加载时间分别为7.5秒（SmolLM2 273MB）、13.4秒（Qwen 483MB）、26.8秒（Llama 1238MB），缓存后降至1.0、2.2、3.1秒。
BEINGS的云端大脑（OpenAI、Claude、Gemini）为可选升级项，用户API key存储在localStorage中直连服务商，不经过平台。
BEINGS应用早期使用temperature 1.05、top_p 0.95的采样参数，导致模型出现循环输出等异常行为。
All Facts (7)
在Chrome 155、Windows 11、RTX 4070环境下，360M参数的SmolLM2模型在WebGPU后端达到62.9 tokens/s，WASM后端仅1.6 tokens/s。
50%UnverifiedWASM后端1.6 tokens/s的低性能部分是因为页面未启用跨源隔离，导致ONNX Runtime Web使用单线程执行。
50%UnverifiedBEINGS项目使用Worker + Transformers.js + WebGPU架构在浏览器中运行LLM，核心代码约90行JavaScript。
50%UnverifiedBEINGS页面仅持有一个worker，所有生成请求排队串行执行，以避免多个角色同时调用模型导致加载多份副本或GPU争抢。
50%UnverifiedBEINGS的冷启动加载时间分别为7.5秒（SmolLM2 273MB）、13.4秒（Qwen 483MB）、26.8秒（Llama 1238MB），缓存后降至1.0、2.2、3.1秒。
50%UnverifiedBEINGS的云端大脑（OpenAI、Claude、Gemini）为可选升级项，用户API key存储在localStorage中直连服务商，不经过平台。
50%UnverifiedBEINGS应用早期使用temperature 1.05、top_p 0.95的采样参数，导致模型出现循环输出等异常行为。
50%