产品TensorFlow Lite / TFLite / LiteRT

LiteRT LM

Google 推出的端侧大模型推理运行时，针对移动端 CPU、GPU 和 NPU 优化，支持权重量化、流式输出和 KV Cache 复用

时间轴 (近 90 天)

10月13日

Anvil 的聊天功能使用 Gemma 4 E2B 模型，通过 LiteRT LM 运行时执行。

待验证50%

10月13日

LiteRT LM 支持权重量化（int8、int4）以压缩模型体积，并提供流式输出和 KV Cache 复用等推理加速机制。

待验证50%

Anvil 的聊天功能使用 Gemma 4 E2B 模型，通过 LiteRT LM 运行时执行。

LiteRT LM 支持权重量化（int8、int4）以压缩模型体积，并提供流式输出和 KV Cache 复用等推理加速机制。