#边缘推理

GenieX：用Rust在骁龙芯片本地跑大模型

高通开源 GenieX：基于 Rust 的推理运行时，可在骁龙 NPU/GPU/CPU 上本地运行 Llama 3、Mistral 及多模态 VLM，支持 INT4/INT8 量化与异构调度，适用于 X Elite 笔记本和骁龙 8 系手机。