端侧推理通常只能跑参数量较小的模型（数亿到数十亿参数级别），并且首token延迟、吞吐量与设备强相关。