产品RKLLM Runtime
RKLLM
瑞芯微为其NPU平台提供的专用大语言模型推理框架，支持自回归Transformer语言模型的NPU加速推理，模型需经官方工具链转换后方可加载运行
时间轴 (近 90 天)
10月15日
RKLLM是瑞芯微为其NPU平台提供的专用大语言模型推理框架，模型权重需经官方工具链转换，不能直接加载GGUF或PyTorch格式。
待验证50%
10月15日
语言模型采用W8A8量化版本，格式为RKLLM；视觉编码器使用RKNN格式。
待验证50%
瑞芯微为其NPU平台提供的专用大语言模型推理框架，支持自回归Transformer语言模型的NPU加速推理，模型需经官方工具链转换后方可加载运行
RKLLM是瑞芯微为其NPU平台提供的专用大语言模型推理框架，模型权重需经官方工具链转换，不能直接加载GGUF或PyTorch格式。
语言模型采用W8A8量化版本，格式为RKLLM；视觉编码器使用RKNN格式。