产品Machine Learning Compilation for LLM
MLC LLM
开源的大型语言模型部署框架，支持在多种硬件平台（包括移动设备）上高效运行LLM，利用机器学习编译技术优化推理性能
时间轴 (近 90 天)
10月8日
MLC LLM由陈天奇团队开发，基于TVM编译框架，能将模型编译为针对特定硬件优化的原生代码，在iOS和Android上均可调用GPU
待验证50%
10月8日
MLC LLM通常比llama.cpp的纯CPU推理有更高吞吐量
待验证50%
10月8日
开源模型生态（如Llama、Mistral等系列）的成熟以及llama.cpp、MLC LLM等移动端推理框架的出现，降低了个人在手机上搭建AI助手的门槛
待验证50%
9月24日
Android设备上运行本地小模型的主流工具包括MLC LLM、llama.cpp的Android移植版，以及基于Vulkan/OpenCL的GPU推理后端
待验证50%
全部知识事实 (5)
待验证
MLC LLM和llama.cpp等端侧推理框架已使在手机本地运行小型语言模型成为可能
85%待验证MLC LLM由陈天奇团队开发，基于TVM编译框架，能将模型编译为针对特定硬件优化的原生代码，在iOS和Android上均可调用GPU
50%待验证MLC LLM通常比llama.cpp的纯CPU推理有更高吞吐量
50%待验证开源模型生态（如Llama、Mistral等系列）的成熟以及llama.cpp、MLC LLM等移动端推理框架的出现，降低了个人在手机上搭建AI助手的门槛
50%待验证Android设备上运行本地小模型的主流工具包括MLC LLM、llama.cpp的Android移植版，以及基于Vulkan/OpenCL的GPU推理后端
50%