Product
MLC-LLM
专为机器学习模型跨平台部署设计的开源框架,支持将大语言模型部署到浏览器、移动设备等多种端侧环境,支持WebGPU等硬件后端
Timeline (last 90 days)
Sep 28
MLC-LLM、Transformers.js 等开源框架专门针对浏览器端推理场景优化,能将ONNX、GGUF等格式的模型权重加载到浏览器内存并执行推理
Unverified50%
Sep 4
WebLLM项目通常使用MLC-LLM框架对模型进行量化和编译优化,MLC-LLM的底层基础设施是Apache TVM
Unverified50%
Sep 4
MLC-LLM的底层基础设施是Apache TVM,一个开源的深度学习编译器栈,能够将模型自动优化并编译为特定硬件平台的高效代码
Unverified50%
Sep 1
主流边缘推理框架包括谷歌的TensorFlow Lite、微软主导的ONNX Runtime、以及陈天奇团队开发的MLC-LLM
Unverified50%
Aug 31
MLC-LLM由陈天奇团队开发,能将大语言模型编译为针对特定硬件高度优化的原生代码
Unverified50%
All Facts (5)
Unverified
MLC-LLM、Transformers.js 等开源框架专门针对浏览器端推理场景优化,能将ONNX、GGUF等格式的模型权重加载到浏览器内存并执行推理
50%UnverifiedWebLLM项目通常使用MLC-LLM框架对模型进行量化和编译优化,MLC-LLM的底层基础设施是Apache TVM
50%UnverifiedMLC-LLM的底层基础设施是Apache TVM,一个开源的深度学习编译器栈,能够将模型自动优化并编译为特定硬件平台的高效代码
50%Unverified主流边缘推理框架包括谷歌的TensorFlow Lite、微软主导的ONNX Runtime、以及陈天奇团队开发的MLC-LLM
50%UnverifiedMLC-LLM由陈天奇团队开发,能将大语言模型编译为针对特定硬件高度优化的原生代码
50%