KTransformers

KTransformers是一个面向大语言模型的高性能推理优化框架，支持CPU与GPU混合推理，能够在消费级或有限硬件资源的环境下部署和运行大规模模型。其核心特性包括异构计算调度、量化推理支持以及对多种主流模型架构的兼容，旨在降低大模型本地化部署的硬件门槛，提升推理效率。