共 2 篇相关文章
MicroGPT项目用纯C语言实现GPT推理，在苹果M5芯片上达到千万级TPS吞吐量。本文深入分析纯C实现的技术优势、M5统一内存架构的性能红利，以及极简路线在边缘计算和端侧推理中的现实意义。
开发者用纯C99编写推理引擎，利用MoE稀疏激活特性和NVMe按需加载，成功让1.56TB的Kimi K3大模型在8GB内存单CPU机器上运行，无需GPU，二进制仅176KB。
