[控场AI]
模型MNN-Pocket

MNN-Pocket-0.3B

阿里MNN团队推出的端侧小参数大语言模型,采用300M参数稠密架构,支持INT4量化与长上下文,专为内存受限设备部署设计

时间轴 (近 90 天)

11月10日

MNN-Pocket-0.3B是一个300M参数的稠密模型。

待验证50%
11月10日

MNN-Pocket-0.3B在INT4量化下部署体积为173MB。

待验证50%
11月10日

MNN-Pocket-0.3B在iPad Pro M5(Metal后端)上实现最高466 tokens/s的解码吞吐。

待验证50%
11月10日

MNN-Pocket-0.3B支持最长32K tokens的上下文。

待验证50%
11月10日

MNN-Pocket-0.3B的模型权重和MNN部署包均已开源。

待验证50%
11月10日

MNN-Pocket-0.3B由阿里MNN团队发布。

待验证50%
11月10日

MNN-Pocket-0.3B的预训练覆盖约4.1万亿高质量中英文token。

待验证50%
11月10日

MNN-Pocket-0.3B的预训练采用四阶段流程。

待验证50%
11月10日

MNN-Pocket-0.3B的后训练包括指令微调、多教师在线策略蒸馏和量化感知训练(QAT)三个阶段。

待验证50%
11月10日

MNN-Pocket-0.3B在架构设计中采用了依赖感知的词表剪枝技术。

待验证50%

还有 2 条时间轴事件

全部知识事实 (12)

来源文章