MNN-Pocket-0.3B
阿里MNN团队推出的端侧小参数大语言模型,采用300M参数稠密架构,支持INT4量化与长上下文,专为内存受限设备部署设计
时间轴 (近 90 天)
MNN-Pocket-0.3B是一个300M参数的稠密模型。
MNN-Pocket-0.3B在INT4量化下部署体积为173MB。
MNN-Pocket-0.3B在iPad Pro M5(Metal后端)上实现最高466 tokens/s的解码吞吐。
MNN-Pocket-0.3B支持最长32K tokens的上下文。
MNN-Pocket-0.3B的模型权重和MNN部署包均已开源。
MNN-Pocket-0.3B由阿里MNN团队发布。
MNN-Pocket-0.3B的预训练覆盖约4.1万亿高质量中英文token。
MNN-Pocket-0.3B的预训练采用四阶段流程。
MNN-Pocket-0.3B的后训练包括指令微调、多教师在线策略蒸馏和量化感知训练(QAT)三个阶段。
MNN-Pocket-0.3B在架构设计中采用了依赖感知的词表剪枝技术。
还有 2 条时间轴事件
全部知识事实 (12)
MNN-Pocket-0.3B的目标设备包括智能手机和智能眼镜。
50%待验证MNN-Pocket-0.3B在INT4量化下部署体积为173MB。
50%待验证MNN-Pocket-0.3B在iPad Pro M5(Metal后端)上实现最高466 tokens/s的解码吞吐。
50%待验证MNN-Pocket-0.3B支持最长32K tokens的上下文。
50%待验证MNN-Pocket-0.3B是一个300M参数的稠密模型。
50%待验证MNN-Pocket-0.3B由阿里MNN团队发布。
50%待验证MNN-Pocket-0.3B的预训练覆盖约4.1万亿高质量中英文token。
50%待验证MNN-Pocket-0.3B的预训练采用四阶段流程。
50%待验证MNN-Pocket-0.3B的后训练包括指令微调、多教师在线策略蒸馏和量化感知训练(QAT)三个阶段。
50%待验证MNN-Pocket-0.3B在架构设计中采用了依赖感知的词表剪枝技术。
50%待验证报告称MNN-Pocket-0.3B在同尺寸模型中达到前沿水平,在指令跟随基准上超过了一些0.5B参数模型。
50%待验证MNN-Pocket-0.3B的模型权重和MNN部署包均已开源。
50%