Caphlon-Model
通过词表瘦身、层剪枝和低比特动态量化三步压缩得到的单语英文大模型,输出为 GGUF 单文件,主打消费级硬件本地部署
时间轴 (近 90 天)
Caphlon-Model的构建分为三步:词表手术、层剪枝、量化。
词表手术将合并表缩减到100k目标,节省约649 MiB,代价是模型变成严格英文单语。
层剪枝移除了第12至15层这4个冗余层,节省约302 MiB。
量化采用Unsloth Dynamic IQ2_S格式,最终得到6.87 GiB的单文件体积。
在Tesla T4上使用llama.cpp评测,HumanEval pass@1保留率为96.7%(29/30)。
在Tesla T4上使用llama.cpp评测,MMLU子集保留率为92.9%(344/502)。
英文困惑度为6.6088,对比基线的6.3638。
这些基准测试结果目前是单一来源的自我报告,评测集规模有限(HumanEval 30题、MMLU子集502题),尚未经社区独立复现和交叉验证。
Caphlon-Model的定位是英文、低内存、单文件,适合资源受限的本地推理和边缘设备实验。
作者在GitHub、项目官网和Hugging Face上公开了模型与代码(demiralpdev/Caphlon-Model、caphlon.dev、ssuasd/Caphlon-Model)。
全部知识事实 (10)
Caphlon-Model的构建分为三步:词表手术、层剪枝、量化。
50%待验证词表手术将合并表缩减到100k目标,节省约649 MiB,代价是模型变成严格英文单语。
50%待验证层剪枝移除了第12至15层这4个冗余层,节省约302 MiB。
50%待验证量化采用Unsloth Dynamic IQ2_S格式,最终得到6.87 GiB的单文件体积。
50%待验证在Tesla T4上使用llama.cpp评测,HumanEval pass@1保留率为96.7%(29/30)。
50%待验证在Tesla T4上使用llama.cpp评测,MMLU子集保留率为92.9%(344/502)。
50%待验证英文困惑度为6.6088,对比基线的6.3638。
50%待验证这些基准测试结果目前是单一来源的自我报告,评测集规模有限(HumanEval 30题、MMLU子集502题),尚未经社区独立复现和交叉验证。
50%待验证Caphlon-Model的定位是英文、低内存、单文件,适合资源受限的本地推理和边缘设备实验。
50%待验证作者在GitHub、项目官网和Hugging Face上公开了模型与代码(demiralpdev/Caphlon-Model、caphlon.dev、ssuasd/Caphlon-Model)。
50%