[控场AI]

#模型压缩

共 23 篇相关文章

3D拆解AI模型:揪出近半亿参数的“死重”
·4 分钟

3D拆解AI模型:揪出近半亿参数的“死重”

通过3D可视化拆解真实AI模型:419个张量、近5亿权重中隐藏着未使用的span head和count head等死重组件,剥离后仅保留分类头即可维持决策功能。模型主干为24层Transformer,眼形结构直观揭示冗余。

阅读全文 →
动画拆解LLM量化:从absmax到BitNet
·5 分钟

动画拆解LLM量化:从absmax到BitNet

用8个权重示例动画拆解LLM量化原理:absmax映射、舍入误差、离群值影响、llama.cpp Q4_K分块缩放与1.58-bit BitNet三值权重,梳理70B模型本地部署的内存与精度取舍。

阅读全文 →
亚马逊HOPE研究:Qwen3.5模型砍半专家仍保持编码性能
·3 分钟

亚马逊HOPE研究:Qwen3.5模型砍半专家仍保持编码性能

亚马逊公开HOPE研究与代码,实验显示移除Qwen3.5-35B-A3B约一半专家后,编码性能与原始模型相近,为MoE模型压缩与高效推理提供新参考。

阅读全文 →
64G内存纯CPU跑284B大模型?开源项目LamaMotric引热议
·4 分钟

64G内存纯CPU跑284B大模型?开源项目LamaMotric引热议

开源项目LamaMotric 2.4号称仅靠64G内存和纯CPU就能运行284B参数大模型,通过自研二阶压缩将模型压至56.56G。本文解析其压缩思路、16核锐龙实测速度与本地部署的实际门槛。

阅读全文 →
阿拉伯法律大模型压缩评测:上下文敏感性视角
·4 分钟

阿拉伯法律大模型压缩评测:上下文敏感性视角

基于 ArabLegalEval 基准的研究显示,去掉上下文后基础模型准确率差距最高达27个百分点;4比特量化降低内存64-71%,精度变化-3.2至+1.6个百分点;蒸馏效果随学生规模缩小而波动。无上下文评测应成为法律大模型压缩评估的必要补充。

阅读全文 →
CompressionBench:编码智能体能否自主压缩LLM?
·3 分钟

CompressionBench:编码智能体能否自主压缩LLM?

CompressionBench研究编码智能体能否自主压缩LLM:36份提交29份通过验证,平均困惑度增加3.4%,下游准确率77.33% vs BF16的79.56%。揭示表示设计、实验判断与能力验证是核心挑战。

阅读全文 →
MAEP:模态感知专家剪枝,让MoE多模态大模型塞进单卡40GB
·6 分钟

MAEP:模态感知专家剪枝,让MoE多模态大模型塞进单卡40GB

MAEP 是一种免训练的模态感知专家剪枝框架,按视觉与语言分别评估 MoE 专家重要性,在多数多模态基准上优于模态无关基线,减少约 27 GB 专家权重,使约 58 GB 的 MoE 多模态大模型可装进单张 40 GB GPU。

阅读全文 →
剪掉Gemma 85%权重后,模型反而更快了
·5 分钟

剪掉Gemma 85%权重后,模型反而更快了

开发者将Gemma 4 26B-A4B剪枝至15%权重,MoE变稠密模型后仅2.75GB,推理速度约为12B两倍,窄分类任务与原模型一致率92%。解析其块局部训练思路与专家选择方法。

阅读全文 →
剪枝模型变笨了?Test-Time Scaling重新审视LLM剪枝
·3 分钟

剪枝模型变笨了?Test-Time Scaling重新审视LLM剪枝

一项新研究从测试时扩展(Test-Time Scaling)视角重新审视LLM结构化剪枝,发现剪枝后pass@1下降未必代表推理能力丧失,模型仍可能保持甚至超越原始模型的推理覆盖范围,但正确答案的采样成本会显著上升。研究提出应同时以覆盖范围和采样效率评估剪枝。

阅读全文 →
1比特每参数!763B DeepSeek-V4.1-Flash压缩版发布
·6 分钟

1比特每参数!763B DeepSeek-V4.1-Flash压缩版发布

ISTA 实验室发布 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder:763B MoE 模型经专家剪枝与 GSQ/RCO 压缩至平均每参数 1 比特,transformer 权重 72.1 GB,LiveCodeBench v6 保留 98.7%,SWE-bench Verified 保留 94.8%,可在 llama.cpp 运行。

阅读全文 →
模型蒸馏视觉解析:小AI如何向大模型偷师,复制争议何来?
·4 分钟

模型蒸馏视觉解析:小AI如何向大模型偷师,复制争议何来?

Reddit视觉解析深入探讨模型蒸馏:小模型如何从大模型学习,以及实验室为何担忧该技术被用于复制模型能力。文章拆解技术原理、争议焦点与开发者合规启示。

阅读全文 →
曲率感知剪枝CACTUS:同时保留影响函数的新方法
·5 分钟

曲率感知剪枝CACTUS:同时保留影响函数的新方法

曲率感知剪枝方法CACTUS提出基于ADMM的优化器,在Qwen3-4B上50%剪枝时将C4困惑度差距缩小45%,梯度余弦相似度从0.670提升至0.755,并支持有效数据选择。

阅读全文 →
亚1比特大模型压缩:潜因子分解技术解析
·5 分钟

亚1比特大模型压缩:潜因子分解技术解析

亚1比特大模型压缩是什么?本文解析基于潜因子分解(Latent Factorization)的LLM超低比特压缩技术原理、价值与挑战,探讨大模型如何突破1比特量化边界实现高效部署。

阅读全文 →
MoR-MLLM:用递归混合机制打造高效多模态大模型
·4 分钟

MoR-MLLM:用递归混合机制打造高效多模态大模型

MoR-MLLM 基于 Mixture-of-Recursions 框架,提出按 token 自适应递归机制,为复杂 token 分配更多算力、跳过冗余运算,大幅降低多模态大模型的训练内存与计算复杂度,同时保持高性能。

阅读全文 →
LRCC:用条件计算改进低秩压缩的新思路
·5 分钟

LRCC:用条件计算改进低秩压缩的新思路

arXiv 新论文提出 LRCC(低秩条件计算),通过训练轻量级路由器为每个 token 动态选择低秩路径,在同等算力预算下显著优于静态低秩压缩,Llama-2-7B 下游准确率提升 7.6 个百分点。

阅读全文 →
生物医学翻译模型压缩实战:体积减69%,推理快98%
·4 分钟

生物医学翻译模型压缩实战:体积减69%,推理快98%

arXiv新论文研究生物医学神经机器翻译的模型压缩,结合知识蒸馏与量化技术,在法英翻译任务中实现体积减少69%、推理速度提升98%、碳排放降低98%,且不牺牲翻译质量,为资源受限的翻译服务提供了高效部署方案。

阅读全文 →
Parakeet Redux:178MB语音模型压缩背后的开源陷阱
·6 分钟

Parakeet Redux:178MB语音模型压缩背后的开源陷阱

Moondream 的 Parakeet Redux 将 1.2GB 语音模型通过三值量化压缩到 178MB,英语准确率几乎不降,多语言表现反升。本文解析其技术突破、速度实测与闭源引擎 Photon 带来的开源陷阱。

阅读全文 →
潜空间蒸馏压缩流式神经音频编码器:苹果端侧语音的内存优化之道
·5 分钟

潜空间蒸馏压缩流式神经音频编码器:苹果端侧语音的内存优化之道

苹果研究通过潜空间蒸馏压缩流式神经音频编码器,解决端侧听写中 tokenizer 与稀疏激活基础模型争夺 DRAM 内存的问题,在降低功耗与延迟的同时保持语音识别质量。

阅读全文 →