待验证50% 置信概念精确时间
Gemma 4 E2B的embedding表占据模型权重的绝大部分，因为词表通常有数万到数十万条目，每条目维度数千，导致embedding表可轻松占据数GiB，量化策略必须优先处理embedding。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证隐式求解需要求解线性方程组，每步都要用到类似Hessian的二阶信息或其近似，在百万、十亿参数规模下计算与存储开销巨大58% 相似已验证弹性权重巩固（EWC）通过费舍尔信息矩阵估计参数对旧任务的重要程度，对重要参数施加更强的正则化惩罚来缓解灾难性遗忘58% 相似待验证EmbeddingGemma 2 是在 Gemma 2 基础上经过对比学习微调的变体，目标是让查询与正确选项的向量距离尽可能近，与错误选项尽可能远57% 相似待验证当前主流模型拥有数万至数十万token的上下文，但长篇连载创作中角色设定等细节仍面临漂移风险56% 相似待验证显存容量往往比纯算力更能决定能加载多大的模型56% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1011107API
curl https://kongchang.com/api/v1/knowledge/claims/1011107MCP
get_claim(id=1011107)