待验证50% 置信事实精确时间

对于百亿参数模型，中间激活的显存占用往往与模型权重本身相当甚至更高

1

来源数

50%

置信度

长期有效

时效性

2026/10/5

首次发现

来源

Dust项目探索：不用反向传播预训练Transformer

涉及实体

反向传播concept

相关事实

待验证大模型参数规模通常从数十亿到数千亿不等，参数量越大对复杂语境理解能力越强，但对算力需求呈指数级增长79% 相似待验证知识蒸馏与量化结合可使10亿参数级模型保留原始大模型70-85%能力，推理速度提升5-10倍78% 相似待验证随着模型参数规模从亿级扩展到千亿级，LLM展现出涌现能力，包括多步推理、类比迁移和不确定性表达77% 相似待验证模型规模从数十亿参数跨越至数千亿量级时，在代码任务上展现出非线性突变式的能力涌现76% 相似待验证对于千亿参数模型，一次完整检查点保存可能涉及数TB数据，包含模型权重和Adam优化器的一阶及二阶矩状态75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/978868

API

curl https://kongchang.com/api/v1/knowledge/claims/978868

MCP

get_claim(id=978868)