DeepSeek V3
DeepSeek推出的大规模MoE语言模型,在负载均衡等MoE工程挑战上有所创新,采用无辅助损失负载均衡等机制提升训练效率
核心事实
时间轴 (近 90 天)
Claude Code 的部分功能针对 Anthropic 模型特性调优,换用其他模型后工具调用的稳定性与长上下文表现可能有差异。
FP8混合精度训练中,V3在大部分矩阵乘法使用FP8计算,对精度敏感环节保留更高精度,相较BF16理论上算力吞吐翻倍、显存占用减半。
2024年12月26日发布的DeepSeek V3拥有6710亿总参数、370亿激活参数,采用FP8训练,论文中算力成本为557.6万美元,性能追平GPT-4o。
Nexus-CLI 支持将 DeepSeek R1/V3 作为后端推理引擎,同时兼容 Claude Code 的交互协议和 Ollama 的模型管理接口。
Nexus-CLI 是一个用纯 Go 语言实现的 CLI 工具,用于桥接 DeepSeek R1/V3 模型与 Claude Code、Ollama 生态。
在DeepSeek V2与V3的prefill尺寸上,FlyDSL Flex Attention实现了接近2倍的提升
混合专家架构(MoE)是DeepSeek V3等新一代大模型采用的核心设计,每次处理输入时由路由机制动态选择少数几个专家激活
DeepSeek V3的decode单元采用144卡EP,通过大batch均摊权重load开销并腾出显存提升batch size
Sebastian 大部分课程代码在 Mac mini 上运行,课程目标是用小模型演示推理技术原理,而非复刻 DeepSeek V3/V4 那样的超大模型
Gemini、Claude以及DeepSeek V3均支持Function Calling
还有 5 条时间轴事件
全部知识事实 (20)
DeepSeek 的训练成本据官方披露仅约 600 万美元
80%已验证DeepSeek R1默认不支持Function Calling,而DeepSeek V3支持Function Calling
80%已验证DeepSeek早在V3版本就引入了MTP技术
75%已验证Qwen3.5的参数激活率为4.3%,而DeepSeek V3的671B模型激活率为5.5%
65%已验证DeepSeek经历了从V2到V3再到R1的模型迭代,模型能力和交互方式都在快速变化
65%待验证DeepSeek V3版本参数规模达到671B MoE架构
90%待验证DeepSeek V3在中文创意写作、角色扮演和长文本理解方面表现尤为突出
75%待验证Gemini、Claude以及DeepSeek V3均支持Function Calling
60%待验证Claude Code 的部分功能针对 Anthropic 模型特性调优,换用其他模型后工具调用的稳定性与长上下文表现可能有差异。
50%待验证FP8混合精度训练中,V3在大部分矩阵乘法使用FP8计算,对精度敏感环节保留更高精度,相较BF16理论上算力吞吐翻倍、显存占用减半。
50%待验证2024年12月26日发布的DeepSeek V3拥有6710亿总参数、370亿激活参数,采用FP8训练,论文中算力成本为557.6万美元,性能追平GPT-4o。
50%待验证Nexus-CLI 支持将 DeepSeek R1/V3 作为后端推理引擎,同时兼容 Claude Code 的交互协议和 Ollama 的模型管理接口。
50%待验证Nexus-CLI 是一个用纯 Go 语言实现的 CLI 工具,用于桥接 DeepSeek R1/V3 模型与 Claude Code、Ollama 生态。
50%待验证在DeepSeek V2与V3的prefill尺寸上,FlyDSL Flex Attention实现了接近2倍的提升
50%待验证混合专家架构(MoE)是DeepSeek V3等新一代大模型采用的核心设计,每次处理输入时由路由机制动态选择少数几个专家激活
50%待验证DeepSeek V3的decode单元采用144卡EP,通过大batch均摊权重load开销并腾出显存提升batch size
50%待验证Sebastian 大部分课程代码在 Mac mini 上运行,课程目标是用小模型演示推理技术原理,而非复刻 DeepSeek V3/V4 那样的超大模型
50%待验证文章推荐将DeepSeek V3正式版接入Claude Code,理由是效果出色、速度快、价格实惠且数据在国内流动无合规风险
50%待验证Qwen 2.5和DeepSeek V3是涉及全新预训练过程和架构改进的大版本发布
50%待验证GQA和MLA等技术可显著压缩KV缓存大小,DeepSeek V3采用了MLA来降低长上下文场景的内存开销
50%