2023年11月，DeepSeek开源了DeepSeek LLM和Coder模型，最大模型参数为670亿，使用2万亿Token训练。