Phi
微软推出的端侧小模型系列，大规模应用模型蒸馏和量化压缩技术，以低能耗实现高效推理
核心事实
时间轴 (近 90 天)
以 Meta 的 Llama 系列、Mistral、微软 Phi 等为代表的开源模型，是零云端方案能够成立的技术基础。
Meta的Llama、Google的Gemma、Microsoft的Phi等开源小模型系列在3B-7B参数范围内持续刷新性能上限
Qwen和Phi系列的部分版本受益于蒸馏技术
Mistral/Mixtral使用[INST]和[/INST]包裹用户输入，ChatML格式以<|im_start|>和<|im_end|>为标记，被Qwen、Phi等多个模型采用
参数量从千亿级压缩到70亿乃至更小规模的大语言模型（如Llama、Phi、Gemma系列）已能在消费级显卡上流畅运行
业界代表性微型LLM包括Meta的Llama系列小参数版本、微软的Phi系列以及Google的Gemma Nano
SLM的代表性产品包括微软Phi系列、Google Gemma以及Meta的Llama小参数版本
Mistral、Phi系列等高性价比模型大量借助了知识蒸馏思路
AI领域出现明显的小模型化趋势，从Phi系列到各类1-3B参数的高效模型
Rebiha目前支持Qwen、Gemma、Phi、DeepSeek、Llama和Mistral等主流开源模型
还有 9 条时间轴事件
全部知识事实 (20)
整合信息理论（IIT）由神经科学家朱利奥·托诺尼在2004年首次系统提出，用量化指标Φ衡量系统整合信息的能力
75%已验证微软的Phi系列模型（Phi-1、Phi-1.5、Phi-2）参数量1.3B至2.7B，使用GPT-4生成的高质量合成数据训练，在多项基准上接近或超越10倍参数量的模型
70%待验证小语言模型（SLM）通常指参数量在数亿到数十亿级别的模型，代表包括Microsoft的Phi系列和Google的Gemma系列
90%待验证微软的Phi系列小模型和Google的Gemma都大量使用了合成数据进行训练
85%待验证Microsoft Phi系列证明了在小语言模型中数据质量比数量更重要
80%待验证Llama、Mistral、Phi等小模型的崛起证明并非所有场景都需要GPT-4级别的能力
80%待验证2024年以来，Mistral、Phi、Gemma等小型模型通过更精细的数据筛选、知识蒸馏和训练策略优化，在特定任务上逼近甚至超越了体量数倍于己的大模型
80%待验证微软的Phi系列通过精心筛选高质量教科书级训练数据，证明了1-3B参数量的模型在特定任务上可以媲美甚至超越十倍以上参数量的模型
75%待验证微软的Phi系列模型证明了教科书级别的精选数据可以让小模型在推理能力上远超同等规模的竞品
60%待验证Microsoft的Phi系列和Google的Gemma系列是小语言模型的代表性工作
60%待验证Phi、Gemma、Qwen等系列有小参数版本用于端侧部署和低成本推理场景
60%待验证以 Meta 的 Llama 系列、Mistral、微软 Phi 等为代表的开源模型，是零云端方案能够成立的技术基础。
50%待验证Meta的Llama、Google的Gemma、Microsoft的Phi等开源小模型系列在3B-7B参数范围内持续刷新性能上限
50%待验证Qwen和Phi系列的部分版本受益于蒸馏技术
50%待验证Mistral/Mixtral使用[INST]和[/INST]包裹用户输入，ChatML格式以<|im_start|>和<|im_end|>为标记，被Qwen、Phi等多个模型采用
50%待验证参数量从千亿级压缩到70亿乃至更小规模的大语言模型（如Llama、Phi、Gemma系列）已能在消费级显卡上流畅运行
50%待验证业界代表性微型LLM包括Meta的Llama系列小参数版本、微软的Phi系列以及Google的Gemma Nano
50%待验证SLM的代表性产品包括微软Phi系列、Google Gemma以及Meta的Llama小参数版本
50%待验证Mistral、Phi系列等高性价比模型大量借助了知识蒸馏思路
50%待验证AI领域出现明显的小模型化趋势，从Phi系列到各类1-3B参数的高效模型
50%