GPT-4o-mini
GPT-4o-mini是OpenAI推出的轻量级大语言模型,属于GPT-4o系列的精简版本。该模型在保留较强自然语言理解与生成能力的同时,具有更低的推理成本和更快的响应速度,适用于对延迟和成本敏感的应用场景,如文本分类、摘要生成、对话系统及多智能体协作等任务。
核心事实
时间轴 (近 90 天)
路由层可分为三层:本地/边缘层(如Llama 3 8B、Mistral 7B,成本约$0.05–$0.15/1M token,延迟<250ms)、中端托管层(如Claude 3.5 Haiku、GPT-4o-mini,成本约$0.25–$0.60/1M token,延迟<800ms)、前沿推理层(如Claude 3.5 Sonnet、o1、GPT-4o,成本约$3.00–$15.00/1M token,延迟2s–8s)。
参数量 ≥3B 的模型通过 GRPO 训练生成的规则,可作为可迁移知识提升 GPT-4o-mini 的下游表现。
当查询每次成本$0.015的高级推理模型时,$0.00002的嵌入调用对应的经济盈亏平衡命中率低于1%;当路由到轻量模型(如GPT-4o-mini或Claude 3.5 Haiku)且推理调用成本为$0.0002时,应用需要15%到20%的缓存命中率才能避免亏钱。
GPT-4o-mini 在同一HS编码基准测试上准确率约18%;带网页搜索的最佳AI Agent可达46.8%,但每次调用成本$1-10,耗时10-30秒;人类专家约95%。
研究评估了十五种管线配置,最终产生了18630对由GPT-4o-mini生成的配对补全结果
走小模型期望成本为Cs+Cl×f,临界回退率f=(Cl-Cs)/Cl,以GPT-4o-mini($0.15/百万token)和GPT-4o($2.5/百万token)为例临界回退率约94%,但纳入延迟隐性成本后实际阈值通常在30-40%
Terra和Sol模型在HarvestBench测试中表现最为仁慈(杀害率最低),而GPT-4o-mini表现最为残酷(杀害率最高)
模型路由策略可将简单子任务分配给小模型(如GPT-4o-mini),仅将复杂推理交给大模型以降低成本
模型路由核心思想是并非所有任务都需要最强模型,简单任务可用GPT-4o-mini、Claude 3 Haiku或Llama 3.1 8B等轻量级模型,成本可能仅为旗舰模型的1/50甚至1/100
轻量模型(如GPT-4o-mini、Claude 3 Haiku、Gemini Flash)的调用成本通常只有旗舰模型的1/10到1/50
还有 1 条时间轴事件
全部知识事实 (11)
OpenAI推出GPT-4o mini作为对轻量级高性能模型市场需求的回应
80%已验证GPT-4o相比GPT-4降价约50%
65%待验证AI系统即使代码未变,仅更换底层模型版本(如从GPT-4o切换到GPT-4o-mini)或微调提示词,都可能导致输出行为发生显著变化
90%待验证路由层可分为三层:本地/边缘层(如Llama 3 8B、Mistral 7B,成本约$0.05–$0.15/1M token,延迟<250ms)、中端托管层(如Claude 3.5 Haiku、GPT-4o-mini,成本约$0.25–$0.60/1M token,延迟<800ms)、前沿推理层(如Claude 3.5 Sonnet、o1、GPT-4o,成本约$3.00–$15.00/1M token,延迟2s–8s)。
50%待验证参数量 ≥3B 的模型通过 GRPO 训练生成的规则,可作为可迁移知识提升 GPT-4o-mini 的下游表现。
50%待验证当查询每次成本$0.015的高级推理模型时,$0.00002的嵌入调用对应的经济盈亏平衡命中率低于1%;当路由到轻量模型(如GPT-4o-mini或Claude 3.5 Haiku)且推理调用成本为$0.0002时,应用需要15%到20%的缓存命中率才能避免亏钱。
50%待验证GPT-4o-mini 在同一HS编码基准测试上准确率约18%;带网页搜索的最佳AI Agent可达46.8%,但每次调用成本$1-10,耗时10-30秒;人类专家约95%。
50%待验证研究评估了十五种管线配置,最终产生了18630对由GPT-4o-mini生成的配对补全结果
50%待验证模型路由策略可将简单子任务分配给小模型(如GPT-4o-mini),仅将复杂推理交给大模型以降低成本
50%待验证模型路由核心思想是并非所有任务都需要最强模型,简单任务可用GPT-4o-mini、Claude 3 Haiku或Llama 3.1 8B等轻量级模型,成本可能仅为旗舰模型的1/50甚至1/100
50%待验证OpenAI的GPT-4o与GPT-4o-mini之间的每百万Token价格差距可达10倍以上
50%