GPT-4o-mini
GPT-4o-mini是OpenAI推出的轻量级大语言模型,属于GPT-4o系列的精简版本。该模型在保留较强自然语言理解与生成能力的同时,具有更低的推理成本和更快的响应速度,适用于对延迟和成本敏感的应用场景,如文本分类、摘要生成、对话系统及多智能体协作等任务。
Core Facts
Timeline (last 90 days)
研究评估了十五种管线配置,最终产生了18630对由GPT-4o-mini生成的配对补全结果
走小模型期望成本为Cs+Cl×f,临界回退率f=(Cl-Cs)/Cl,以GPT-4o-mini($0.15/百万token)和GPT-4o($2.5/百万token)为例临界回退率约94%,但纳入延迟隐性成本后实际阈值通常在30-40%
Terra和Sol模型在HarvestBench测试中表现最为仁慈(杀害率最低),而GPT-4o-mini表现最为残酷(杀害率最高)
模型路由策略可将简单子任务分配给小模型(如GPT-4o-mini),仅将复杂推理交给大模型以降低成本
模型路由核心思想是并非所有任务都需要最强模型,简单任务可用GPT-4o-mini、Claude 3 Haiku或Llama 3.1 8B等轻量级模型,成本可能仅为旗舰模型的1/50甚至1/100
轻量模型(如GPT-4o-mini、Claude 3 Haiku、Gemini Flash)的调用成本通常只有旗舰模型的1/10到1/50
GPT-4o相比GPT-4降价约50%
旗舰模型的单次调用成本往往是轻量模型的10至50倍
OpenAI的GPT-4o与GPT-4o-mini之间的每百万Token价格差距可达10倍以上
GPT-4 Turbo的调用成本相比初代GPT-4降低了约80%
1 more timeline events
All Facts (10)
OpenAI推出GPT-4o mini作为对轻量级高性能模型市场需求的回应
80%Verified旗舰模型的单次调用成本往往是轻量模型的10至50倍
70%VerifiedGPT-4o相比GPT-4降价约50%
65%UnverifiedAI系统即使代码未变,仅更换底层模型版本(如从GPT-4o切换到GPT-4o-mini)或微调提示词,都可能导致输出行为发生显著变化
90%Unverified旗舰模型(如GPT-4o、Claude 3.5 Sonnet)与轻量模型(如GPT-4o-mini、Claude Haiku)在价格上可相差10-20倍,但在大量常规任务上性能差距并不显著
60%Unverified研究评估了十五种管线配置,最终产生了18630对由GPT-4o-mini生成的配对补全结果
50%Unverified模型路由策略可将简单子任务分配给小模型(如GPT-4o-mini),仅将复杂推理交给大模型以降低成本
50%Unverified模型路由核心思想是并非所有任务都需要最强模型,简单任务可用GPT-4o-mini、Claude 3 Haiku或Llama 3.1 8B等轻量级模型,成本可能仅为旗舰模型的1/50甚至1/100
50%UnverifiedOpenAI的GPT-4o与GPT-4o-mini之间的每百万Token价格差距可达10倍以上
50%UnverifiedGPT-4 Turbo的调用成本相比初代GPT-4降低了约80%
50%