模型Llama 3 8B Instruct / @cf/meta/llama-3-8b-instruct
Llama 3 8B
Meta发布的Llama 3系列80亿参数指令微调大语言模型,适合单张消费级GPU或边缘推理节点运行,在总结、分类、格式化输出等窄任务上表现稳定
时间轴 (近 90 天)
10月16日
路由层可分为三层:本地/边缘层(如Llama 3 8B、Mistral 7B,成本约$0.05–$0.15/1M token,延迟<250ms)、中端托管层(如Claude 3.5 Haiku、GPT-4o-mini,成本约$0.25–$0.60/1M token,延迟<800ms)、前沿推理层(如Claude 3.5 Sonnet、o1、GPT-4o,成本约$3.00–$15.00/1M token,延迟2s–8s)。
待验证50%
10月13日
在严格系统提示下,Llama 3 8B 对结构化节目笔记处理出奇地好,很少幻觉出错误时间戳,也很少破坏 Markdown 格式。
待验证50%
8月23日
本地可运行的模型如 Llama 3 8B、Qwen2 7B 参数仅为顶级云端模型的约百分之一
待验证50%
全部知识事实 (4)
待验证
Llama 3 8B模型(80亿参数)运行约需7GB显存
80%待验证路由层可分为三层:本地/边缘层(如Llama 3 8B、Mistral 7B,成本约$0.05–$0.15/1M token,延迟<250ms)、中端托管层(如Claude 3.5 Haiku、GPT-4o-mini,成本约$0.25–$0.60/1M token,延迟<800ms)、前沿推理层(如Claude 3.5 Sonnet、o1、GPT-4o,成本约$3.00–$15.00/1M token,延迟2s–8s)。
50%待验证在严格系统提示下,Llama 3 8B 对结构化节目笔记处理出奇地好,很少幻觉出错误时间戳,也很少破坏 Markdown 格式。
50%待验证本地可运行的模型如 Llama 3 8B、Qwen2 7B 参数仅为顶级云端模型的约百分之一
50%