待验证50% 置信事实精确时间
上下文长度指模型单次能处理的 token 数量上限，本地运行时上下文越长占用的内存越多。
1
来源数
50%
置信度
长期有效
时效性
2026/10/28
首次发现
来源
Hob：本地运行的免费开源AI助手，跨平台替代Claude与ChatGPT
producthuntProductHunt Daily2026/10/28
涉及实体
相关事实
待验证大模型推理是显存带宽密集型任务，decode 阶段每生成一个 token 都要重新读取全部权重与 KV Cache，因此批处理规模越大，单位 token 的边际成本越低，但延迟也越高。78% 相似待验证自回归生成阶段是内存带宽敏感型负载，每生成一个 token 需要将模型权重完整读一遍（或至少读取激活路径涉及的权重），因此实际速度近似等于显存带宽除以每 token 需读取的权重量。78% 相似待验证上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重76% 相似待验证当前长上下文窗口（100K-1M tokens）的普及使Agent能够维持复杂任务的长期记忆74% 相似待验证多模态模型通常对单张图像的 token 数量有上限，长文档必须切片处理，且 API 调用延迟与成本高于本地 OCR 引擎74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1107415API
curl https://kongchang.com/api/v1/knowledge/claims/1107415MCP
get_claim(id=1107415)