待验证50% 置信事实精确时间

Groq的LPU通过将模型权重完全加载到片上SRAM中，消除对外部HBM显存的依赖，从而降低推理延迟

1

来源数

50%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

318 tps推理速度意味着什么？大模型性能竞赛深度解析

涉及实体

Groqcompany LPUproduct

相关事实

待验证片上SRAM提供了远超HBM的访问速度和带宽，消除了芯片到外部内存之间的数据搬运瓶颈69% 相似待验证Cerebras将模型权重直接存储在片上SRAM中，避免了频繁的显存访问，从而在单token生成延迟上取得优势68% 相似待验证超长上下文带来的KV缓存会随上下文长度线性增长，Unsloth优化卸载规划器优先保证KV缓存留在GPU上64% 相似待验证主流ANN算法包括基于图结构的HNSW和基于量化的IVF-PQ，HNSW以更高内存占用换取更优召回率，IVF-PQ通过压缩降低存储成本63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/890071

API

curl https://kongchang.com/api/v1/knowledge/claims/890071

MCP

get_claim(id=890071)