#推理优化
共 57 篇相关文章
DuckDB与Arrow称霸AI数据准备，为何在推理服务碰壁？
列式引擎DuckDB与Arrow在AI数据准备中表现卓越，但在推理服务中遭遇瓶颈。本文分析其结构性原因，并给出离线列式与在线行式存储分离的架构方案，强调Arrow作为零拷贝交换格式的真正价值。
从零实现GPT-2 KV Cache：正确性、延迟与内存实测
从零实现GPT-2 small的KV Cache并实测：logit误差6.1e-5，上下文1000时单Token延迟仅快6倍而非1000倍，内存公式72KiB/token外还有8.5MB cuBLAS workspace偏移，附多Token解码失败案例。
llama.cpp MoE缓存实测：T4上30B模型解码速度翻倍
llama.cpp新增MoE专家缓存功能，在免费Tesla T4上让Qwen3-30B-A3B解码速度从22.6提升到43.2 tokens/s。本文详解缓存机制、配置脚本、实测数据以及并发场景下的性能陷阱。
NVFP4 vs FP8 vs GGUF：16GB Ada显卡上解码快2.3倍
同一模型 Nemotron Dory 1.0 4B 在 RTX 4070 Ti SUPER 上对比 NVFP4、FP8、MXFP8、GGUF 与 BF16：NVFP4 解码快 2.3 倍，GSM8K 与 BF16 打平，FP8 长提示预填充领先，逐 token 保真度 MXFP8 最佳。
大模型推理全栈优化：GPU、CPU与前端加速
探索大模型推理的全栈优化实践：GPU层通过宽专家并行与EPLB实现负载均衡，CPU层优化All-Reduce消除通信瓶颈，前端采用NVIDIA Dynamo与Rust前端卸载Python处理，实现KV感知路由。
AMD MI355X 推理性能反超 B300：8卡吞吐高24.4%
AMD MI355X 在 SemiAnalysis AgentX 基准中展现推理实力：8卡配置下每 GPU 吞吐达 7,567 tok/s，比 NVIDIA HGX B300 高 24.4%，每美元 token 数高 87.4%。本文解析 vLLM 优化与 AMD kernel 如何缩小差距。
云上T4跑不满规格：Gemma 4解码因过热掉速7%
实测 Google Cloud 单卡 Tesla T4 在 Gemma 4 E2B 推理下的热漂移：冷态45°C解码115.3 tokens/s，热态77°C降至106.8，持续掉速7.4%，热节流从未触发，功耗墙与漏电流才是主因。
SSR框架：让小模型多模态搜索智能体告别冗长推理
SSR框架提出用选择替代生成的多模态推理新范式，让小模型搜索智能体不再生成冗长无效推理，大幅降低推理成本，为资源受限场景提供高效解决方案。
Delta Tokenizer：会话增量与多核并行如何让长提示词分词提速40倍
Delta Tokenizer是一种CPU分词前端方案，通过会话增量编码与多核分段并行，让单轮分词提速约40倍，SGLang中100K token的中位TTFT降低59%，P99 TTFT在负载下降低9.5倍。
GeoThinker-F：让多模态大模型摆脱外部3D编码器的空间智能新框架
GeoThinker-F提出内生预测世界表示框架，通过两阶段解耦训练让多模态大模型摆脱外部3D几何编码器依赖，实现3.6倍推理加速，延迟从1.45秒降至0.40秒，同时保持空间推理性能。
DoubtLess：免训练对比解码，让推理模型少想多对
DoubtLess 是一种免训练对比解码方法，用小推理模型引导大模型缩短思维链。在七个基准上让 Qwen3-32B 的 CoT 缩短 31% 且精度不变，编程 agent 场景每轮思考 token 减少 20%，可泛化到多个模型家族。
DeepSeek V4.1 Flash：读写分离如何重构长对话成本
DeepSeek V4.1 Flash 通过更短输入路径、共享注意力记忆与选择性重建，实现读写分离，重构长对话场景下的推理成本结构，降低多轮交互的边际算力开销。
LLMD项目揭秘：开源推理如何实现生产级扩展
IBM 杰出工程师 Carlos Costa 分享 LLMD 项目最新进展：开源推理如何实现生产级扩展，涵盖智能体服务性能、多租户 QoS、零停机运维等关键能力，并将在 PyTorch Conference 上与 Red Hat、Google 联合展示。
多节点LLM推理编排拓扑：性能瓶颈与架构取舍
深入解读多节点LLM推理编排拓扑评估：标准以太网下跨节点张量并行的同步延迟问题，以及分离式prefill/decode配合KV感知路由在高并发多轮场景下的可预测性优势与架构权衡。
从芯片到Token经济学：AI推理基础设施的全栈优化
SemiAnalysis创始人Dylan Patel加入Fireworks Forge演讲阵容，探讨从芯片到应用层的AI推理基础设施全栈优化与Token经济学，解析大规模推理的成本结构。
SGLang-Diffusion：面向扩散模型的高性能服务框架
SGLang-Diffusion 是专为扩散模型打造的高性能推理引擎与服务框架，支持离线与实时场景，涵盖并行化方案与执行路径优化，将在 PyTorch Conference 上正式亮相。
KVFetch：填补KV缓存压缩缺失的时序召回通道
arXiv新论文KVFetch揭示KV缓存压缩的结构性缺陷——顺序遗忘，并提出无需训练的时序召回通道，在RULER-16K上将逐字拷贝得分从0.8恢复到78.4，为长上下文LLM推理提供即插即用的优化方案。
AttSVD：用注意力引导的SVD压缩KV缓存，内存砍半不掉点
AttSVD提出基于注意力引导SVD的KV缓存低秩压缩方法，无需训练，沿特征轴压缩而非删除token，在LongBench等基准上仅用50%显存即可保持与完整缓存相当的精度，为长上下文大模型推理提供新思路。
