#LLM推理
共 30 篇相关文章

WaferTetris:晶圆级加速器的自由映射新方法
WaferTetris 提出自由映射策略,突破晶圆级加速器的模板限制,在 Cerebras WSE-3 上实现 LLM 解码吞吐量高达4.42倍提升,并支持更长上下文。

VelServe:用尾部校准调度驯服LLM解码抖动
VelServe提出尾部校准调度器,通过测量迭代延迟尾部动态调整预填充预算,解决聚合式与分离式LLM服务中的解码抖动问题,在多种模型上实现SLO有效吞吐2.4倍以上提升。

改写题目能让LLM更会解题?效果取决于问题类型
研究测试分解、类型化重构、概念约简三种改写策略对LLM解题的影响:事后最优改写平均提升27.6%准确率,但无万能改写,不匹配会拉低表现;简单固定规则在选择性改写的问题上提升11.0%,盲目改写损失5.6%。

ForeSpark:并行投机解码的联合预算调度新方案
ForeSpark提出工作守恒投机(WCS)设计,联合调度并行投机解码的草稿与验证预算,在vLLM上实现吞吐量相比DSpark最高1.77倍提升,并耐受更高负载。

RLVR泛化困境:推理策略为何在OOD下失效
研究揭示RLVR在分布外任务上推理策略崩溃的现象:模型放弃推导退化为暴力枚举,而协同训练双射反转任务能意外恢复OOD准确率,为LLM推理泛化提供新思路。

神经符号框架破解斑马谜题:LLM与精确覆盖的协同推理
一项新研究提出神经符号框架,让LLM将斑马谜题的自然语言描述转化为精确覆盖实例,再由符号求解器确定性求解并反馈迭代优化编码。实验表明该方法在多个模型规模和家族上一致超越CoT提示和现有神经符号方法。

LLM推理能否超越KNN投票?表格分类检索增强的边界
新研究对比4个LLM与距离加权KNN在19个表格分类数据集上的表现,发现KNN平均精度始终领先,LLM仅在邻居标签低共识且距离较近时展现推理优势,为检索式表格ICL的模型选择提供实证边界。

llm-d 1.0 发布:缓存感知路由统一 TPU 与 GPU 推理
Google、Red Hat 与 IBM 联合发布 llm-d 1.0,Kubernetes 原生分布式 LLM 推理栈新增缓存感知路由、多租户流控、零停机升级与 Agent 感知路由,统一支持 vLLM、SGLang 及 TPU/GPU 异构集群。

UvA-MT的WMT26机器翻译方案:LLM推理时优化策略
UvA-MT团队在WMT26通用机器翻译任务中提交全LLM推理时方案:用顺序采样加精炼提示生成候选池,再以LLM成对评判和循环投票选出最佳译文,覆盖全部23个翻译方向。

一个LLM请求的九步解剖:从点击到响应的全链路
从一个"Summarize"按钮出发,拆解LLM应用请求的完整九步链路:入参验证、提示词拼接、token预算、prefill与decode推理、SSE流式传输、输出校验与安全重试。前端工程师视角,揭示模型之外七步工程契约才是LLM应用成败关键。

一台变两台:LLM推理拆分解耦,吞吐提升75%的工程逻辑
解析LLM推理中prefill与decode分离(PD disaggregation)的技术原理与生产实践:从Splitwise到Prime Inference的GB200调优数据,同GPU数量承载75%更多请求,KV传输开销降至3-4% TTFT。

RTX 3090 vs L40S实测:批处理大小如何颠覆性能与成本
实测RTX 3090与L40S在vLLM下的性能与成本:batch 1时3090略快且成本减半,batch 128时L40S反超,7B AWQ下3090仅0.46倍速度。选型取决于并发与GPU利用率。

GPU基准测试在说谎:热节流下的LLM推理该怎么测
30秒GPU基准测试为何误导容量规划?本文详解LLM推理在热节流下的正确测量方法:用nvidia-smi与NVML采集频率、温度、功耗时序数据,拆分prefill与decode,对比冷态与稳态性能,并给出锁频、量化选择与生产监控等止损手段。

前缀缓存为何漏掉相同请求?并发复用与单飞协调实战
在 Rust LLM 推理引擎 mini-vllm-rs 中,前缀缓存因发布时机问题漏掉并发相同请求。本文详解增量发布、精确输入单飞协调及 AI 生成状态机的简化过程,附完整基准数据与代码示例。

VRAM停车问题:如何消除60%的GPU闲置税
VRAM停车问题导致企业GPU利用率仅25%,每年每节点浪费16万美元。本文解析静态权重分配陷阱,提供Multi-LoRA共享主干、NVMe亚秒级权重流式传输和分时批处理套利三条工程规则,将计算效率从25%提升至85%以上。

NVIDIA Dynamo KV路由实战:智能路由配置降低TTFT 40%
详解NVIDIA Dynamo KV感知智能路由的配置方法,涵盖聚合式与分离式服务模式、核心参数调优策略、KV事件流架构及多后端支持,实现TTFT降低40%、吞吐提升25-30%的推理性能优化。

最优解码器竟是"倾斜温度":LLM采样温度的新理论
LLM采样温度该怎么调?新论文将解码形式化为pass@k约束优化,证明最优策略是"倾斜温度"采样,并推导出温度随样本数递增的定理,提出J-EOS和CTD两种实用算法。

多轮记忆、混合精度与安全上线:推理服务如何追上Agentic负载
近期 vLLM、arXiv、Modal 等平台集中发布面向 Agentic 负载的推理优化:KV 缓存双向传输降低多轮 TTFT、混合精度成本模型、调度器会话亲和性权衡,以及镜像流量安全上线的工程实践。

35GB量化模型为何撑爆80GB GPU?KV Cache显存真相
为什么35GB的4-bit量化LLM仍会撑爆80GB显卡?本文拆解推理显存的四大组成,给出KV Cache精确计算公式,对比GQA与DeepSeek MLA的显存差异,并提供FP8 KV Cache等生产级防OOM方案。

被忽视的分词瓶颈:CPU如何拖慢大模型推理
分词长期被视为大模型推理中可忽略的环节,但当GPU加速到极致后,CPU上的分词反而成为瓶颈。本文整合Hugging Face、PyTorch与佐治亚理工的多方研究,分析GIL锁、智能体长历史累积如何拖慢推理,以及三条修复路径的分歧。