[控场AI]

#LLM推理

共 30 篇相关文章

WaferTetris:晶圆级加速器的自由映射新方法
·3 分钟

WaferTetris:晶圆级加速器的自由映射新方法

WaferTetris 提出自由映射策略,突破晶圆级加速器的模板限制,在 Cerebras WSE-3 上实现 LLM 解码吞吐量高达4.42倍提升,并支持更长上下文。

阅读全文 →
VelServe:用尾部校准调度驯服LLM解码抖动
·4 分钟

VelServe:用尾部校准调度驯服LLM解码抖动

VelServe提出尾部校准调度器,通过测量迭代延迟尾部动态调整预填充预算,解决聚合式与分离式LLM服务中的解码抖动问题,在多种模型上实现SLO有效吞吐2.4倍以上提升。

阅读全文 →
改写题目能让LLM更会解题?效果取决于问题类型
·4 分钟

改写题目能让LLM更会解题?效果取决于问题类型

研究测试分解、类型化重构、概念约简三种改写策略对LLM解题的影响:事后最优改写平均提升27.6%准确率,但无万能改写,不匹配会拉低表现;简单固定规则在选择性改写的问题上提升11.0%,盲目改写损失5.6%。

阅读全文 →
ForeSpark:并行投机解码的联合预算调度新方案
·5 分钟

ForeSpark:并行投机解码的联合预算调度新方案

ForeSpark提出工作守恒投机(WCS)设计,联合调度并行投机解码的草稿与验证预算,在vLLM上实现吞吐量相比DSpark最高1.77倍提升,并耐受更高负载。

阅读全文 →
RLVR泛化困境:推理策略为何在OOD下失效
·4 分钟

RLVR泛化困境:推理策略为何在OOD下失效

研究揭示RLVR在分布外任务上推理策略崩溃的现象:模型放弃推导退化为暴力枚举,而协同训练双射反转任务能意外恢复OOD准确率,为LLM推理泛化提供新思路。

阅读全文 →
神经符号框架破解斑马谜题:LLM与精确覆盖的协同推理
·3 分钟

神经符号框架破解斑马谜题:LLM与精确覆盖的协同推理

一项新研究提出神经符号框架,让LLM将斑马谜题的自然语言描述转化为精确覆盖实例,再由符号求解器确定性求解并反馈迭代优化编码。实验表明该方法在多个模型规模和家族上一致超越CoT提示和现有神经符号方法。

阅读全文 →
LLM推理能否超越KNN投票?表格分类检索增强的边界
·4 分钟

LLM推理能否超越KNN投票?表格分类检索增强的边界

新研究对比4个LLM与距离加权KNN在19个表格分类数据集上的表现,发现KNN平均精度始终领先,LLM仅在邻居标签低共识且距离较近时展现推理优势,为检索式表格ICL的模型选择提供实证边界。

阅读全文 →
llm-d 1.0 发布:缓存感知路由统一 TPU 与 GPU 推理
·5 分钟

llm-d 1.0 发布:缓存感知路由统一 TPU 与 GPU 推理

Google、Red Hat 与 IBM 联合发布 llm-d 1.0,Kubernetes 原生分布式 LLM 推理栈新增缓存感知路由、多租户流控、零停机升级与 Agent 感知路由,统一支持 vLLM、SGLang 及 TPU/GPU 异构集群。

阅读全文 →
UvA-MT的WMT26机器翻译方案:LLM推理时优化策略
·4 分钟

UvA-MT的WMT26机器翻译方案:LLM推理时优化策略

UvA-MT团队在WMT26通用机器翻译任务中提交全LLM推理时方案:用顺序采样加精炼提示生成候选池,再以LLM成对评判和循环投票选出最佳译文,覆盖全部23个翻译方向。

阅读全文 →
一个LLM请求的九步解剖:从点击到响应的全链路
·7 分钟

一个LLM请求的九步解剖:从点击到响应的全链路

从一个"Summarize"按钮出发,拆解LLM应用请求的完整九步链路:入参验证、提示词拼接、token预算、prefill与decode推理、SSE流式传输、输出校验与安全重试。前端工程师视角,揭示模型之外七步工程契约才是LLM应用成败关键。

阅读全文 →
一台变两台:LLM推理拆分解耦,吞吐提升75%的工程逻辑
·10 分钟

一台变两台:LLM推理拆分解耦,吞吐提升75%的工程逻辑

解析LLM推理中prefill与decode分离(PD disaggregation)的技术原理与生产实践:从Splitwise到Prime Inference的GB200调优数据,同GPU数量承载75%更多请求,KV传输开销降至3-4% TTFT。

阅读全文 →
RTX 3090 vs L40S实测:批处理大小如何颠覆性能与成本
·5 分钟

RTX 3090 vs L40S实测:批处理大小如何颠覆性能与成本

实测RTX 3090与L40S在vLLM下的性能与成本:batch 1时3090略快且成本减半,batch 128时L40S反超,7B AWQ下3090仅0.46倍速度。选型取决于并发与GPU利用率。

阅读全文 →
GPU基准测试在说谎:热节流下的LLM推理该怎么测
·10 分钟

GPU基准测试在说谎:热节流下的LLM推理该怎么测

30秒GPU基准测试为何误导容量规划?本文详解LLM推理在热节流下的正确测量方法:用nvidia-smi与NVML采集频率、温度、功耗时序数据,拆分prefill与decode,对比冷态与稳态性能,并给出锁频、量化选择与生产监控等止损手段。

阅读全文 →
前缀缓存为何漏掉相同请求?并发复用与单飞协调实战
·10 分钟

前缀缓存为何漏掉相同请求?并发复用与单飞协调实战

在 Rust LLM 推理引擎 mini-vllm-rs 中,前缀缓存因发布时机问题漏掉并发相同请求。本文详解增量发布、精确输入单飞协调及 AI 生成状态机的简化过程,附完整基准数据与代码示例。

阅读全文 →
VRAM停车问题:如何消除60%的GPU闲置税
·7 分钟

VRAM停车问题:如何消除60%的GPU闲置税

VRAM停车问题导致企业GPU利用率仅25%,每年每节点浪费16万美元。本文解析静态权重分配陷阱,提供Multi-LoRA共享主干、NVMe亚秒级权重流式传输和分时批处理套利三条工程规则,将计算效率从25%提升至85%以上。

阅读全文 →
NVIDIA Dynamo KV路由实战:智能路由配置降低TTFT 40%
·20 分钟

NVIDIA Dynamo KV路由实战:智能路由配置降低TTFT 40%

详解NVIDIA Dynamo KV感知智能路由的配置方法,涵盖聚合式与分离式服务模式、核心参数调优策略、KV事件流架构及多后端支持,实现TTFT降低40%、吞吐提升25-30%的推理性能优化。

阅读全文 →
最优解码器竟是"倾斜温度":LLM采样温度的新理论
·5 分钟

最优解码器竟是"倾斜温度":LLM采样温度的新理论

LLM采样温度该怎么调?新论文将解码形式化为pass@k约束优化,证明最优策略是"倾斜温度"采样,并推导出温度随样本数递增的定理,提出J-EOS和CTD两种实用算法。

阅读全文 →
多轮记忆、混合精度与安全上线:推理服务如何追上Agentic负载
·8 分钟

多轮记忆、混合精度与安全上线:推理服务如何追上Agentic负载

近期 vLLM、arXiv、Modal 等平台集中发布面向 Agentic 负载的推理优化:KV 缓存双向传输降低多轮 TTFT、混合精度成本模型、调度器会话亲和性权衡,以及镜像流量安全上线的工程实践。

阅读全文 →