[控场AI]

#LLM推理

共 30 篇相关文章

测试时扩展如何分配LLM推理的深度、宽度与反馈
·5 分钟

测试时扩展如何分配LLM推理的深度、宽度与反馈

测试时扩展如何在有限推理预算下分配深度、宽度与反馈资源?本文解析LLM推理的三种扩展维度及其权衡关系,探讨不同任务类型下的最优推理策略选择。

阅读全文 →
连续批处理为何拖慢了LLM推理引擎?一次Metal内核排查实录
·8 分钟

连续批处理为何拖慢了LLM推理引擎?一次Metal内核排查实录

连续批处理本应提升LLM推理吞吐,却让作者的Rust推理引擎mini-vllm-rs速度腰斩。本文复盘Candle Metal后端GEMV与GEMM内核切换引发的性能回退与数值差异,揭示批处理决策如何通过KV缓存产生长程影响。

阅读全文 →
ERRC:用熵再投资压缩张量并行LLM的GPU通信
·4 分钟

ERRC:用熵再投资压缩张量并行LLM的GPU通信

PyTorch Ambassador Absalam Bande 提出 ERRC(熵再投资残差修正),通过压缩张量并行 LLM 推理中 GPU 间交换的数据,并用节省的空间补偿量化误差,提升跨 GPU 通信效率。本文解析其核心思路与应用价值。

阅读全文 →
用 Helion 构建高性能可移植的 vLLM 线性后端
·4 分钟

用 Helion 构建高性能可移植的 vLLM 线性后端

本文解析将 Helion 高层 kernel DSL 集成进 vLLM 线性后端的技术实践,探讨如何通过自动调优在提升 LLM 推理性能的同时,用单一通用 kernel 降低实现复杂度并增强跨硬件可移植性。

阅读全文 →
持久化KV缓存连接器:跨请求与重启复用的LLM推理优化思路
·5 分钟

持久化KV缓存连接器:跨请求与重启复用的LLM推理优化思路

一位开发者在 Reddit 分享了可将 KV 缓存持久化到磁盘、支持跨请求与服务重启复用的 KV connector。本文解析其解决的 LLM 推理痛点、落盘面临的工程挑战以及社区反馈方向。

阅读全文 →
Nori LLM 突破每秒百万Token:推理引擎的性能极限
·5 分钟

Nori LLM 突破每秒百万Token:推理引擎的性能极限

Nori LLM 宣称实现每秒超百万 token 的推理吞吐。本文解析这一性能数字背后的连续批处理、KV 缓存优化等技术路径,并探讨吞吐与延迟的权衡以及如何理性评估此类 LLM 推理性能声明。

阅读全文 →