#LLM优化

共 4 篇相关文章

稀疏注意力通过全到达、滑动窗口和学习型选择器降低长上下文LLM成本，但同一提示词在不同策略下形成不同证据集。本文分析三种方案的降本逻辑、跨段落推理遗漏风险及实践权衡建议。

AI Agent 的重试成本远超直觉：你付的不是一次失败调用，而是整段不断增长的对话上下文。本文解析为何三次重试可能花掉 7 倍成本，以及为什么应该用"每个正确答案的成本"替代成功率来衡量 Agent 开销。

arXiv新论文提出用短多项式程序替换LLM中的sigmoid、tanh、SiLU等超越函数，在NVIDIA GB200上实现最高8%的训练吞吐提升，隔离测试更达2.19倍加速，且精度损失可控。

UC Berkeley与Stanford联合提出Optimize Anything通用文本优化框架，通过一个声明式API统一优化CUDA内核、智能体架构、系统提示词等六大领域，全面超越专用工具。深度解析其三种优化模式、辅助信息机制与Pareto搜索策略。