[控场AI]

#LLM工程化

共 7 篇相关文章

进阶LLM应用工程实战:混合RAG、工具、记忆与评估
·5 分钟

进阶LLM应用工程实战:混合RAG、工具、记忆与评估

Packt Publishing将于11月28日举办进阶LLM应用工程动手工作坊,由Brij Kishore Pandey主讲,覆盖混合RAG、工具调用、持久记忆、防护栏、评估追踪及Google ADK与Gemini实践,帮助开发者将LLM应用从演示推向生产可靠。

阅读全文 →
从ChatGPT内容限制到Eval、可观测性与Guardrail实战
·7 分钟

从ChatGPT内容限制到Eval、可观测性与Guardrail实战

通过电子商店订单Agent实战,讲解ChatGPT内容限制背后的工程逻辑,以及Eval评估、Observability可观测性和Guardrail护栏如何协作,避免同名用户数据泄露与提示注入风险。

阅读全文 →
Anthropic如何安全交付全球第一LLM:大脑与手分离
·4 分钟

Anthropic如何安全交付全球第一LLM:大脑与手分离

Anthropic工程师在Latent Space访谈中拆解Claude平台工程:发布Opus 5.5、将模型'大脑'与智能体'手'分离、规模化API与构建可靠托管智能体的安全交付逻辑。

阅读全文 →
Harness工程:LLM是大脑,Harness是身体
·5 分钟

Harness工程:LLM是大脑,Harness是身体

从HN热门讨论出发,系统拆解Harness Engineering:LLM是大脑,harness是身体。上下文编排、工具接口、控制流与状态管理四层构成AI应用的真正工程壁垒,模型选型之外更值得投入的方向。

阅读全文 →
把LLM接入GPU故障分诊前,先看清这六个断裂点
·12 分钟

把LLM接入GPU故障分诊前,先看清这六个断裂点

开源项目AI-Node-Sentinel作者用六组故障注入实验,测出LLM接入GPU故障分诊管线时的六个断裂点:输出契约断裂、证据过薄、单条坏记录毒死整批、提示词路径耦合工作目录、无状态健忘、佐证信号被自己丢弃。每个断裂点都不是模型能力问题,而是接线工程问题。

阅读全文 →
被忽略的 finish_reason:LLM 截断如何悄悄污染你的数据管线
·5 分钟

被忽略的 finish_reason:LLM 截断如何悄悄污染你的数据管线

LLM 输出被截断时不会在文本里报错,而是通过 finish_reason 字段提示。本文解析大模型截断如何悄悄污染数据管线,并给出读取停止原因、校验结构、监控告警等可落地的工程防御措施。

阅读全文 →