#LLM
共 4086 篇相关文章
·14 分钟
自托管LLM技术栈：从终端统一管理本地AI集群的完整指南
深入解析如何自托管LLM技术栈，涵盖推理引擎选型、模型管理、向量数据库配置等核心组件，探讨从终端统一管理本地AI集群的实践方案、硬件要求与技术挑战。
阅读全文 →
·11 分钟
LLM推理链被盗：三大厂商架构级漏洞深度解析
深度解析安全论文揭示的Anthropic、OpenAI、Google加密推理链架构漏洞，涵盖解密越狱攻击方法、蒸馏窃取、隐私泄露、越狱及Agent提示注入四大攻击向量，以及修补方案建议。
阅读全文 →
·17 分钟
ThoughtDAG：用DAG图结构重塑LLM对话上下文管理
ThoughtDAG是一个用有向无环图（DAG）替代线性对话的开源项目，让LLM对话上下文变得可编辑、可分支、可裁剪。本文解析其核心设计理念、应用场景及对上下文工程的启发意义。
阅读全文 →
科技前沿
每日AI新鲜事·08月23日午间版：本地LLM体验优化与信任危机
·1 分钟
每日AI新鲜事·08月23日午间版：本地LLM体验优化与信任危机
2026年08月23日（周日）午间版 AI新闻速递+热点深度讨论
阅读全文 →
·13 分钟
用独立LLM清理Claude的token冗余输出：双模型管道架构实践
探讨如何用轻量级LLM作为后处理层，清理Claude等大模型的冗长输出。分析双模型管道架构的技术逻辑、成本权衡及组合式AI工程实践的启示。
阅读全文 →
·10 分钟
深入理解词嵌入：LLM大语言模型的语义基石
详解词嵌入(Embeddings)的核心原理，从独热编码到上下文嵌入，涵盖嵌入矩阵、位置编码、RAG检索增强生成等实际应用，帮助开发者系统掌握大语言模型的表示学习基础。
阅读全文 →
·8 分钟
OpenRouter替代方案：LLM网关选型完整指南
深入对比OpenRouter替代方案，涵盖LiteLLM、Portkey、AWS Bedrock等主流LLM网关，从自托管开源到云厂商托管服务，帮助开发者根据数据隐私、成本控制和架构灵活性选出最佳方案。
阅读全文 →
·8 分钟
Agentic AI与RAG、LLM、RL融合：智能体技术栈全解析
深入解析Agentic AI智能体如何与RAG检索增强生成、LLM大语言模型、RL强化学习深度融合，探讨智能体技术栈的协同架构、落地挑战与未来趋势，帮助开发者构建生产级AI应用。
阅读全文 →
·10 分钟
自建还是购买LLM基础设施？7个月实战复盘揭示隐藏成本
一位工程师耗时7个月自建LLM基础设施后的深度复盘：拆解自建vs购买的决策边界、被严重低估的隐性工程成本（路由、容错、评估等），并横向对比orq.ai、LangSmith、Helicone等主流工具，帮助团队避免重复踩坑。
阅读全文 →
·13 分钟
LLM时代的可扩展软件：架构范式的重构
探讨大语言模型如何重新定义软件可扩展性：从自然语言接口到智能体驱动的动态编排，解析面向LLM设计软件的关键原则、工具接口设计、MCP协议及未来架构挑战。
阅读全文 →
·14 分钟
LiteLLM供应链投毒事件：40分钟窃取全栈凭证的深度复盘
深度解析LiteLLM PyPI供应链投毒事件：恶意.pth文件如何绕过安全检测静默窃取API Key、云凭证和SSH密钥，以及MLOps团队的排查方法与防御建议。
阅读全文 →
·12 分钟
零成本Agentic RAG架构：为何LLM是最不可靠的节点
深度解析一套运行在免费512MB容器上却实现99.9%可用性的Agentic RAG系统架构，涵盖保活设计、混合解析路由、断路器容错、置信度门控等关键模式，揭示LLM作为最不可靠节点的应对策略。
阅读全文 →
·15 分钟
计算最优≠集群最优：LLM分布式训练的现实困境与破解之道
深度解析为什么Chinchilla定律的计算最优在真实GPU集群上并非最优解。从通信开销、内存墙、并行策略到MFU利用率，揭示LLM训练从理论最优走向集群最优的关键路径与工程实践。
阅读全文 →
·13 分钟
AI评估集构建与维护实践指南：让LLM应用质量可量化
详解如何构建可持续维护的AI评估集，涵盖评估集设计原则、评估方法选择（精确匹配、LLM-as-Judge、人工评估）及CI/CD集成策略，帮助团队实现LLM应用质量的系统化管理。
阅读全文 →
·8 分钟
用烘焙蛋糕理解LLM训练：一个直觉化的大模型隐喻
将大语言模型(LLM)训练比作烘焙蛋糕，从数据原料、架构配方、算力烘烤到微调对齐，用日常经验帮你直觉理解预训练、梯度下降、RLHF等核心概念。
阅读全文 →
·12 分钟
Langfuse入门指南：LLM可观测性与智能体评估平台详解
详解Langfuse开源LLMOps平台的核心功能与定位，涵盖智能体追踪、Token成本分析、提示词版本管理、自动评估与人工反馈等能力，帮助开发者实现LLM应用的全链路可观测性。
阅读全文 →
·15 分钟
老旧LLM会成为怀旧符号吗？AI技术的时代记忆与文化价值
当AI模型迭代速度远超传统技术，2023年的ChatGPT和GPT-4会像老游戏机一样成为怀旧符号吗？探讨老旧LLM的史料价值、情感意义，以及开源模型在AI历史保存中的关键作用。
阅读全文 →
·6 分钟
omlx：为Apple Silicon打造的高性能LLM推理服务
omlx是一款专为Apple Silicon优化的开源LLM推理服务器，支持连续批处理、SSD缓存和macOS菜单栏管理。本文深入解析其核心技术亮点、适用场景及与Ollama等工具的差异化竞争优势。
阅读全文 →
