LLM
大语言模型（Large Language Model，LLM），是基于深度学习技术、经过海量文本数据训练的自然语言处理模型。其核心能力包括文本理解、生成、推理与对话，能够处理翻译、摘要、代码生成、问答等多种语言任务。LLM通常采用Transformer架构，参数规模从数十亿到数千亿不等，是当前人工智能应用的重要基础组件。
Core Facts
Timeline (last 90 days)
降低LLM服务成本的策略包括使用蒸馏后的领域专用小模型、缓存机制复用相似查询回复
将安全策略统一到数据治理层能让自然语言查询等AI功能天然继承既有的权限约束，无论LLM生成什么样的SQL，Unity Catalog的行级和列级安全策略都会在执行层面强制生效
本地部署的开源模型在复杂算法、架构设计能力上不如商业模型，且上下文窗口通常较小
大语言模型如ChatGPT、Claude可用于测试用例生成、缺陷根因分析、测试数据合成和文档自动化
LLM在产生幻觉时通常表现得极为自信，不会给出任何不确定性信号
Simon Willison开发了LLM命令行工具和Datasette数据探索工具等开源项目
大语言模型的训练数据存在知识截止点(Knowledge Cutoff)，只掌握训练时间点之前的信息
持续感知上下文意味着更高的token消耗与API成本，这是多数AI编程工具采用按需调用而非常驻监听模式的经济原因
常驻式LLM持续感知上下文会带来更高的token消耗与API成本
El Yayster 是一个试图让大语言模型常驻在Emacs中的开源项目
40 more timeline events
All Facts (20)
大语言模型的训练目标是预测下一个最可能出现的token，而非判断信息的真实性
80%Verified大语言模型本质上是无状态函数，权重在推理时已经固定，不会随时间推移而学习
80%Verified大语言模型的涌现能力是指在参数规模突破某个阈值后突然展现出的复杂推理能力
80%VerifiedRAG（检索增强生成）的核心思想是在大模型生成回答之前，先从外部知识库中检索相关文档片段作为上下文注入Prompt
80%Verified与GitHub Copilot类似的AI编码工具包括Amazon CodeWhisperer、Cursor、Codeium等
80%VerifiedLLM幻觉的根本原因在于自回归生成机制——模型基于概率分布预测下一个Token，而非真正的逻辑推理
80%VerifiedAI Agent底层通常由大语言模型（LLM）驱动，配合工具调用、记忆模块和规划框架（如ReAct范式）实现复杂任务自动化
80%VerifiedGitHub Copilot、Cursor、Claude等AI编程辅助工具本质上是基于大语言模型对海量代码库训练后形成的代码补全与生成系统
80%Verified业界估算GPT-4的训练成本超过1亿美元，涉及数万块A100 GPU、数月的持续运算和PB级别的训练数据
80%Verified大模型幻觉的技术本质在于模型在训练时学习的是语言模式的概率分布而非事实本身
80%Verified大语言模型在生成每个token时从概率分布中采样，temperature参数控制随机性的强弱，temperature越高输出越多样，越低则越确定
80%VerifiedFunction Calling机制允许LLM以结构化JSON格式声明需要调用的外部工具及参数，工具返回值会被原样注入下一轮模型输入
75%VerifiedLLM的生成机制是基于概率的文本预测，而非真正'理解'代码语义
75%VerifiedReAct框架使LLM在回答问题时能够交替进行'推理'和'行动'步骤
75%Verified在当前主流AI应用框架（如LangChain、AutoGen等）中，一个Agent通常由系统prompt、可调用的Tool列表、以及记忆/上下文管理机制三部分组成
75%Verified微调一个7B参数的模型可能需要数十GB显存进行全参数微调
75%VerifiedLLM的输出具有天然的非确定性，即使输入相同的Prompt，模型在不同时刻可能返回格式、内容甚至逻辑不同的结果
70%VerifiedLLM产生幻觉的深层机制在于模型被优化为生成'听起来合理'的文本而非'事实准确'的文本，模型没有独立的知识检索模块
70%VerifiedAI Agent相较于传统RPA的核心优势在于具备自然语言理解能力，能基于语义进行条件判断
70%Verified大语言模型基于Transformer架构，每次推理都是独立的前向传播过程，不保留任何会话状态
70%