大语言模型
核心事实
时间轴 (近 90 天)
现代大模型几乎都基于Transformer的Decoder-only变体。
大模型输出的是每个Token的概率分布,按概率采样逐步生成,因此天然带有随机性。
模式识别指从大量数据中提取统计规律并据此做出预测的技术路径,它决定了当前大语言模型的能力边界。
模型在社交语用任务上的表现差异往往反映其训练语料的语言文化分布,偏英文语料的模型倾向直陈式表达,中文语料充分的模型更擅长迂回策略。
用户模拟器通常由大语言模型驱动,按照预设的目标、约束和角色设定生成模拟用户行为。
在代理式电力电子任务中,Token消耗往往呈超线性增长而非简单线性叠加,原因在于多轮迭代导致上下文随轮次累积。
过去一段时间,顶级模型之间的能力差距呈现收窄趋势,各家在推理、代码生成、长上下文等维度的迭代速度都在加快。
研究《Once Upon a Bias: Gender Stereotyping in LLM-Generated Children's Stories》使用仅性别不同的女儿/儿子配对提示词,每个提示词生成五轮故事,最终分析样本为62,873篇故事。
上述性别叙事框架差异在16个模型和35个地区设定中持续出现,说明它是跨模型的共性倾向而非偶然产物。
隐藏状态指大语言模型在生成每个token时内部各层产生的稠密向量表示,承载模型对当前上下文语义的压缩编码。
还有 40 条时间轴事件
全部知识事实 (20)
RAG的核心思想是在大模型生成回答前,先从外部知识库检索相关信息作为上下文注入提示词
90%已验证当语言模型在自身或同类模型生成的数据上反复训练时,会出现系统性退化,模型输出多样性逐代降低,分布尾部信息逐渐丢失
90%已验证大语言模型的计算成本主要取决于token数量、模型参数规模和上下文窗口大小
90%已验证'Hallucination' refers to large language models generating plausible-sounding but factually incorrect content with high confidence
90%已验证Mainstream Agent architectures typically use a large language model as the brain, combined with memory modules, planning modules, and tool interfaces to accomplish complex tasks
90%已验证推理模型在需要多步逻辑推导的信息综合任务中表现更优,但延迟更高,需根据任务特性合理选用
90%已验证Function Calling(Tool Use)是大模型调用外部工具的标准化机制,开发者预先声明工具名称、描述和参数Schema,模型自主判断何时调用
90%已验证现代多语言大模型在预训练阶段建立语言无关语义表示,通过海量多语言语料联合训练在高维向量空间中构建跨语言语义对齐
90%已验证Agent具备规划、工具调用、记忆与自主迭代的能力,区别于传统大语言模型的单次问答模式
90%已验证检索增强生成(RAG)通过引入实时网络搜索并附上引用来源来锚定事实,但其效果受搜索结果质量、文档解析准确率、模型理解能力等环节影响
90%已验证大型语言模型基于逐词预测下一个最可能出现的token生成内容,而非从事实数据库中检索答案
90%已验证大语言模型并不真正理解情感,而是识别出文体的典型模式进行模式匹配
90%已验证工具调用(Function Calling)机制允许模型在推理过程中调用外部工具,如文件读写、终端命令、搜索 API
90%已验证大语言模型的上下文窗口决定了模型在单次推理中能处理的信息量上限
90%已验证大语言模型本质上是一个基于概率的文本预测系统,其核心机制是「下一个词预测」(Next Token Prediction),并不真正理解语义
90%已验证生成式AI是指能够根据输入提示自动生成文本、图像、代码等内容的人工智能系统
90%已验证Prompt注入(Prompt Injection)是针对大语言模型应用的安全威胁,攻击者通过在输入中嵌入恶意指令试图覆盖系统原有行为约束
90%已验证推理时计算扩展(Test-time Compute Scaling)通过在推理阶段投入更多计算资源来提升模型性能,研究表明在某些任务上比单纯增大模型参数更加高效
90%已验证训练一个顶级大模型的成本已达数亿美元级别
90%已验证现代大语言模型通常经历预训练、监督微调(SFT)和基于人类反馈的强化学习(RLHF)三个训练阶段
90%