#语言模型

共 11 篇相关文章

从体裁视角理解指令微调语言模型：系统提示词、特殊标记与角色轮次如何共同构成「指令-对话体裁」，以及这一视角对提示工程和AI产品设计的启示。

解读Next-Concept Modeling（NCM）论文：它用层级离散编码替代逐token生成，先粗后细并行预测，在特定基准上比扩散语言模型基线快31倍。分析其VQ-VAE原理、速度优势来源与开放问题。

模拟控制评估（SCEs）用语言模型模拟工具响应，在LinuxArena上以3.6个百分点误差预测AI部署安全性，远优于BashArena的10.1，且KL散度低十倍以上，为AI安全评估提供高保真新范式。

介绍 UtilityBench 基准和 UtilityAUC 指标，一种考虑错误代价差异的语言模型效用评估新范式，揭示准确率高不等于效用高的关键发现。

SelfCompact 提出让语言模型自主决定上下文压缩时机与粒度，替代固定 token 阈值方案，避免长轨迹 Agent 在推导或搜索中途丢失部分结果。

一项针对掩码文本重建的研究，量化了语料采样分歧：换一批同源语料训练的模型输出会变化多少。研究发现分歧下降远慢于1/n理论，并提出可仅凭参考语料计算的预测公式与刀切校正法。

FD-VAD 是一种无需 ASR 的流式语义端点检测方法，将全双工语音的轮次接管建模为因果音频-语言推理任务，在 TurnBench 零样本评测中取得 0.853 的最高 EOT 召回率，为语音交互提供低延迟、懂语义的新方案。

PSSA是一个用Rust从零构建、刻意避开Transformer架构的开源语言模型项目。本文解析其非Transformer设计的意义、选择Rust的工程价值及作为技术探索项目的定位。

一项针对语言模型树状表达式序列化的往返研究，通过生成器、提取器与符号等价判定的三段式协议，评测十六个模型的两两组合，量化思维链推理与多智能体协作中自然语言传递结构化信息的沟通瓶颈。

一位独立研究者仅花164美元，用纯Rust（无PyTorch、无Python）端到端预训练了一个4亿参数的孟加拉语模型。报告详细记录了Candle和Burn框架作为训练后端的多个静默缺陷、梯度流验证方法及孟加拉语分词陷阱。

gzip 这个通用压缩算法能否充当语言模型？本文从香农信息论出发，解析压缩与预测的本质等价关系，探讨 gzip 文本分类实验的启示，以及"压缩即智能"这一命题对理解大语言模型的深层价值。