待验证50% 置信事实精确时间
免训练文本嵌入指不微调模型参数，直接利用预训练语言模型（如LLM）的中间隐藏状态或输出作为句子表示的方法。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律79% 相似待验证2018年BERT预训练模型问世，通过在海量文本上预训练，模型能够捕捉词语在不同语境下的细微含义差异76% 相似待验证训练阶段解码器可采用教师强制方式并行处理整个目标序列，推理阶段模型只能逐词自回归生成输出76% 相似待验证该方法将每个流程变体转化为文本叙述，用自然语言描述其行为特征，使LLM能利用预训练语义知识理解流程行为而无需针对流程图结构特殊适配75% 相似待验证LLM的预训练本质是在海量文本上进行下一词预测（Next Token Prediction），通过Transformer架构的注意力机制建立词语间语义关联74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1064852API
curl https://kongchang.com/api/v1/knowledge/claims/1064852MCP
get_claim(id=1064852)