待验证50% 置信事实精确时间
Sentence Transformers是在BERT、XLM-R等预训练模型之上做对比学习微调的框架，训练目标是让语义相似的句子向量彼此靠近。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证LLM的预训练本质是在海量文本上进行下一词预测（Next Token Prediction），通过Transformer架构的注意力机制建立词语间语义关联78% 相似待验证2018年BERT预训练模型问世，通过在海量文本上预训练，模型能够捕捉词语在不同语境下的细微含义差异74% 相似待验证原生多模态架构在模型的基础Transformer结构中统一处理文本token和视觉token，让两种模态从预训练阶段就在同一参数空间中共同学习72% 相似待验证Transformer 在预训练阶段通过 Next Token Prediction 任务学习概率分布，每次输出本质是在给定上文条件下预测下一个词最可能是什么72% 相似待验证在Transformer之前的RNN只能逐词顺序处理，Transformer可以并行处理整个序列从而大幅提升训练效率71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1014329API
curl https://kongchang.com/api/v1/knowledge/claims/1014329MCP
get_claim(id=1014329)