待验证90% 置信事实时间未知
现代Embedding模型通常基于Transformer架构，通过对比学习在大规模文本对上训练，向量维度通常在768到1536之间
1
来源数
90%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
大模型RAG开发实战：原理详解与企业级落地指南
bilibili大模型_Lance
涉及实体
相关事实
待验证主流LLM基于Transformer架构，通过在海量文本数据上进行下一个词预测的自监督学习获得能力70% 相似待验证Embedding模型本质上是Encoder-only Transformer架构，代表为BERT及其变体，通过对比学习或掩码语言模型任务预训练69% 相似待验证主流大语言模型基于Transformer架构，通过预训练将知识压缩进数十亿乃至数千亿的模型权重中68% 相似待验证现代大语言模型基于Transformer架构，通过预测下一个token的概率分布来生成文本，训练目标是最小化交叉熵损失67% 相似待验证大模型（LLM）是基于Transformer架构、经过海量数据预训练的深度神经网络模型66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/25057API
curl https://kongchang.com/api/v1/knowledge/claims/25057MCP
get_claim(id=25057)