待验证50% 置信基准精确时间
在实验3中,研究者移除输入输出层、仅保留四个Transformer块,LLM全部正确判断模型训练语言(Python、英语、罗马字日语),并能定位负责复制的注意力头(归纳头)。
1
来源数
50%
置信度
长期有效
时效性
2026/11/6
首次发现
来源
LLM直接读写模型权重:权重空间编程新范式
youtubeNeuralNine2026/11/6
涉及实体
相关事实
待验证该计算在三个模型中保守,命名头可复现行为,从头训练的Transformer也长出相同部件。74% 相似待验证Prefix Tuning在每一层Transformer的注意力计算中注入可训练的前缀键值对,而Prompt Tuning仅将连续嵌入向量拼接在输入嵌入序列前。68% 相似待验证当前主流大语言模型采用Transformer架构的自回归生成机制,逐Token从左到右生成,无法在生成后回头修改已输出的推理步骤66% 相似待验证大语言模型输出的非确定性源于 Transformer 解码阶段的随机采样机制,采样温度、Top-P 等参数决定每次生成内容可能不同66% 相似待验证基于Transformer的LLM每次推理都是独立的前向传播计算,模型权重在推理阶段固定不变,所谓的上下文记忆本质上是将历史对话文本重新注入提示词65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1143752API
curl https://kongchang.com/api/v1/knowledge/claims/1143752MCP
get_claim(id=1143752)