待验证50% 置信事实精确时间
SlothOps 使用 Thinking Machines 的 Tinker SDK 对 meta-llama/Llama-3-8B-Instruct 进行 LoRA 微调，rank 为 16，alpha 为 32，作用于 q/v/k/o 四个投影层。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证许多最新的VLM（如PaLI-X、LLaVA-1.6等）已将视觉编码器从CLIP切换为SigLIP62% 相似待验证项目使用Tinker对Qwen3-8B进行监督微调。62% 相似待验证第一代Qwen起步上下文窗口为2048，通过NTK插值外推到8192，训练使用Flash Attention、AdamW优化器和BF16混合精度61% 相似待验证Mistral Large 3 支持 512,000 token 的原生上下文窗口，结合块稀疏注意力与硬件校准的旋转位置编码（RoPE）。61% 相似待验证该模型架构为交叉注意力 DiT（896 宽 × 16 层），使用 2D RoPE、QK-norm、SwiGLU、adaLN-single61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1072940API
curl https://kongchang.com/api/v1/knowledge/claims/1072940MCP
get_claim(id=1072940)