待验证50% 置信事实精确时间

CLIP使用softmax交叉熵损失，计算复杂度为O(n²)，SigLIP的sigmoid损失使每个图文对独立计算，消除了对大批次训练的硬性依赖

1

来源数

50%

置信度

长期有效

时效性

2026/9/1

首次发现

来源

Ksyon：本地运行的AI机器人，用Moondream实现视觉感知与拟真交互

涉及实体

CLIPmodel SigLIPtechnology

相关事实

待验证交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失72% 相似待验证CLIP使用InfoNCE损失（基于softmax的对比损失），原始训练使用了高达32768的批量大小71% 相似待验证Forge性能比预期慢，主要瓶颈集中在交叉熵损失函数及其梯度计算和softmax上，且尚未实现KV-cache69% 相似待验证朴素训练后量化会导致单个权重误差在多层网络中累积放大，即复合误差，在2位或1位精度下模型结构会崩溃68% 相似待验证草图算法提供根本性的时空权衡——用少量可控的估计误差换取数量级的空间节省68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/839048

API

curl https://kongchang.com/api/v1/knowledge/claims/839048

MCP

get_claim(id=839048)