[KongchangAI]
ModelContrastive Language Models / CLM-v0.1-8B

CLM

基于Qwen3-8B构建的开源决策验证模型,通过轻量级投影头(约75MB)实现结构化判断,支持Choice/Noul/Score三种决策原语,可自托管部署,兼容TypeSafe Jev接口

Timeline (last 90 days)

Oct 6

Ironclad成立于2012年,总部位于旧金山,是合同生命周期管理(CLM)赛道的头部SaaS平台

Unverified50%
Oct 6

CLM平台的核心价值在于将合同的起草、谈判、审批、签署、归档及续约等各阶段数字化并集中管理

Unverified50%
Oct 4

CLM当前版本仅支持文本,团队预告下月将推出约50亿参数的多模态版本

Unverified50%
Oct 4

CLM兼容TiFF的API,提供是非题、多选题和打分三种原语,底层统一为'一个状态加一组封闭的候选项',不会凭空捏造列表之外的答案但仍可能从列表中挑错

Unverified50%
Oct 4

CLM的决策速度最高比TiFF类模型快13倍,而准确率可与之持平

Unverified50%
Oct 4

作者建议将CLM用作第一级粗筛,在毫秒内把上千候选项压缩到前10个再交给系统二模型做最终决策;若动作集合小且稳定则可单独使用;切忌给单个智能体塞一千个工具,应拆分子智能体

Unverified50%
Oct 4

CLM实验中从8个工具里选正确率86%,从全部1080个工具里选骤降到17%,主要错误是混淆名字相似的工具;TiFF上限只有255个选项

Unverified50%
Oct 4

作者在DGX Spark上跑通演示,CLM服务器本身约75MB,整体占用约25GB显存,缓存后同一工单再次询问可在2毫秒内返回

Unverified50%
Oct 4

CLM的80亿参数骨干网络Qwen3-8B是冻结的仅作阅读器,真正训练的只是两侧各约2000万参数的小型投影头,一次完整预训练在单张RTX上约需一小时

Unverified50%
Oct 4

CLM训练中仅预训练在困难负样本测试上得52%,加上困难负样本阶段跳升到69%;若从第一天就用困难负样本训练则峰值只有62%且很快过拟合;缺少重放会使困难负样本分数从69%跌回56%

Unverified50%

38 more timeline events

All Facts (20)

Unverified

在1000个候选选项的测试中,CLM耗时约44毫秒,而生成式模型需要579毫秒

60%
Unverified

CLM(Contrastive Language Model,对比式语言模型)是斯坦福与英伟达研究团队推出的一款参数规模为80亿的对比式语言模型,采用双编码器结构将决策转化为向量相似度检索问题

60%
Unverified

CLM平台的核心价值在于将合同的起草、谈判、审批、签署、归档及续约等各阶段数字化并集中管理

50%
Unverified

Ironclad成立于2012年,总部位于旧金山,是合同生命周期管理(CLM)赛道的头部SaaS平台

50%
Unverified

作者建议将CLM用作第一级粗筛,在毫秒内把上千候选项压缩到前10个再交给系统二模型做最终决策;若动作集合小且稳定则可单独使用;切忌给单个智能体塞一千个工具,应拆分子智能体

50%
Unverified

CLM实验中从8个工具里选正确率86%,从全部1080个工具里选骤降到17%,主要错误是混淆名字相似的工具;TiFF上限只有255个选项

50%
Unverified

作者在DGX Spark上跑通演示,CLM服务器本身约75MB,整体占用约25GB显存,缓存后同一工单再次询问可在2毫秒内返回

50%
Unverified

CLM采用三阶段训练:第一阶段用英伟达Nemotron数据中的6000万问答对学习通用知识,第二阶段用Gemini生成3000万困难负样本,第三阶段用约100万步真实智能体轨迹并回填40%原始问答数据作为重放

50%
Unverified

CLM训练中仅预训练在困难负样本测试上得52%,加上困难负样本阶段跳升到69%;若从第一天就用困难负样本训练则峰值只有62%且很快过拟合;缺少重放会使困难负样本分数从69%跌回56%

50%
Unverified

双塔架构可预先计算并缓存一侧嵌入向量,查询时只需编码另一侧再做向量检索,计算量极低,这是CLM速度优势的架构根源;其代价是两侧编码器无法进行细粒度交叉注意力比对

50%
Unverified

CLM兼容TiFF的API,提供是非题、多选题和打分三种原语,底层统一为'一个状态加一组封闭的候选项',不会凭空捏造列表之外的答案但仍可能从列表中挑错

50%
Unverified

CLM的80亿参数骨干网络Qwen3-8B是冻结的仅作阅读器,真正训练的只是两侧各约2000万参数的小型投影头,一次完整预训练在单张RTX上约需一小时

50%
Unverified

CLM的决策速度最高比TiFF类模型快13倍,而准确率可与之持平

50%
Unverified

CLM采用双编码器结构:一个编码器读取当前情境,另一个编码器分别读取每个可能的动作,最终决策是在嵌入空间中与情境距离最近的动作

50%
Unverified

CLM将可选动作只编码一次并缓存下来,每一步仅需对当前情境做嵌入计算并与缓存动作向量做点积,从而大幅提速

50%
Unverified

CLM式方案天然具备与现有向量数据库(如Faiss、Pinecone、Weaviate)和近似最近邻(ANN)算法集成的潜力,可扩展到百万量级候选集仍保持毫秒级响应

50%
Unverified

当决策可被重构为检索最近邻问题、动作空间大、候选项相对稳定且实时性要求高时,用对比学习加向量缓存替代逐步生成可带来数量级延迟改善

50%
Unverified

文中性能数字(44ms vs 579ms、9倍提速)均为YouTube视频中引用的研究方声称值,尚未经官方论文和基准测试验证

50%
Unverified

由于每个选项独立编码,CLM在处理中从不把多个选项放在一起横向比较,牺牲了选项之间的直接交互能力

50%
Unverified

在需要候选项之间细粒度比较和相互制约才能做出最优判断的任务上,CLM的独立编码方式可能影响决策质量

50%

Source Articles