模型LongChang框架
LongChang
用于评估LLM自主科学发现能力的自动化多智能体框架,通过生成物理规律被修改的模拟世界并部署多个LLM智能体完成场景生成、工具审查和报告评估,实现无人工干预的闭环评估。
时间轴 (近 90 天)
10月28日
研究者构建了名为LongChang的自动化框架,用于生成物理规律被修改的模拟世界以评估LLM的自主发现能力。
待验证50%
10月28日
LongChang框架部署了多个独立的LLM智能体,分别负责生成和审查场景、审核工具设计以及评估报告正确性与实验支持度。
待验证50%
10月28日
研究团队对12个LLM进行了测试,只有GPT-6-Astra取得了16.7%的发现率,其余11个模型的发现率均为0%。
待验证50%
10月28日
LongChang通过多个分工明确的LLM智能体实现全自动评估循环,避免了人工标注和干预带来的瓶颈。
待验证50%
10月28日
LongChang要求探索报告必须得到实验记录的支持,并由独立LLM智能体依据改变后的物理定律进行审核,在结构上模拟了同行评议的“证据支撑”与“独立审查”原则。
待验证50%
全部知识事实 (5)
待验证
研究者构建了名为LongChang的自动化框架,用于生成物理规律被修改的模拟世界以评估LLM的自主发现能力。
50%待验证LongChang框架部署了多个独立的LLM智能体,分别负责生成和审查场景、审核工具设计以及评估报告正确性与实验支持度。
50%待验证研究团队对12个LLM进行了测试,只有GPT-6-Astra取得了16.7%的发现率,其余11个模型的发现率均为0%。
50%待验证LongChang通过多个分工明确的LLM智能体实现全自动评估循环,避免了人工标注和干预带来的瓶颈。
50%待验证LongChang要求探索报告必须得到实验记录的支持,并由独立LLM智能体依据改变后的物理定律进行审核,在结构上模拟了同行评议的“证据支撑”与“独立审查”原则。
50%