TomasuLLM
一种面向LLM智能体的运行时加速系统,借鉴CPU乱序执行思想(Tomasulo算法),通过推测执行、写时复制沙箱隔离和顺序提交机制,减少工具调用等待时间,提升智能体整体吞吐性能
时间轴 (近 90 天)
TomasuLLM是一个运行时系统,让智能体的工具调用能够脱离轨迹顺序(out of trajectory order)执行,同时通过乱序执行、顺序提交保证任务执行的正确性
TomasuLLM通过起草智能体未来可能执行的动作,并在隔离的写时复制(copy-on-write)沙箱中提前运行它们
TomasuLLM中推测结果只有在按轨迹顺序针对已提交状态验证通过后,才会被正式提交
TomasuLLM在SWE-bench Verified的100个任务上实现1.31倍加速
TomasuLLM在Terminal-Bench 2.0的28个任务上实现1.35倍加速
TomasuLLM在SWE-Marathon的18个会话上实现1.27倍的匹配进度提升
TomasuLLM的加速比随工具延迟增长而扩大
TomasuLLM在4,010条经审计的提交-验证记录中产生了零误接受(zero false accepts)
TomasuLLM的论文为arXiv新提交,目前仍处于早期阶段
全部知识事实 (9)
TomasuLLM是一个运行时系统,让智能体的工具调用能够脱离轨迹顺序(out of trajectory order)执行,同时通过乱序执行、顺序提交保证任务执行的正确性
50%待验证TomasuLLM通过起草智能体未来可能执行的动作,并在隔离的写时复制(copy-on-write)沙箱中提前运行它们
50%待验证TomasuLLM中推测结果只有在按轨迹顺序针对已提交状态验证通过后,才会被正式提交
50%待验证TomasuLLM在SWE-bench Verified的100个任务上实现1.31倍加速
50%待验证TomasuLLM在Terminal-Bench 2.0的28个任务上实现1.35倍加速
50%待验证TomasuLLM在SWE-Marathon的18个会话上实现1.27倍的匹配进度提升
50%待验证TomasuLLM的加速比随工具延迟增长而扩大
50%待验证TomasuLLM在4,010条经审计的提交-验证记录中产生了零误接受(zero false accepts)
50%待验证TomasuLLM的论文为arXiv新提交,目前仍处于早期阶段
50%