Teaspoon IDE
一款集成AI编码Agent的IDE,支持本地LLM运行,注重上下文管理修复。
时间轴 (近 90 天)
作者在纯CPU环境(Ryzen 5 4500U、32GB内存、Ollama)下,将本地LLM作为IDE内的编码Agent进行基准测试。
在旧版Agent框架下,qwen3.5:4b模型在任务T3中反复读取同一文件,声称‘读过了但看不到内容’,最终六轮耗尽任务失败。
Agent框架的缺陷是工具结果(文件内容、命令输出)在执行后仅存在于上下文一轮,随后被静默丢弃。
修复方案包括:将工具结果持久化到运行历史中,以及剥离GREP模式的外层引号。
修复随Teaspoon IDE v1.5.1发布,采用FSL-1.1-MIT许可证。
模型反复输出`GREP "member.*discount"`,字面引号进入正则表达式导致零匹配;修复后解析器会剥离包围引号。
控制实验中,同一个4B模型在旧框架下六轮耗尽失败,修复后五轮完成(pytest→读取→修复→复验,正确)。
控制实验中,9B模型在旧框架下七步含两次重复读取,修复后三步零重复读取,走最短路径。
控制实验中,e4b模型在修复后四轮零重复读取干净完成。
所有原始日志、任务定义和评估记录均已公开,包括测量数据(labo.mond.jp/articles/localllm-harness-bug.en.html)和代码仓库(github.com/cuculhart/ai-editor-lab、github.com/cuculhart/teaspoon-ide)。
全部知识事实 (10)
所有原始日志、任务定义和评估记录均已公开,包括测量数据(labo.mond.jp/articles/localllm-harness-bug.en.html)和代码仓库(github.com/cuculhart/ai-editor-lab、github.com/cuculhart/teaspoon-ide)。
50%待验证控制实验中,e4b模型在修复后四轮零重复读取干净完成。
50%待验证作者在纯CPU环境(Ryzen 5 4500U、32GB内存、Ollama)下,将本地LLM作为IDE内的编码Agent进行基准测试。
50%待验证Agent框架的缺陷是工具结果(文件内容、命令输出)在执行后仅存在于上下文一轮,随后被静默丢弃。
50%待验证修复方案包括:将工具结果持久化到运行历史中,以及剥离GREP模式的外层引号。
50%待验证模型反复输出`GREP "member.*discount"`,字面引号进入正则表达式导致零匹配;修复后解析器会剥离包围引号。
50%待验证控制实验中,同一个4B模型在旧框架下六轮耗尽失败,修复后五轮完成(pytest→读取→修复→复验,正确)。
50%待验证控制实验中,9B模型在旧框架下七步含两次重复读取,修复后三步零重复读取,走最短路径。
50%待验证在旧版Agent框架下,qwen3.5:4b模型在任务T3中反复读取同一文件,声称‘读过了但看不到内容’,最终六轮耗尽任务失败。
50%待验证修复随Teaspoon IDE v1.5.1发布,采用FSL-1.1-MIT许可证。
50%