Bonsai
一个以轻量级机器学习为核心理念的开源项目，主要语言为Shell，面向边缘设备、嵌入式系统或资源敏感场景，通过脚本编排实现完整ML流程
时间轴 (近 90 天)
给小模型过多提示词（几十K到上百K的规范和工具）会分散其有限的注意力，DSH等轻量框架对小模型更友好
作者实测Bonsai处理一道知乎式题目16秒一轮、平均235 token/s
Bonsai在简洁模式下因缺乏可用工具更容易陷入'雷霆大思考'，在工具充裕的标准模式下更易收敛到调用工具或输出正文
将Ninfer推理引擎、Bonsai压缩模型和KVMem显存卸载三者结合后，解码峰值达到748 token/s，预填充最高达到3.8K token/s
单看每个组件的性能收益大约只有10%-15%，但三者组合后产生了明显的协同效应（非线性加速）
出现'雷霆大思考'异常：思维链跑完后模型输出stop就停住，不进入正文生成，作者通过检测stop后强制跳转正文分支打补丁缓解
设置180K上下文时应在80%-90%才触发压缩，但实际跑到20%-30%就异常压缩，导致推理成果丢失形成死循环
Bonsai将50多G的模型压缩到5-7G，仍保持相当的逻辑、代码与多轮对话能力
在摘要任务中8款模型有4款失败：40亿参数Qwen3.5虚构内容、LFM2.5篡改事实、Bonsai添加不存在信息、MiniCPM5漏掉主要观点
Bonsai采用1比特量化，每个权重只用一个比特表示，整个模型文件仅略多于1GB
全部知识事实 (10)
给小模型过多提示词（几十K到上百K的规范和工具）会分散其有限的注意力，DSH等轻量框架对小模型更友好
50%待验证作者实测Bonsai处理一道知乎式题目16秒一轮、平均235 token/s
50%待验证Bonsai在简洁模式下因缺乏可用工具更容易陷入'雷霆大思考'，在工具充裕的标准模式下更易收敛到调用工具或输出正文
50%待验证将Ninfer推理引擎、Bonsai压缩模型和KVMem显存卸载三者结合后，解码峰值达到748 token/s，预填充最高达到3.8K token/s
50%待验证单看每个组件的性能收益大约只有10%-15%，但三者组合后产生了明显的协同效应（非线性加速）
50%待验证出现'雷霆大思考'异常：思维链跑完后模型输出stop就停住，不进入正文生成，作者通过检测stop后强制跳转正文分支打补丁缓解
50%待验证设置180K上下文时应在80%-90%才触发压缩，但实际跑到20%-30%就异常压缩，导致推理成果丢失形成死循环
50%待验证Bonsai将50多G的模型压缩到5-7G，仍保持相当的逻辑、代码与多轮对话能力
50%待验证在摘要任务中8款模型有4款失败：40亿参数Qwen3.5虚构内容、LFM2.5篡改事实、Bonsai添加不存在信息、MiniCPM5漏掉主要观点
50%待验证Bonsai采用1比特量化，每个权重只用一个比特表示，整个模型文件仅略多于1GB
50%