待验证50% 置信决策规则精确时间

在 RobotCore Mini 等边缘设备上若测得推理速度低于5 tokens/s，通常意味着模型规模超出硬件舒适区，应换用更小参数量或更低量化精度的版本

1

来源数

50%

置信度

长期有效

时效性

2026/7/17

首次发现

来源

RobotCore Mini本地部署LLM完整指南：Ollama安装到Web接口搭建

相关事实

待验证轻量小模型的推理延迟可低至5-20ms，单次推理成本不足大模型的1%，且可本地部署66% 相似待验证低端AI模型的上下文窗口较小，可能只有8K-32K tokens，导致在修改新功能时无法充分理解已有功能的完整逻辑，产生回归缺陷65% 相似待验证小模型长上下文理解质量随长度下降快，通常超过4K-8K token窗口后表现退化64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/545787

API

curl https://kongchang.com/api/v1/knowledge/claims/545787

MCP

get_claim(id=545787)