现代多核CPU上，根据模型大小和量化不同，纯CPU推理大约能跑到每秒5到20个token。