小模型通常指参数量在数十亿级别、经过蒸馏或量化压缩的模型，例如各类7B至30B级别的开源与闭源模型。