本地模型是直接在用户设备上运行的机器学习模型，通常经过量化或蒸馏等压缩技术以降低对内存和算力的要求。