Docker Model Runner 是 Docker 平台提供的 AI 模型本地运行组件，允许开发者使用标准 Docker 命令拉取、管理和运行大语言模型及其他 AI 模型。它将模型运行环境容器化，提供与 OpenAI API 兼容的接口，便于开发者在本地环境中集成和测试 AI 模型能力，无需依赖外部云服务。
Docker Model Runner兼容标准的OpenAI API接口（/v1/chat/completions）
容器内运行时通过model-runner.docker.internal这个内部DNS与Docker Model Runner模型服务通信
Docker Model Runner需要在最新版Docker Desktop的设置中启用Docker Model功能才能使用
Docker Model Runner使用GGUF格式的量化模型文件，这些文件被打包为符合OCI规范的artifact
本地开发时Docker Model Runner的模型API地址为localhost:12434
Docker Model Runner将底层的CUDA依赖和驱动适配完全封装在内部，用户无需手动配置
Docker Model Runner支持的模型可以存储在Docker Hub和私有Registry等现有容器镜像仓库中
Docker Model Runner可以与Docker Compose集成，将AI模型作为服务定义在docker-compose.yml中