[控场AI]
产品

Ollama

Ollama 是一款开源的本地大语言模型运行框架,允许用户在个人计算机上部署和运行多种大型语言模型,无需依赖云端服务。它提供命令行界面与 REST API,支持 Llama、Mistral 等主流开源模型,并通过简洁的模型管理机制实现模型的下载、切换与运行,适用于开发者进行本地推理、调试与应用集成。

核心事实

时间轴 (近 90 天)

10月29日

在Ollama+AnythingLLM的本地部署中,Ollama提供模型推理能力,AnythingLLM负责RAG流程编排。

待验证50%
10月29日

nomic-embed-text是可通过Ollama拉取的嵌入模型示例。

待验证50%
10月29日

Ollama的典型应用场景包括本地模型体验、私有化开发和教学与研究。

待验证50%
10月29日

Ollama 本体与模型是分开版本化的:升级 Ollama 客户端只更新推理运行时和平台适配层,已下载的模型不会自动变化,需要重新 pull 才能获取新版本或新变体。

待验证50%
10月29日

Ollama v0.40.13 由 github-actions 自动构建,release 记录显示包含 1 个 commit,变更日志指向 v0.40.12...v0.40.13。

待验证50%
10月29日

版本说明没有给出 LFM3 在 Linux/Windows 上的具体性能数据或硬件要求。

待验证50%
10月29日

Ollama 的模型量化版本会直接影响内存占用与推理速度,资源有限的设备应优先选择参数量更小或量化程度更高的标签。

待验证50%
10月29日

在 Ollama v0.40.13 中,LFM3 系列模型的支持平台从仅 Apple silicon 扩展到 Linux 和 Windows。

待验证50%
10月29日

Ollama 采用类似容器镜像的分层模型分发方式,用户通过 ollama pull <model> 拉取模型,模型文件按层缓存在本地,更新时只下载变化的层。

待验证50%
10月29日

此前 LFM3 在 Ollama 上只能运行在 Apple silicon 设备上。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

v0.40.5 由 GitHub Actions 自动发布并附有 GPG 验证签名。

90%
已验证

@ai-sdk/togetherai 是 Vercel AI SDK 官方提供的 TogetherAI 平台适配器,构建在 openai-compatible 基础包之上

90%
已验证

受限于消费级设备的算力和内存,本地能运行的模型规模通常远小于云端旗舰模型,在复杂推理、长上下文处理等任务上存在差距

90%
已验证

GGUF 已成为 llama.cpp、Ollama、LM Studio 等主流本地推理工具的事实标准格式

85%
已验证

Ollama提供类似Docker的一键式模型管理体验,vLLM通过PagedAttention实现高吞吐量批量推理,LM Studio面向桌面用户提供图形化界面

80%
已验证

Ollama Cloud是Ollama的云端延伸服务,为开发者提供托管式模型调用

80%
已验证

Ollama将本地大模型部署封装成单行命令并内置模型量化支持,简化了下载、量化和运行流程

80%
已验证

llama.cpp支持CPU与GPU的混合推理(层卸载),可将模型部分层加载到GPU显存、其余层保留在内存

80%
已验证

Ollama能够自动识别并利用机器上的计算资源,GPU和CPU均可调度

80%
已验证

Ollama提供标准API接口,支持Python、Java、Rust等多种编程语言调用

80%
已验证

Ollama本身完全免费且开源

80%
已验证

Ollama将本地模型部署简化为一条命令行指令,并提供与OpenAI兼容的本地API接口

80%
已验证

Ollama提供了类似Docker的模型管理体验,一行命令即可拉取和运行模型

80%
已验证

Open WebUI 支持 Ollama 和 OpenAI API 等多种后端

80%
已验证

AnythingLLM兼容OpenAI、Anthropic Claude、本地Ollama模型等多种LLM后端

80%
已验证

Ollama使用Go语言开发

80%
已验证

Ollama底层基于llama.cpp的推理引擎,原生支持GGUF格式的量化模型

80%
已验证

Ollama自动识别系统中的NVIDIA GPU并选择最优推理后端(CUDA、Metal或纯CPU),对Apple Silicon用户通过Metal API实现GPU加速

80%
已验证

Cube Studio支持vLLM、Ollama、MindIE等主流大模型推理引擎,并支持多机推理

80%
已验证

本地运行大模型意味着所有数据都不会离开用户的设备,具有隐私优势

80%

来源文章