MLX
苹果自研的机器学习框架，专为Apple Silicon芯片优化，支持在Mac本地高效运行大型语言模型
核心事实
时间轴 (近 90 天)
Ollama 的 macOS 版 v0.40.4 同时打包了 llama.cpp 和 Apple MLX 的许可证文件，测试中服务日志显示一个库模型正加载在 MLX 引擎上
Ollama 库内 qwen3.5:0.8b 使用 MLX 引擎的 mxfp8 量化，其提示词处理为 2,264.6 tok/s，生成为 95.3 tok/s
Muse Spark Open可以在两台搭载M5 Ultra芯片的Mac Studio上运行，配合最新MLX框架。
开发者 @dhiltgen 提交了 PR #18657，将 MLX 框架中原本为 Apple Metal 编写的自定义内核移植到 CUDA 平台。
@dhiltgen 同时提交了提升 MLX 版本号的 PR #18993，表明团队正在同步维护 Metal 与 CUDA 两条技术路线。
Apple 使用 jaccl 通信集合支撑流水线和张量并行，自 MLX v0.30.1 起支持，基于 macOS 26.2 引入的 Thunderbolt 5 RDMA 驱动。
MLX 的张量并行按宽度切分每层，能真正提升推理速度，但每个 token 每一层都需广播输入、聚合输出，通信密集，需要低延迟链路（如 Thunderbolt RDMA）支撑。
Apple MLX 团队发布技术文章，展示四台 Mac Studio 集群运行 816B 参数的 Muse Spark Open，解码速度超过 36 tokens/s。
MLX 的流水线并行按深度切分模型层，解码速度与单机几乎无差别；将 65536 tokens 上下文切成 8192 tokens 块后，两机预填充最多快了约 1.8 倍。
MLX 的 Metal 自定义内核使用 Metal Shading Language 编写，常用于量化矩阵乘法和注意力机制等推理热点。
还有 40 条时间轴事件
全部知识事实 (20)
MLX针对Apple Silicon的统一内存架构进行专项优化
85%已验证MLX是Apple专为Apple Silicon芯片设计的机器学习框架，能充分利用M系列芯片统一内存架构（UMA）的优势
80%已验证AMD的ROCm和Intel的oneAPI在生态完整度、社区支持和性能调优工具方面与CUDA仍存在显著差距
75%已验证M1的统一内存架构使CPU和GPU物理共享同一块内存，无需显式数据拷贝，只需传递指针或虚拟地址
75%已验证苹果于2023年底开源MLX框架，专为Apple Silicon设计
75%已验证Apple Silicon的Neural Engine与CPU、GPU共享统一内存架构（Unified Memory Architecture），消除了传统异构计算中数据在不同内存池之间搬运的瓶颈
75%已验证Apple MLX框架是苹果2023年底专为M系列芯片设计的机器学习框架，利用统一内存架构消除内存拷贝开销，在M2 Ultra（最高192GB统一内存）上可运行700亿参数模型
65%已验证Ollama v0.40.0在Apple Silicon芯片上默认启用MLX运行时来执行模型推理
75%待验证Apple Silicon M-series unified memory architecture allows CPU and GPU to share the same physical memory, eliminating data copy overhead beneficial for LLM inference
90%待验证npcpy深度适配Apple Silicon，在MLX架构下运行LoRA，rank拉到128，配合Flash Attention 2.0
80%待验证MLX 是 Apple 机器学习研究团队推出的开源数组计算与深度学习框架，专为 Apple Silicon 的统一内存架构设计，提供 Python、C++（MLX-C）及 Swift 接口。
70%待验证MLX 支持懒执行（lazy evaluation）计算图，只在真正需要结果时才触发运算
70%待验证量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用
70%待验证MLX是Apple机器学习研究团队于2023年底开源的深度学习框架，专为Apple Silicon设计，采用惰性计算策略并原生支持统一内存模型
70%部分验证统一内存架构使CPU、GPU与NPU共享同一块内存池，避免数据在处理单元间反复搬运的开销
65%待验证在能装入32GB显存的中小模型上，RTX 5090领先（Gemma 4 12B约45%，GPT-OSS 20B超75%），但Qwen 3 27B从Q4的47%领先降到Q8的23%
60%待验证MLX 是 Apple 专为 Apple Silicon 设计的机器学习框架，在预填充阶段表现出色；GGUF 是 llama.cpp 生态的通用量化格式，跨平台兼容性更强
60%待验证Ollama 库内 qwen3.5:0.8b 使用 MLX 引擎的 mxfp8 量化，其提示词处理为 2,264.6 tok/s，生成为 95.3 tok/s
50%待验证Ollama 的 macOS 版 v0.40.4 同时打包了 llama.cpp 和 Apple MLX 的许可证文件，测试中服务日志显示一个库模型正加载在 MLX 引擎上
50%待验证Muse Spark Open可以在两台搭载M5 Ultra芯片的Mac Studio上运行，配合最新MLX框架。
50%