Core ML
苹果推出的机器学习框架，用于在iOS/macOS设备上本地运行和部署AI模型，支持神经网络引擎加速推理，是端侧AI开发的核心工具链之一
Core Facts
Timeline (last 90 days)
端侧AI的核心技术路径通常依赖轻量化模型框架，如ONNX Runtime、TensorFlow Lite或Apple的Core ML
Core ML允许开发者将ONNX、PyTorch等格式的训练模型转换为可在Apple设备上高效推理的格式，无需网络请求
本地推理的主流方案包括 llama.cpp、Ollama、ONNX Runtime 以及 Apple 的 Core ML
常见的端侧模型部署方案包括 Core ML、llama.cpp 等框架，可将模型权重压缩至几百 MB 到几 GB 不等
当模型中出现不符合 ANE 约束的算子时，Core ML 运行时会将该算子回退到 GPU 或 CPU 执行，从而消耗大量内存带宽并引入同步延迟
苹果提供的 MLComputeUnits 选项仅允许粗粒度指定偏好的计算后端，无法强制单个算子在 ANE 上运行
Instruments 中的 Core ML Instrument 可以观察模型各层执行情况，但颗粒度有限
苹果同时掌控芯片设计、操作系统和应用框架（如Core ML），能够实现从模型压缩到硬件调度的全链路优化
苹果从iOS 13开始大力推进端侧机器学习(Core ML框架),其Neural Engine专用硬件可高效运行语音模型
苹果生态主要依赖Core ML和MLX框架，开源社区模型往往首先针对CUDA优化，从PyTorch/CUDA移植到MLX或Core ML可能需要数天到数周
3 more timeline events
All Facts (15)
Apple Intelligence是苹果在WWDC 2024上发布的系统级AI框架
80%VerifiedApple Core ML框架允许开发者将PyTorch或TensorFlow训练的模型转换为.mlmodel格式在本地运行，利用GPU和Neural Engine并行计算
75%Unverified在Apple Silicon设备上，借助Core ML转换工具和ANE加速，Whisper medium模型可实现接近实时的转录速度
75%Partially Verified苹果同时掌控芯片设计、操作系统和应用框架（如Core ML），能够实现从模型压缩到硬件调度的全链路优化
65%UnverifiedApple 在 macOS 14 中引入了增强版 Speech 框架以及 Core ML 对 Whisper 模型的优化转换
60%Unverified端侧AI的核心技术路径通常依赖轻量化模型框架，如ONNX Runtime、TensorFlow Lite或Apple的Core ML
50%UnverifiedCore ML允许开发者将ONNX、PyTorch等格式的训练模型转换为可在Apple设备上高效推理的格式，无需网络请求
50%Unverified本地推理的主流方案包括 llama.cpp、Ollama、ONNX Runtime 以及 Apple 的 Core ML
50%Unverified常见的端侧模型部署方案包括 Core ML、llama.cpp 等框架，可将模型权重压缩至几百 MB 到几 GB 不等
50%Unverified当模型中出现不符合 ANE 约束的算子时，Core ML 运行时会将该算子回退到 GPU 或 CPU 执行，从而消耗大量内存带宽并引入同步延迟
50%Unverified苹果提供的 MLComputeUnits 选项仅允许粗粒度指定偏好的计算后端，无法强制单个算子在 ANE 上运行
50%UnverifiedInstruments 中的 Core ML Instrument 可以观察模型各层执行情况，但颗粒度有限
50%Unverified苹果从iOS 13开始大力推进端侧机器学习(Core ML框架),其Neural Engine专用硬件可高效运行语音模型
50%Unverified苹果生态主要依赖Core ML和MLX框架，开源社区模型往往首先针对CUDA优化，从PyTorch/CUDA移植到MLX或Core ML可能需要数天到数周
50%Unverified苹果的 Core ML 框架允许开发者将 TensorFlow 或 PyTorch 训练的模型转换后直接在 Neural Engine 上运行
50%