JAX
JAX是由Google开发的开源高性能数值计算库,基于Python和NumPy接口设计,提供与NumPy高度兼容的API。JAX的核心能力包括:通过自动微分(Autograd)支持对任意Python函数求导,利用XLA(加速线性代数)编译器实现在CPU、GPU和TPU上的高效运算,以及支持函数式变换(如向量化映射vmap和即时编译jit)。JAX广泛应用于机器学习研究和科学计算领域。
核心事实
时间轴 (近 90 天)
模型筛选由 survey.py 自动完成,许可证必须是 Apache-2.0 或 MIT,且至少留有 2 GiB 给 KV 缓存;最终 Tier 1 有 8 个模型(原生 JAX),Tier 2 有 7 个模型(PyTorch 回退 torchax)。
JAX 以函数式编程范式、自动微分和即时编译(JIT)为特点,天然适配 TPU
一位开发者在社交平台分享使用 KerasHub、JAX 与 TPU 组合进行大量 LLM 后训练实验,并透露可能开源部分成果
JAX/Keras 体系下缺乏与 PyTorch 生态同等抽象层次的后训练框架
JAX 采用函数式纯变换模型且副作用受限,与 PyTorch 的命令式执行不同
JAX 的核心设计是将 NumPy 风格的 API 与 XLA(加速线性代数)编译器结合,提供 jit、vmap、pmap 三个核心变换
MLX 的设计哲学借鉴了 NumPy、PyTorch 和 JAX 等主流框架
Keras 3 已经支持 TensorFlow、JAX 和 PyTorch 三大后端
以往在 TPU 上跑大模型通常意味着两种选择:构建全新的服务引擎,或将模型移植到 JAX 生态
主流框架PyTorch、JAX对CUDA做了深度优化
还有 30 条时间轴事件
全部知识事实 (20)
Hugging Face的Transformers库支持PyTorch、TensorFlow和JAX三大框架
90%已验证PyTorch、TensorFlow 内置的自动微分系统本质上是在计算图上自动执行链式求导过程
70%已验证Hugging Face的核心开源库transformers支持PyTorch、TensorFlow和JAX三大主流框架
65%已验证JAX 是 Google 于 2018 年发布的数值计算库,核心特性包括基于 XLA 编译器的 JIT 加速、自动微分以及 vmap 和 pmap 原语
65%已验证TensorFlow由Google开发,JAX同样由Google开发
65%已验证JAX由Google开发,基于函数式编程范式,提供自动微分和XLA编译优化
65%待验证Google通过JAX框架和XLA编译器构建自己的软件生态,使开发者能够在TPU上运行模型
90%待验证Google DeepMind的许多前沿研究基于JAX构建
80%部分验证Transformers框架同时支持PyTorch、TensorFlow和JAX三大深度学习框架
80%待验证Hugging Face的Optimum库提供了对Intel、AMD、AWS Inferentia等非英伟达硬件的优化支持
70%待验证XLA是Google的加速线性代数编译器,深度集成于TensorFlow和JAX
60%待验证模型筛选由 survey.py 自动完成,许可证必须是 Apache-2.0 或 MIT,且至少留有 2 GiB 给 KV 缓存;最终 Tier 1 有 8 个模型(原生 JAX),Tier 2 有 7 个模型(PyTorch 回退 torchax)。
50%待验证JAX 的核心设计是将 NumPy 风格的 API 与 XLA(加速线性代数)编译器结合,提供 jit、vmap、pmap 三个核心变换
50%待验证JAX 以函数式编程范式、自动微分和即时编译(JIT)为特点,天然适配 TPU
50%待验证JAX 采用函数式纯变换模型且副作用受限,与 PyTorch 的命令式执行不同
50%待验证JAX/Keras 体系下缺乏与 PyTorch 生态同等抽象层次的后训练框架
50%待验证MLX 的设计哲学借鉴了 NumPy、PyTorch 和 JAX 等主流框架
50%待验证Keras 3 已经支持 TensorFlow、JAX 和 PyTorch 三大后端
50%待验证以往在 TPU 上跑大模型通常意味着两种选择:构建全新的服务引擎,或将模型移植到 JAX 生态
50%待验证主流框架PyTorch、JAX对CUDA做了深度优化
50%