[控场AI]
产品HuggingFace Transformers

Transformers

Hugging Face开源的深度学习模型库,提供预训练模型的加载、微调和推理接口,是NLP领域最广泛使用的工具库之一

核心事实

时间轴 (近 90 天)

11月12日

Hugging Face提供Transformers、Diffusers等开源库,被广泛视为开源AI的“GitHub”。

待验证50%
11月10日

后端切换带来的性能偏移主要来自算子选择与内核调度的变化,旧的专用实现可能针对特定模型结构手写了融合算子,而 Transformers 后端走通用路径。

待验证50%
11月10日

后端切换可能带来短期的回归风险,例如某些量化配置或自定义算子路径在新后端下尚未覆盖。

待验证50%
11月10日

迁移到统一后端后,Gemma 和 StableLM 的行为更贴近上游 Transformers 的参考实现,这对需要做输出可比性验证的用户是一个正向变化。

待验证50%
11月10日

将 Gemma 与 StableLM 迁移到 Transformers 后端意味着模型实现从专用代码路径切换到统一的后端框架,属于减少分叉、统一入口的重构。

待验证50%
11月10日

Transformers 已成为模型权重与配置的事实标准格式,绝大多数开源模型发布时都会提供 config.json、model.safetensors 等配套文件。

待验证50%
11月10日

迁移后的吞吐与显存表现不能简单外推,需要用代表性请求分布做 A/B 基准测试,重点关注首 token 延迟、解码吞吐和峰值显存三项指标。

待验证50%
11月10日

Transformers 后端指的是直接复用 Hugging Face Transformers 库中的模型定义、权重映射和配置解析逻辑,而非在 vLLM 内部为每个模型单独编写实现。

待验证50%
11月10日

vLLM 发布了 v0.34.0rc0 预发布版本,将 Gemma 和 StableLM 两个模型系列迁移到 Transformers 后端。

待验证50%
10月30日

Hugging Face Transformers库最初(2018年)基于PyTorch实现,后来增加TensorFlow后端,但PyTorch版本始终是功能最全、更新最快的。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

Hugging Face 于2018年转型为AI开源社区平台

90%
已验证

Hugging Face的Transformers库支持PyTorch、TensorFlow和JAX三大框架

90%
已验证

Transformers库由Hugging Face维护,提供了数千个预训练模型的统一接口

80%
已验证

Hugging Face是一家成立于2016年的AI公司,其开源库Transformers已成为NLP和大模型领域事实上的标准工具包

80%
已验证

vLLM 依赖 Hugging Face 的 transformers 库来加载模型结构、分词器和配置

75%
已验证

Hugging Face生态系统包括Model Hub、Datasets、Spaces和Tokenizers等组件

65%
已验证

HuggingFace Transformers的Pipeline支持情感分析、文本生成、命名实体识别、文本填空、摘要生成、翻译和特征提取等任务类型

65%
已验证

Pipeline API将NLP任务拆解为预处理、模型推理和后处理三个独立阶段

65%
已验证

可以通过设置环境变量HF_HOME来自定义HuggingFace模型的存储路径

65%
待验证

The mainstream AI inference stack (PyTorch, Transformers, vLLM) is built on Python and relies on extensive Python code and complex dependency chains

90%
待验证

Transformers库默认将模型下载到C盘用户目录/.cache/huggingface下

90%
待验证

Hugging Face的Transformers库、OpenAI的官方SDK、LangChain等几乎所有主流大模型工具都优先支持Python

90%
待验证

Hugging Face平台支持Transformers、Diffusers等主流开源框架,并提供Spaces、Inference API等商业化服务

70%
待验证

Hugging Face的Transformers库提供数万个预训练模型的统一API接口,支持PyTorch、TensorFlow和JAX三大框架

70%
待验证

Hugging Face Hub深度集成了Transformers、Diffusers、PEFT等主流开源库,用户只需一行代码即可加载任意模型

70%
待验证

Muse Spark Open支持SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp和Unsloth等运行时。

60%
待验证

Transformer 输入文本首先经过 Tokenizer 分词,把文本切成 N 个 Token,Token 是语言模型理解语义的最小单元

60%
待验证

Hugging Face提供Transformers、Diffusers等开源库,被广泛视为开源AI的“GitHub”。

50%
待验证

Transformers 已成为模型权重与配置的事实标准格式,绝大多数开源模型发布时都会提供 config.json、model.safetensors 等配套文件。

50%
待验证

Transformers 后端指的是直接复用 Hugging Face Transformers 库中的模型定义、权重映射和配置解析逻辑,而非在 vLLM 内部为每个模型单独编写实现。

50%

来源文章