[控场AI]
人物

Philip Gage

BPE(Byte Pair Encoding)算法的提出者,于1994年提出该算法用于数据压缩,后被广泛引入NLP和大语言模型的分词领域

核心事实

时间轴 (近 90 天)

10月13日

BPE 原本是 Philip Gage 在 1994 年提出的一种数据压缩算法:不断找出数据中最常见的相邻字节对,用一个新增的未使用符号替代它。

待验证50%
9月11日

BPE(字节对编码)最初由Philip Gage于1994年提出用于数据压缩,后被OpenAI引入NLP领域,是目前主流LLM最常用的分词算法

待验证50%
9月6日

BPE(Byte Pair Encoding)算法最初由Philip Gage在1994年提出用于数据压缩,后被OpenAI引入NLP领域用于GPT系列模型的分词

待验证50%

全部知识事实 (4)

来源文章