待验证50% 置信事实精确时间

研究者构建了基于邻近 token-pair 计数的平滑预测器，并在 GPT-2 完整的 50,257 词汇表上进行评估

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

语料采样如何影响掩码文本重建：预测模型分歧的量化研究

涉及实体

相关事实

待验证研究者在2500万参数、GPT-2规模的模型上做了下游评估，Functionalizer带来代码语法有效性大幅提升和代码字符困惑度改善，而散文文本连贯性基本持平72% 相似已验证GPT系列模型通过预测下一个词的自监督任务在万亿级文本数据上训练71% 相似已验证GPT系列常用的BPE字节对编码算法通过统计相邻字符对频率并合并最高频字符对来构建词汇表70% 相似待验证GPT-2的BPE在字节级别操作，其merge表包含约5万条规则，最终词表为50,257个token70% 相似待验证类似的极客实验还包括「用 Excel 实现 GPT」、「用正则表达式检测质数」68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1001469

API

curl https://kongchang.com/api/v1/knowledge/claims/1001469

MCP

get_claim(id=1001469)