Wieszcz-XIX：31亿词历史波兰语语料与时间锚定语言模型

一个被OCR尘封的语言样本

历史波兰语作为一种语言被充分记录，但其机器可读的标注语料却极为稀少——在1800至1918年这段时期，仅有约一百万词被整理成可供机器处理的形式，其余海量文本都埋藏在质量参差不齐的OCR（光学字符识别）结果背后。这意味着研究者若想用现代NLP方法研究这一历史阶段的波兰语，手头可用的标注数据极度匮乏。

Wieszcz-XIX项目正是针对这一缺口而生。该研究发布了一个包含67.5亿token（约31亿词）、覆盖294,369份文档的语料库，内容主要来自1800至1918年间出版的波兰语期刊。这个规模比同期已标注语料整整大出三个数量级以上，为历史语言学与计算语言学研究提供了前所未有的原始素材。

OCR（光学字符识别）技术将印刷文本转换为机器可读文字，但对历史文献而言，其准确率受制于纸张老化、字体差异（如19世纪波兰语常用的哥特体与花体字）、扫描质量等多重因素。历史语料的OCR错误往往呈现系统性规律：特定字母对（如"rn"被识别为"m"）的混淆频繁出现，这类错误会在词形层面造成大量噪音。对NLP模型而言，低质量OCR文本是双重挑战——一方面导致词汇表膨胀（同一个词的多种拼写错误变体被视为不同词），另一方面也使依赖字符级特征的模型学到虚假模式。正因如此，历史语料项目普遍面临"数据规模与数据质量"的根本张力，而标注成本又使大规模人工校对几乎不可行。

语料是怎样炼成的

研究团队的数据来源是波兰公共领域文献平台 Wolne Lektury 与 Internet Archive。原始文本经过一条完整的处理流水线：过滤低质量内容、去除近似重复的文档、审计并剔除1918年后泄漏进来的现代文本，并在文档级别进行切分。

值得关注的是，团队没有回避数据缺陷，而是对其进行了量化。他们测量了三类问题：OCR识别损坏（以假阳性下限为基准）、几乎完全相同的重复内容（已被移除），以及时间边界之后的文本泄漏。研究者将1918年后的内容排除出训练语料，残留量被压缩到仅占字节数的0.04%至0.38%——而且这些残留本就存在于转录源文本中。因此，公开发布的语料库与实际用于训练的语料逐文档完全一致，保证了可复现性。

在人工校对的样本中，当文本本身清晰可辨时，字符错误率仅为0.68%；但同时也有约45%的抽样段落因源质量问题完全无法校正。这种对数据质量的坦诚披露，在当前许多大语料项目中并不常见。

从头训练的"时间锚定"模型阶梯

基于这套语料，研究团队从零开始训练了一系列仅含解码器（decoder-only）架构的模型，参数规模从4700万到3.49亿不等，形成一个"阶梯"。核心目标是测量这些模型的时间边界性（temporal boundedness）——即模型是否真正"活在"它所训练的历史时期，而非被现代语言习惯污染。

实验将这些历史模型与两个现代波兰语基础模型（其中一个规模远大于历史模型）进行对比，结果出现了耐人寻味的"交叉现象"：3.49亿参数模型相对两个现代模型、1.07亿参数模型相对同体量对照模型，都在特定指标上实现了反超。具体而言，对现代模型来说，处理1918年后的词汇比处理历史时期词汇要多消耗约3.1比特每字节，而这个差距在历史模型身上并不存在；反过来，历史模型处理时期词汇所需的比特数更少。

当向模型展示历史文本时，Wieszcz-XIX训练的模型能够保持原文的拼写习惯，而现代对照模型只能部分做到。这说明从头训练的时间锚定模型，确实捕捉到了那个时代语言的独特形态。

比特每字节（bits-per-byte，bpb）是衡量语言模型"惊讶程度"的信息论指标，本质上是模型对输入文本压缩效率的度量：数值越低，说明模型对该文本的预测越准确、越"熟悉"。它与困惑度（perplexity）概念相近，但以字节为单位，更便于跨语言和跨编码方式的公平比较。在时间边界性实验中，现代模型处理1918年后文本时bpb更低（更熟悉），处理历史文本时bpb更高（更陌生），而历史模型的表现恰好相反——这种交叉验证了模型的语言时代归属。仅解码器（decoder-only）架构指模型只包含Transformer的解码器部分，每个词的预测仅能看到前文，适合语言建模与生成任务，GPT系列即采用此架构。

规模与数据重复的权衡

研究还给出了一个对训练实践有参考价值的结论：增加模型参数带来的收益，约为对数据进行第二轮训练（second pass）的两倍。换言之，在数据有限的历史语料场景下，扩大模型容量比反复过数据更划算。这为类似的小语种或历史语料建模项目提供了实用的资源分配指引。

团队同时公开了语料库、代码与模型权重，使整个研究具备良好的可复现性与再利用价值。

数据的"第二轮训练"（second pass，也称epoch复用）是指在数据总量固定时，让模型对同一批数据重复训练一遍。在数据充足的场景下，增加数据多样性通常优于重复已见数据；但在历史语料等稀缺场景中，研究者常不得不在"复用数据"与"扩大模型"之间做取舍。该研究给出的"参数扩展收益约为数据复用两倍"的结论，与近年大模型缩放定律（scaling laws）研究的方向一致：当数据成为瓶颈时，算力应优先投入模型容量而非训练轮次。这一结论对资源有限的小语种和历史语言建模项目具有直接的预算指导意义。

一个必要的伦理提醒

论文明确给出了内容警告：由于训练数据直接取自历史时期的真实出版物，模型会复现当时的偏见，包括反犹太主义言论。这一提醒揭示了历史语料建模绕不开的伦理张力——忠实于历史的代价，是模型会原样再现那个时代令人不适的话语。如何在学术价值与潜在危害之间取得平衡，是此类研究必须正视的问题。

对历史语言建模的启示

Wieszcz-XIX的意义不只在于一个新语料库或一组模型，它示范了一套面向历史语言的建模方法论：从嘈杂的OCR源出发，通过严格的去重与时间泄漏审计，构建可复现的训练集，并用"时间边界性"这一量化指标来验证模型是否真正扎根于目标时期。对于其他缺乏现代标注资源的语言与历史阶段，这套思路具有明确的借鉴价值。