Wieszcz-XIX
针对历史波兰语（1800-1918年）的大规模语料库与时间锚定语言模型研究项目，发布了包含67.5亿token的语料库及一系列decoder-only架构语言模型
时间轴 (近 90 天)
Wieszcz-XIX发布了一个包含67.5亿token（约31亿词）、覆盖294,369份文档的语料库，内容主要来自1800至1918年间出版的波兰语期刊
Wieszcz-XIX语料库规模比同期已标注语料大出三个数量级以上
Wieszcz-XIX的数据来源是波兰公共领域文献平台Wolne Lektury与Internet Archive
处理流水线包括过滤低质量内容、去除近似重复文档、剔除1918年后泄漏的现代文本并在文档级别进行切分
1918年后的残留文本被压缩到仅占字节数的0.04%至0.38%，且这些残留本就存在于转录源文本中
在人工校对样本中，当文本清晰可辨时字符错误率仅为0.68%，但约45%的抽样段落因源质量问题完全无法校正
研究团队从零开始训练了一系列仅含解码器（decoder-only）架构的模型，参数规模从4700万到3.49亿不等
对现代模型来说，处理1918年后的词汇比处理历史时期词汇要多消耗约3.1比特每字节，而这个差距在历史模型身上并不存在
Wieszcz-XIX训练的模型在展示历史文本时能够保持原文拼写习惯，而现代对照模型只能部分做到
增加模型参数带来的收益约为对数据进行第二轮训练（second pass）的两倍
还有 2 条时间轴事件
全部知识事实 (12)
论文给出内容警告：由于训练数据取自历史时期真实出版物，模型会复现当时的偏见，包括反犹太主义言论
50%待验证Wieszcz-XIX语料库规模比同期已标注语料大出三个数量级以上
50%待验证Wieszcz-XIX的数据来源是波兰公共领域文献平台Wolne Lektury与Internet Archive
50%待验证处理流水线包括过滤低质量内容、去除近似重复文档、剔除1918年后泄漏的现代文本并在文档级别进行切分
50%待验证1918年后的残留文本被压缩到仅占字节数的0.04%至0.38%，且这些残留本就存在于转录源文本中
50%待验证在人工校对样本中，当文本清晰可辨时字符错误率仅为0.68%，但约45%的抽样段落因源质量问题完全无法校正
50%待验证研究团队从零开始训练了一系列仅含解码器（decoder-only）架构的模型，参数规模从4700万到3.49亿不等
50%待验证对现代模型来说，处理1918年后的词汇比处理历史时期词汇要多消耗约3.1比特每字节，而这个差距在历史模型身上并不存在
50%待验证Wieszcz-XIX训练的模型在展示历史文本时能够保持原文拼写习惯，而现代对照模型只能部分做到
50%待验证增加模型参数带来的收益约为对数据进行第二轮训练（second pass）的两倍
50%待验证团队公开了语料库、代码与模型权重
50%待验证Wieszcz-XIX发布了一个包含67.5亿token（约31亿词）、覆盖294,369份文档的语料库，内容主要来自1800至1918年间出版的波兰语期刊
50%