为喂养AI而销毁书籍:不可逆的文明代价

一场被忽视的文化损失
为了训练大语言模型,海量文本需要被数字化。当前主流大语言模型(如GPT-4、Claude、Llama等)的训练语料规模通常在数万亿token级别,其中书籍语料因结构化程度高、语言质量优秀、专业知识覆盖广泛,被视为最高质量的训练数据之一。已知的书籍数据集如Books3(包含约19.6万本书)曾被广泛用于模型训练,而在公有领域书籍资源逐渐被数字化殆尽的背景下,对更多实体书籍的扫描需求持续增长。
这本是技术进步的必经之路,但在这一过程中,一个令人不安的现象正浮出水面:一些机构为了提高扫描效率,正在物理性地销毁书籍——切开书脊、拆散装订,然后在扫描完成后将残骸丢弃。
一位历史研究者在Reddit上分享了他的观察与愤怒。他指出,机器完全可以在不破坏书脊的前提下扫描书籍,但那种方式更耗时、成本更高。事实上,非破坏性扫描技术在图书馆学和档案学领域已有数十年的发展历史——代表性设备包括V型书托扫描仪(如Zeutschel、i2S等品牌),允许书籍以120-150度角打开而非完全摊平,通过顶部摄像头捕捉页面图像。然而,这类设备单台成本从数万到数十万美元不等,扫描速度通常比破坏性切割后的平板送纸扫描慢3-10倍。于是,出于效率考量,许多操作者选择了「裁切法」——而且切口深达数英寸,而非毫米级。对于1800年前那些几乎没有页边距的古籍而言,这意味着重要内容的直接丢失。

这不是简单的「一本书没了」的问题。当一本孤本被切开、扫描、丢弃,它所承载的物质信息便永久消失,而数字副本只能保留其中很小的一部分。
被销毁的不只是文字:古籍中隐藏的不可替代信息
纸张里藏着看不见的历史
这位研究者提出了一个关键但常被忽略的事实:古籍的价值远不止于印刷或书写的文字本身。他列举了几类只有在实物上才能获取的信息:
- 紫外光下才可见的隐形墨迹
- 被擦除的书写留下的压痕,只能通过特定角度的定向光照识别
- 夹在书页中的DNA样本、干花标本等生物遗存
- 装订工艺、纸张纤维、墨水成分等物质证据
紫外光和红外光成像技术在文献研究中已经带来了许多重大发现。最著名的案例之一是阿基米德重写本(Archimedes Palimpsest)——一本13世纪的祈祷书,其羊皮纸上原本书写的公元前3世纪希腊数学文本被刮除后重新使用。通过多光谱成像和X射线荧光技术,研究者成功读出了被覆盖的阿基米德著作,包括此前完全失传的《方法论》部分内容。类似地,死海古卷的研究也大量依赖红外摄影。这些技术要求原始物理载体完好保存,因为它们依赖于墨水残留物与载体材料之间的化学交互——这是任何平面扫描图像都无法复现的。
这些信息一旦书籍被数字化并销毁,便再无重现的可能。普通的平面扫描仪只能捕捉可见光下的图像,无法记录纸张的三维质感、隐藏字迹或化学成分。换句话说,数字化不等于保存,它只是保存了信息的一个极薄切片。
书脊本身就是珍贵文物
文中一个尤为发人深省的观点是:许多古籍在历史上曾被重新装订,而当时的工匠往往会用另一本孤本古籍的书页作为装订材料填充书脊。
这一现象在欧洲书籍史中被称为「waste reuse」(废料再利用),是一种极为普遍的实践。从15世纪印刷术普及开始,装订工匠需要硬质材料来加固书脊和封面,他们常常使用被认为「过时」或「无用」的手稿羊皮纸作为填充和加固材料。这些被称为「binding fragments」(装订残片)或「maculature」的碎片,如今是中世纪研究者的珍贵宝藏。著名案例包括:在16世纪账本的书脊中发现了12世纪的礼拜音乐手稿,在法律文书的装订中发现了失传的古英语诗歌残片。「Fragmentology」(残片学)已发展为一门独立的学术分支,专门研究这类散落在后世书籍装订中的早期文献碎片。
这意味着,一本18世纪书籍的书脊内部,可能藏着来自10世纪至15世纪手稿的残片。这些「废料再利用」的碎片,如今成为研究中世纪文献的稀缺线索。当扫描操作粗暴地切除书脊并丢弃时,这些可能承载数百年历史的碎片也随之被扔进了垃圾桶。
对于文献学、古文字学和历史学研究而言,这是难以估量的损失。
技术效率与文化保护的根本冲突
这一现象折射出AI时代一个更深层的矛盾:数据获取的效率追求与人类文化遗产保护之间的张力。
AI模型对训练数据的需求近乎无止境,而将纸质文献转化为可训练文本,是获取高质量语料的重要途径。在商业化压力下,成本更低、速度更快的「破坏性扫描」自然更具吸引力。但问题在于:
- 非破坏性扫描技术早已存在,只是更慢、更贵;
- 书籍一旦销毁,损失是不可逆的——你无法「重新印刷」一本孤本;
- 目前对这一行为几乎没有任何监管或问责机制。
效率是可以量化的,而文化遗产的价值往往在损失之后才被真正认识。当决策完全交给成本核算,最脆弱、最不可替代的部分最先被牺牲。这一困境并非AI时代所独有——历史上,19世纪的铁路建设曾摧毁大量考古遗址,20世纪的城市更新运动拆除了无数历史建筑——但AI训练的数据饥渴使这一矛盾以前所未有的规模和速度重现。
信息传播中的隐性障碍
这位研究者还提到了一个耐人寻味的细节:当他试图在Facebook等社交平台传播这一议题时,内容的推荐分发似乎被明显抑制。他表示,平时能获得1000到5000次浏览的内容,在涉及这一话题时只有400到500次。
社交媒体平台的推荐算法通常基于多重因素决定内容的分发范围,包括用户互动率预测、内容类型分类、话题热度、发布者历史表现等。已有研究表明,涉及政策批评、企业负面信息或争议性话题的内容,其算法可见性可能低于娱乐性内容。这不一定是「审查」,也可能源于算法对「低互动预期内容」的降权——严肃议题天然比情感化内容获得更少的点赞和分享。但无论机制如何,结果是相似的:公共利益议题在注意力市场中处于结构性劣势。2023年多项学术研究(如关于Algorithmic Amplification的研究)已关注到这一「信息不对称」问题。
这一说法目前仅来自单一来源,无法证实平台是否存在针对性的算法干预。但它确实指向了一个值得警惕的现象:关乎公共利益的批评性议题,可能在算法分发中处于不利地位。无论原因是内容形式、关键词触发还是其他机制,公众对这类问题的知情权都可能因此受损。
需要说明的是,「平台压制传播」的观察属于个人经历,缺乏系统性数据支撑,读者应保持审慎判断。
我们该如何应对书籍销毁问题
这位研究者的核心诉求非常明确:政府应当立即介入,强制要求企业停止破坏性扫描,禁止在使用后丢弃原始书籍。
从更宏观的视角看,这个问题至少涉及几个层面的行动:
制度层面——建立数字化过程中的文物保护规范,对具有历史价值的书籍强制采用非破坏性扫描,明确责任主体。值得参考的是,许多国家已有文物保护法律框架(如中国的《文物保护法》、美国的《国家历史保护法》),但这些法律通常聚焦于建筑和考古遗址,对书籍文献的保护往往存在盲区,尤其是对私人持有的古籍缺乏约束力。
技术层面——推动非破坏性、高保真扫描技术的普及与成本下降,让「保护」与「效率」不再是二选一。近年来,光场摄影(Light Field Photography)、结构光三维扫描等新技术正在使高保真非接触式数字化变得更加可行,但从实验室走向大规模商业应用仍需时间和投入。
认知层面——让更多人意识到,实体书籍所承载的信息维度远超其文字内容。数字化是补充,而非替代。
结语
在AI高速发展的浪潮中,我们习惯于将「一切都能数字化」视为进步的象征。但这位历史研究者的愤怒提醒我们:有些东西一旦被物理销毁,就再也无法通过任何算法「恢复」。
喂养机器的代价,不应是抹去人类记忆的物质载体。如果为了训练更聪明的模型,我们亲手毁掉了那些承载数百年文明的孤本,那么无论模型变得多么强大,人类整体都将因此变得更加贫乏。这不是技术乐观主义能够回避的问题,而是需要现在就正视的选择。
相关推荐

用Accept头为AI Agent直接提供Markdown内容
探讨如何利用HTTP Accept头的内容协商机制,为AI Agent和大模型爬虫提供Markdown格式内容,降低Token消耗,提升信息提取效率。涵盖技术实现、与llms.txt对比及社区争议分析。

AI动荡时代已至:如何在技术变革中把握机遇与应对风险
深度解析AI动荡时代的核心特征:技术迭代加速、职业重构、监管滞后与全球博弈。探讨从业者如何在不确定性中保持定力,把握AI变革带来的机遇并规避风险。

虚拟机困不住AI黑客智能体:安全隔离神话破灭
深度分析为什么虚拟机无法真正隔离具备网络攻击能力的AI智能体。从VM隔离失效原因、AI安全新范式到分层防御策略,探讨AI智能体安全遏制的正确思路。