AI存在风险概率不可靠，为何仍被用于政策制定？

当一份报告宣称"AI导致人类灭绝的概率为10%"时，这个数字会被政策制定者当真吗？越来越多的证据表明，这类看似精确的概率估计，实则建立在层层推测与伪量化之上，远不足以支撑严肃的公共决策。

推测如何被"洗白"为数据

原文一针见血地指出，AI存在风险的概率估计正在经历一个"洗白"过程——主观的、高度不确定的猜测，被包装成量化的、科学上可靠的数据。

这个过程通常遵循一套固定模式。首先，某位研究者或机构提出一个基于直觉、类比或简单模型的数字——比如"超级智能失控的概率是5%"。接着，这个数字被后续研究引用，引用者往往不再追问原始假设的合理性，而是将其当作既定输入进行二次计算。经过几轮引用和叠加，最初的粗略猜测就获得了"文献支持"的外观，最终出现在政策简报中，成为决策依据。

问题在于，这种链条上的每一步都在丢失不确定性信息。原始估计中的主观判断、模型局限、参数敏感性，在传播过程中被逐层剥离，只剩下一个光秃秃的百分比数字。

概率估计为何难以可靠

AI存在风险的概率估计面临几个结构性困难，使其与气候模型或流行病预测有本质区别。

首先，参照类别缺失。 我们只有一个文明，没有经历过超级智能的诞生，也就无法像评估流感疫苗有效性那样，从历史数据中推断基准概率。任何数字都不得不依赖某种形式的先验假设，而这些假设本身无法被经验验证。

其次，模型不确定性远大于参数不确定性。 即使我们接受某个关于AI发展的理论框架，框架本身的正确性——包括智能爆炸的可能性、目标对齐的难度、人类协调的能力——都是悬而未决的。在不同理论框架下，同一个问题的答案可能相差数个数量级。

第三，概率语言本身可能不适用。 对于独一无二的、前所未有的历史事件，谈论"概率"是否恰当本身就是个哲学问题。有学者认为，这类情境更适合用可能性叙事或情景分析来讨论，而非强行赋予一个数值。

原文强调，这些困难并非技术细节，而是直接影响概率估计能否作为政策工具的根本障碍。一个无法校准、无法证伪的数字，在法律或监管语境中缺乏可操作的意义。

参照类别缺失（reference class problem）是概率哲学中的经典难题。当我们说某事件有X%的概率时，通常隐含一个假设：该事件属于某个可重复观测的事件类别，我们可以统计该类事件的历史频率。例如，评估一种新药的有效性时，我们可以参照同类药物的临床试验数据。但AI存在风险——尤其是超级智能失控——是一个独一无二的事件，我们没有任何先例可循，也就无法构建一个有统计意义的参照类别。这意味着任何概率数字都不得不依赖先验假设，而这些假设本身无法被数据检验。

在概率与统计中，参数不确定性和模型不确定性是两个不同层次的未知。参数不确定性指的是：假设模型结构正确，但某些参数值未知（如“AI发展速度是每年翻倍还是每十年翻倍”）。这类不确定性通常可以用置信区间来量化。而模型不确定性指的是：模型本身可能根本就是错的——我们选择的理论框架（如“智能爆炸必然发生”或“目标对齐可以完全解决”）可能完全偏离现实。在AI风险领域，模型不确定性远大于参数不确定性，这意味着即使我们能精确估计某些参数，整体结论仍然高度不可靠。

伪量化带来的政策风险

将不可靠的概率估计引入政策讨论，后果可能比"不精确"更严重。

最直接的风险是虚假共识。当政策圈内反复引用某个数字时，它会被默认为"科学共识"，而实际上可能只是几位研究者的主观判断。这种虚假共识会压缩讨论空间，让质疑者显得"不理性"或"不严肃"。

其次是资源错配。如果政策制定者根据某个不稳定的概率估计来分配研发资金或监管注意力，可能导致过度投资于低概率场景，而忽视了更紧迫但"不够性感"的风险。

更深层的风险是决策正当性的侵蚀。如果AI政策最终建立在经不起推敲的数字上，一旦公众或后续研究者揭示这些数字的脆弱性，整个政策框架的公信力都会受损。原文提醒，用"科学"包装的价值判断，终究会在审视下显形。

虚假共识（false consensus）在社会心理学中指的是人们倾向于高估他人与自己观点一致的程度。在政策语境中，这一效应被放大：当一个数字在文献中被反复引用，政策圈内的人会误以为它代表了广泛认可的科学结论，而实际上可能只是少数研究者的主观估计。这种虚假共识会形成信息茧房，使得质疑该数字的声音被边缘化，从而压缩了政策讨论的多元性和审慎性。

政策制定者应如何对待概率数字

这并不是说AI风险讨论应当排除一切量化尝试。原文的立场更 nuanced：概率估计可以作为思考工具，但不能直接作为决策依据。

一个务实的路径是区分不同层次的不确定性。对于那些参数不确定性主导的问题，可以尝试给出范围估计并明确标注假设；对于那些模型不确定性主导的问题，则应优先使用情景叙事和稳健性分析，而非单点概率。

政策制定者需要培养一种"量化素养"——能够追问数字的来源、假设和敏感度，而不是被小数点后的精确度所迷惑。当一份报告给出"存在风险概率为X%"时，真正重要的问题不是X是多少，而是这个数字对哪些假设最敏感、在什么条件下会大幅改变、以及如果它错了会怎样。

在AI治理这个领域，承认无知的边界，或许比假装拥有精确答案更有助于做出负责任的决定。