[控场AI]
概念Data Processing Inequality / DPI

数据处理不等式

信息论中的经典定理,指出对数据进行的任何加工(摘要、压缩、改写)都不可能凭空增加关于原始信源的信息量,只会丢失或保持不变。在多智能体流水线中解释了为何上游摘要必然损失信息、下游无法恢复。

时间轴 (近 90 天)

10月16日

数据处理不等式保证了从数据空间分布到参数空间分布的前推测度不会增加相对熵,参数空间后验与先验之间的KL散度被数据空间DP先验与后验之间的KL散度所控制。

待验证50%
10月14日

数据处理不等式指出,若随机变量X→Y→Z构成马尔可夫链,则互信息满足I(X;Z) ≤ I(Y;Z) ≤ I(X;Y);对数据做的任何加工(摘要、压缩、改写)不能凭空增加关于原始信源的信息量。

待验证50%

全部知识事实 (2)

来源文章