gzip
一种基于DEFLATE算法的通用数据压缩工具，结合LZ77滑动窗口和霍夫曼编码消除局部重复冗余，广泛用于文件压缩与网络传输，近年被探索用于文本分类等机器学习任务
Timeline (last 90 days)
后续研究指出 gzip + kNN 在大数据集上的优势会显著减弱
gzip 只能利用 32KB 窗口内的历史信息，无法建立长距离语义关联或感知段落级、篇章级语义结构
Transformer 的自注意力机制可以在整个上下文窗口内任意建立 token 之间的依赖，与 gzip 的建模能力存在本质差距
2023 年一篇论文展示了 gzip + kNN 在小样本文本分类任务上超越部分 BERT 变体
gzip 使用的 DEFLATE 算法基于 LZ77 滑动窗口和霍夫曼编码，标准 gzip 滑动窗口最大为 32KB
压缩炸弹可将仅几KB的gzip响应解压为数GB的无用内容，迫使爬虫消耗大量带宽和计算资源
相较于传统的gzip/zlib，zstd通常能提供更高的压缩比，同时保持极快的解压速度
All Facts (7)
后续研究指出 gzip + kNN 在大数据集上的优势会显著减弱
50%Unverifiedgzip 只能利用 32KB 窗口内的历史信息，无法建立长距离语义关联或感知段落级、篇章级语义结构
50%UnverifiedTransformer 的自注意力机制可以在整个上下文窗口内任意建立 token 之间的依赖，与 gzip 的建模能力存在本质差距
50%Unverified2023 年一篇论文展示了 gzip + kNN 在小样本文本分类任务上超越部分 BERT 变体
50%Unverifiedgzip 使用的 DEFLATE 算法基于 LZ77 滑动窗口和霍夫曼编码，标准 gzip 滑动窗口最大为 32KB
50%Unverified压缩炸弹可将仅几KB的gzip响应解压为数GB的无用内容，迫使爬虫消耗大量带宽和计算资源
50%Unverified相较于传统的gzip/zlib，zstd通常能提供更高的压缩比，同时保持极快的解压速度
50%