PCA

PCA 降维通过对数据协方差矩阵做特征分解，找到数据方差最大的投影轴，从而在最大保留信息的前提下压缩维度

SVD是PCA降维、推荐系统矩阵分解以及LoRA低秩适配微调方法的数学核心

PCA（主成分分析）是一种经典的无监督降维技术，通过计算数据协方差矩阵的特征值和特征向量，找到数据中方差最大的方向（主成分）

PCA由Karl Pearson于1901年首次提出，后由Harold Hotelling在1933年发展完善

PCA等价于对数据协方差矩阵进行特征值分解，若对中心化数据矩阵X进行SVD得到X=UΣVᵀ，则右奇异向量V就是PCA的主成分方向，奇异值的平方除以样本数就是各主成分对应的方差

主成分分析（PCA）同时涉及线性代数中的特征值分解和统计学中的方差最大化

abliteration技术通过构造有害请求与正常请求对比数据集，用PCA或均值差异定位拒绝行为主方向向量，再通过投影从权重矩阵中正交消除，无需梯度更新或重训练，消费级GPU上数分钟即可完成

在差分隐私PCA中，协方差矩阵对异常值敏感，少量极端记录可能主导主成分方向；PFR通过过滤异常记录再估计主成分子空间来获得更稳定的降维结果。

用 PCA 将第 2 层和第 6 层压缩到 256 维（在 1400 个来自 4 个外部音频数据集的片段上拟合，未使用 MAEB/MSEB 数据），注入零空间后归一化，文本嵌入逐位不变，文本到音频检索变化在 0.05 分以内。

零训练 PCA 注入后，音频到音频任务提升：性别聚类从 0.05% 跃升至 63.1%，艺术家检索从 55.2% 提升至 93.8%，情感识别从 19.7% 提升至 40.2%，环境声音从 38.8% 提升至 56.3%。

PRSR的低秩子空间估计通过对平行句对残差向量组成的矩阵做SVD或PCA，取前k个奇异向量张成子空间，并将最后一层token隐藏状态投影到该子空间的正交补上。

常见的降维技术如t-SNE、UMAP、PCA可将高维嵌入向量投影到二维或三维平面以观察聚类结构

传统方法如 PCA、TRPCA 往往将数据展平或忽略其固有的多模态张量结构，从而在面对传感器-时间相关的复杂故障时失效

在同一案例研究中，TRPCA 和基于 PCA 的异常检测器仅取得 0.69 或更低的宏观 F1 分数

PCA是线性降维方法，保留全局方差最大的方向，运算速度快但对非线性结构表达有限

作者尝试了PCA、UMAP和tSNE三种降维方法，最终认为tSNE产生的结构最佳

项目内置了用NumPy实现的PCA与t-SNE降维分析，可逐层查看测试集在特征空间中的分布

PCA对同一提示词多次采样的隐藏激活做降维，第一主成分捕捉采样结果中差异最大的方向，对应模型变化最剧烈的风格维度

该论文提出一种无需训练、以提示词为条件的LLM风格轴发现方法，通过在同一提示词上高温重复采样，从模型解码方差中提取风格结构

该方法流程分三步：对单个提示词高温重复采样生成多条补全、对补全的隐藏激活做PCA降维、对每条主轴正负两极自动打语义标签，全程不更新模型参数