PPG-Bench
面向光电容积脉搏波(PPG)基础模型的开源统一评测基准,覆盖多个PPG基础模型、数据集和下游任务,支持多种训练范式的系统性评估
时间轴 (近 90 天)
PPG-Bench是一个开源的统一评测基准,针对PPG基础模型进行系统评估
PPG-Bench选取了5个公开的PPG基础模型,在9个开放获取数据集上针对26项任务进行评估
PPG-Bench的评测设计了四种递进式下游训练范式:线性探测、随机森林、冻结MLP探针、端到端微调
PPG-Bench采用受试者不相交(subject-disjoint)的交叉验证以避免信息泄漏
PPG-Bench引入三条对照基线:随机/常数基线、基于脉率变异性(PRV)的确定性手工特征集、通用时序基础模型MOMENT
在全部68个任务-范式组合中,35.3%的组合里PPG基础模型相比随机/常数基线没有任何有意义的优势
在83.8%的任务-范式组合里,没有任何PPG专用基础模型能够同时超越PRV手工特征和通用模型MOMENT
增加下游头的容量通常能提升性能,但如果模型本身只在随机/常数水平运作,增加容量反而会导致显著性能退化
研究团队结论认为当前的PPG基础模型尚不能宣称提供了通用且可迁移的信号表征
PPG-Bench的基准代码及评估说明已开源,地址为 https://github.com/mannas-ai/ppg-bench
还有 1 条时间轴事件
全部知识事实 (11)
基础模型评测应纳入简单的非学习对照检验(如手工特征),若模型连手工特征都无法超越则其学习有用表征的宣称站不住脚
50%待验证PPG-Bench选取了5个公开的PPG基础模型,在9个开放获取数据集上针对26项任务进行评估
50%待验证PPG-Bench的评测设计了四种递进式下游训练范式:线性探测、随机森林、冻结MLP探针、端到端微调
50%待验证PPG-Bench采用受试者不相交(subject-disjoint)的交叉验证以避免信息泄漏
50%待验证PPG-Bench引入三条对照基线:随机/常数基线、基于脉率变异性(PRV)的确定性手工特征集、通用时序基础模型MOMENT
50%待验证在全部68个任务-范式组合中,35.3%的组合里PPG基础模型相比随机/常数基线没有任何有意义的优势
50%待验证在83.8%的任务-范式组合里,没有任何PPG专用基础模型能够同时超越PRV手工特征和通用模型MOMENT
50%待验证增加下游头的容量通常能提升性能,但如果模型本身只在随机/常数水平运作,增加容量反而会导致显著性能退化
50%待验证研究团队结论认为当前的PPG基础模型尚不能宣称提供了通用且可迁移的信号表征
50%待验证PPG-Bench是一个开源的统一评测基准,针对PPG基础模型进行系统评估
50%待验证PPG-Bench的基准代码及评估说明已开源,地址为 https://github.com/mannas-ai/ppg-bench
50%