SIRFEX
开源仿真鲁棒性测试框架,用于对自主控制器进行压力测试、发现可复现失败并评估改进方案,支持确定性仿真、场景搜索、失败回放和物理可行性分析。
时间轴 (近 90 天)
开发者正在构建名为 SIRFEX(Simulation-based Integrity, Robustness & Failure Exploration)的开源框架,旨在对自主控制器进行仿真压力测试、发现可复现的失败,并评估改进方案是否真正提升了鲁棒性。
SIRFEX 框架支持 PPO 训练、算力匹配的延续实验、带验证压力暴露的失败驱动课程,以及一个可选的 LangGraph/Groq 研究智能体用于提出有界的训练干预建议。
在 SIRFEX 的一个 51,200 交互的开发研究中,增加压力暴露改善了困难条件下的跟踪性能,但经常导致正常条件下的跟踪退化。
在 seed 3 实验中,仅正常数据训练的 PPO 策略标称 MAE 为 0.0177,压力 MAE 为 0.1166;5% 压力策略标称 MAE 为 0.0296,压力 MAE 为 0.0654;10% 压力策略标称 MAE 为 0.0501,压力 MAE 为 0.0555。
仅用正常数据训练的控制器在开发压力集上实现了零物理违规。
开发者尝试用 GPT-OSS 120B 提出重训练课程,在一个 seed 的匹配开发试点中,该方案表现不如简单的固定 5% 压力策略,两者均未通过标称性能保持的护栏。
随着压力暴露增加,控制器上部动作饱和现象加剧,暗示策略可能漂移向更激进的泵送行为。
失败驱动 PPO 微调可能不如普通延续训练,可能原因包括分布偏移、奖励重塑副作用和课程顺序敏感性。
开发者尚未确定标称性能退化是灾难性遗忘、奖励激励、课程顺序还是其他原因导致的。
SIRFEX 框架在本地 CPU 上运行,强调可复现性和科学诚实。
还有 2 条时间轴事件
全部知识事实 (12)
开发者正在构建名为 SIRFEX(Simulation-based Integrity, Robustness & Failure Exploration)的开源框架,旨在对自主控制器进行仿真压力测试、发现可复现的失败,并评估改进方案是否真正提升了鲁棒性。
50%待验证SIRFEX 框架支持 PPO 训练、算力匹配的延续实验、带验证压力暴露的失败驱动课程,以及一个可选的 LangGraph/Groq 研究智能体用于提出有界的训练干预建议。
50%待验证在 SIRFEX 的一个 51,200 交互的开发研究中,增加压力暴露改善了困难条件下的跟踪性能,但经常导致正常条件下的跟踪退化。
50%待验证在 seed 3 实验中,仅正常数据训练的 PPO 策略标称 MAE 为 0.0177,压力 MAE 为 0.1166;5% 压力策略标称 MAE 为 0.0296,压力 MAE 为 0.0654;10% 压力策略标称 MAE 为 0.0501,压力 MAE 为 0.0555。
50%待验证仅用正常数据训练的控制器在开发压力集上实现了零物理违规。
50%待验证开发者尝试用 GPT-OSS 120B 提出重训练课程,在一个 seed 的匹配开发试点中,该方案表现不如简单的固定 5% 压力策略,两者均未通过标称性能保持的护栏。
50%待验证随着压力暴露增加,控制器上部动作饱和现象加剧,暗示策略可能漂移向更激进的泵送行为。
50%待验证失败驱动 PPO 微调可能不如普通延续训练,可能原因包括分布偏移、奖励重塑副作用和课程顺序敏感性。
50%待验证开发者尚未确定标称性能退化是灾难性遗忘、奖励激励、课程顺序还是其他原因导致的。
50%待验证SIRFEX 框架在本地 CPU 上运行,强调可复现性和科学诚实。
50%待验证开发者提出的建议包括:标称性能护栏应作为硬约束;失败场景采样需与正常场景平衡;鲁棒性度量应超越违规频率;负结果值得公开。
50%待验证SIRFEX 代码在 GitHub 上开源,开发者明确表示欢迎批评、相关论文、实现建议和贡献。
50%