Shivacon-Energy
基于Qwen2.5-0.5B-Instruct进行LoRA微调的0.5B参数能源领域适配器,专注于行为校准、反幻觉与JSON格式可靠性,而非知识注入
时间轴 (近 90 天)
Shivacon-Energy 是一个基于 Qwen2.5-0.5B-Instruct 的 0.5B 参数能源领域 LoRA 适配器,核心目标是校准而非知识扩展,强调拒绝编造和输出合法 JSON。
Shivacon-Energy 的 LoRA 微调配置为 rank 16、alpha 32,可训练参数约 880 万(占模型 1.75%),训练数据 1596 行,在 Google Colab T4 上训练 300 步、3 个 epoch、学习率 2e-4,训练损失 0.4018,验证损失 0.08377。
该仓库设计了四关可售卖性评测装置(4-gate sellability harness),9 个不同领域的适配器均跑了同一套测试,最终只有能源领域适配器通过并发布。
能源适配器在四关评测中的具体得分为:G1 基础模型对比 0胜/0负/6平,G2 领域任务 9/10,G3 未知诚实度 5/5,G3 拒绝能力 5/5,G4 JSON/工具格式 5/5,幻觉率 0/10。
G1 的 0胜/0负/6平结果表明能源适配器并没有比基础模型知道更多能源事实,其优势纯粹是行为层面的诚实校准和 JSON 可靠性。
9 个适配器中有 8 个未能通过关卡,失败原因包括数据污染、过度拒绝、甚至有一个适配器否认一个真实存在的法院案件。
v1 版本的 EVAL_REPORT.md 记录了 4/4 幻觉失败(编造国家、法律、药物及伪造工具调用)、物理错误(10 kW 不等于每小时 10,000 kWh)、中文 token 泄漏和伪造文件路径。
v6 数据集围绕 v1 的失败模式重建,包括拒绝行、反幻觉配对、校准示例和工具轨迹;v2 在同样的评测装置上取得了 9/10 领域任务、5/5 诚实度、5/5 拒绝能力、0/10 幻觉率,唯一变量是数据组成。
Shivacon-Energy 的所有评测在真实 CPU 推理上运行,使用贪心解码、max_new_tokens=100、Qwen 聊天模板、逐提示硬超时,且每个失败案例经过人工裁定并发布转录文本。
Shivacon-Energy 的已知局限包括:对基础模型无知识提升、仅限能源领域、0.5B 参数无法替代工程分析或专业能源审计、存在一个实际家庭节电建议乱码回答、严格 JSON 措辞偶尔泄漏 `Thought:` 行。
全部知识事实 (10)
Shivacon-Energy 是一个基于 Qwen2.5-0.5B-Instruct 的 0.5B 参数能源领域 LoRA 适配器,核心目标是校准而非知识扩展,强调拒绝编造和输出合法 JSON。
50%待验证Shivacon-Energy 的 LoRA 微调配置为 rank 16、alpha 32,可训练参数约 880 万(占模型 1.75%),训练数据 1596 行,在 Google Colab T4 上训练 300 步、3 个 epoch、学习率 2e-4,训练损失 0.4018,验证损失 0.08377。
50%待验证该仓库设计了四关可售卖性评测装置(4-gate sellability harness),9 个不同领域的适配器均跑了同一套测试,最终只有能源领域适配器通过并发布。
50%待验证能源适配器在四关评测中的具体得分为:G1 基础模型对比 0胜/0负/6平,G2 领域任务 9/10,G3 未知诚实度 5/5,G3 拒绝能力 5/5,G4 JSON/工具格式 5/5,幻觉率 0/10。
50%待验证G1 的 0胜/0负/6平结果表明能源适配器并没有比基础模型知道更多能源事实,其优势纯粹是行为层面的诚实校准和 JSON 可靠性。
50%待验证9 个适配器中有 8 个未能通过关卡,失败原因包括数据污染、过度拒绝、甚至有一个适配器否认一个真实存在的法院案件。
50%待验证v1 版本的 EVAL_REPORT.md 记录了 4/4 幻觉失败(编造国家、法律、药物及伪造工具调用)、物理错误(10 kW 不等于每小时 10,000 kWh)、中文 token 泄漏和伪造文件路径。
50%待验证v6 数据集围绕 v1 的失败模式重建,包括拒绝行、反幻觉配对、校准示例和工具轨迹;v2 在同样的评测装置上取得了 9/10 领域任务、5/5 诚实度、5/5 拒绝能力、0/10 幻觉率,唯一变量是数据组成。
50%待验证Shivacon-Energy 的所有评测在真实 CPU 推理上运行,使用贪心解码、max_new_tokens=100、Qwen 聊天模板、逐提示硬超时,且每个失败案例经过人工裁定并发布转录文本。
50%待验证Shivacon-Energy 的已知局限包括:对基础模型无知识提升、仅限能源领域、0.5B 参数无法替代工程分析或专业能源审计、存在一个实际家庭节电建议乱码回答、严格 JSON 措辞偶尔泄漏 `Thought:` 行。
50%