[控场AI]
模型Shivacon Energy

Shivacon-Energy

基于Qwen2.5-0.5B-Instruct进行LoRA微调的0.5B参数能源领域适配器,专注于行为校准、反幻觉与JSON格式可靠性,而非知识注入

时间轴 (近 90 天)

10月12日

Shivacon-Energy 是一个基于 Qwen2.5-0.5B-Instruct 的 0.5B 参数能源领域 LoRA 适配器,核心目标是校准而非知识扩展,强调拒绝编造和输出合法 JSON。

待验证50%
10月12日

Shivacon-Energy 的 LoRA 微调配置为 rank 16、alpha 32,可训练参数约 880 万(占模型 1.75%),训练数据 1596 行,在 Google Colab T4 上训练 300 步、3 个 epoch、学习率 2e-4,训练损失 0.4018,验证损失 0.08377。

待验证50%
10月12日

该仓库设计了四关可售卖性评测装置(4-gate sellability harness),9 个不同领域的适配器均跑了同一套测试,最终只有能源领域适配器通过并发布。

待验证50%
10月12日

能源适配器在四关评测中的具体得分为:G1 基础模型对比 0胜/0负/6平,G2 领域任务 9/10,G3 未知诚实度 5/5,G3 拒绝能力 5/5,G4 JSON/工具格式 5/5,幻觉率 0/10。

待验证50%
10月12日

G1 的 0胜/0负/6平结果表明能源适配器并没有比基础模型知道更多能源事实,其优势纯粹是行为层面的诚实校准和 JSON 可靠性。

待验证50%
10月12日

9 个适配器中有 8 个未能通过关卡,失败原因包括数据污染、过度拒绝、甚至有一个适配器否认一个真实存在的法院案件。

待验证50%
10月12日

v1 版本的 EVAL_REPORT.md 记录了 4/4 幻觉失败(编造国家、法律、药物及伪造工具调用)、物理错误(10 kW 不等于每小时 10,000 kWh)、中文 token 泄漏和伪造文件路径。

待验证50%
10月12日

v6 数据集围绕 v1 的失败模式重建,包括拒绝行、反幻觉配对、校准示例和工具轨迹;v2 在同样的评测装置上取得了 9/10 领域任务、5/5 诚实度、5/5 拒绝能力、0/10 幻觉率,唯一变量是数据组成。

待验证50%
10月12日

Shivacon-Energy 的所有评测在真实 CPU 推理上运行,使用贪心解码、max_new_tokens=100、Qwen 聊天模板、逐提示硬超时,且每个失败案例经过人工裁定并发布转录文本。

待验证50%
10月12日

Shivacon-Energy 的已知局限包括:对基础模型无知识提升、仅限能源领域、0.5B 参数无法替代工程分析或专业能源审计、存在一个实际家庭节电建议乱码回答、严格 JSON 措辞偶尔泄漏 `Thought:` 行。

待验证50%

全部知识事实 (10)

待验证

Shivacon-Energy 是一个基于 Qwen2.5-0.5B-Instruct 的 0.5B 参数能源领域 LoRA 适配器,核心目标是校准而非知识扩展,强调拒绝编造和输出合法 JSON。

50%
待验证

Shivacon-Energy 的 LoRA 微调配置为 rank 16、alpha 32,可训练参数约 880 万(占模型 1.75%),训练数据 1596 行,在 Google Colab T4 上训练 300 步、3 个 epoch、学习率 2e-4,训练损失 0.4018,验证损失 0.08377。

50%
待验证

该仓库设计了四关可售卖性评测装置(4-gate sellability harness),9 个不同领域的适配器均跑了同一套测试,最终只有能源领域适配器通过并发布。

50%
待验证

能源适配器在四关评测中的具体得分为:G1 基础模型对比 0胜/0负/6平,G2 领域任务 9/10,G3 未知诚实度 5/5,G3 拒绝能力 5/5,G4 JSON/工具格式 5/5,幻觉率 0/10。

50%
待验证

G1 的 0胜/0负/6平结果表明能源适配器并没有比基础模型知道更多能源事实,其优势纯粹是行为层面的诚实校准和 JSON 可靠性。

50%
待验证

9 个适配器中有 8 个未能通过关卡,失败原因包括数据污染、过度拒绝、甚至有一个适配器否认一个真实存在的法院案件。

50%
待验证

v1 版本的 EVAL_REPORT.md 记录了 4/4 幻觉失败(编造国家、法律、药物及伪造工具调用)、物理错误(10 kW 不等于每小时 10,000 kWh)、中文 token 泄漏和伪造文件路径。

50%
待验证

v6 数据集围绕 v1 的失败模式重建,包括拒绝行、反幻觉配对、校准示例和工具轨迹;v2 在同样的评测装置上取得了 9/10 领域任务、5/5 诚实度、5/5 拒绝能力、0/10 幻觉率,唯一变量是数据组成。

50%
待验证

Shivacon-Energy 的所有评测在真实 CPU 推理上运行,使用贪心解码、max_new_tokens=100、Qwen 聊天模板、逐提示硬超时,且每个失败案例经过人工裁定并发布转录文本。

50%
待验证

Shivacon-Energy 的已知局限包括:对基础模型无知识提升、仅限能源领域、0.5B 参数无法替代工程分析或专业能源审计、存在一个实际家庭节电建议乱码回答、严格 JSON 措辞偶尔泄漏 `Thought:` 行。

50%

来源文章