LGMT
基于蜕变测试的开源LLM逻辑推理一致性检测工具，使用一阶逻辑定义蜕变关系，通过Z3定理证明器验证关系的逻辑正确性，无需人工标注即可发现模型在等价问题上的自相矛盾。
时间轴 (近 90 天)
LGMT 是一个开源工具，通过基于一阶逻辑的蜕变关系来检测大语言模型的推理不一致性。
LGMT 内置了 20 种蜕变关系，这些关系建立在一阶逻辑的基础上，例如交换前提顺序、对等价命题做替换、调整量词结构等。
LGMT 支持用户自定义蜕变关系，并通过 Z3 定理证明器验证这些关系的逻辑正确性，确保生成的等价用例在形式上是可靠的。
LGMT 附带了一个包含 3,091 个蜕变组的基准。
在六款广泛使用的 LLM 上测试，不一致率范围在 20.84% 到 29.44% 之间。
LGMT 以开源形式发布在 GitHub 上，提供命令行界面（CLI）和 Web Studio 两种使用方式。
LGMT 提供离线 mock 模式，不需要 API key 就能运行。
LGMT 的项目地址是 https://github.com/MaxwelsDonc/lgmt-tool，演示视频地址是 https://youtu.be/gou4opptu1U。
全部知识事实 (8)
LGMT 是一个开源工具，通过基于一阶逻辑的蜕变关系来检测大语言模型的推理不一致性。
50%待验证LGMT 内置了 20 种蜕变关系，这些关系建立在一阶逻辑的基础上，例如交换前提顺序、对等价命题做替换、调整量词结构等。
50%待验证LGMT 支持用户自定义蜕变关系，并通过 Z3 定理证明器验证这些关系的逻辑正确性，确保生成的等价用例在形式上是可靠的。
50%待验证LGMT 附带了一个包含 3,091 个蜕变组的基准。
50%待验证在六款广泛使用的 LLM 上测试，不一致率范围在 20.84% 到 29.44% 之间。
50%待验证LGMT 以开源形式发布在 GitHub 上，提供命令行界面（CLI）和 Web Studio 两种使用方式。
50%待验证LGMT 提供离线 mock 模式，不需要 API key 就能运行。
50%待验证LGMT 的项目地址是 https://github.com/MaxwelsDonc/lgmt-tool，演示视频地址是 https://youtu.be/gou4opptu1U。
50%