模型可解释性指能够以人类可理解的方式说明AI系统为何做出某一决策；在金融等受监管行业，监管机构通常要求对信贷、定价、风控等决策给出可追溯的理由。