由于信念表示是可微的，策略和值网络的梯度可以回传至信念模型，实现端到端的协同适应。