马尔可夫决策过程的核心是马尔可夫性——下一状态只依赖当前状态和动作，与历史无关。