# 强化学习的交叉关系 * 重点阐述AI里面的强化学习是如何对应到心理学的任务上的我们将冰湖游戏作为AI中的强化学习代表，老虎机概率反转学习范式作为心理学中的强化学习代表。在冰湖游戏中，状态空间为64个格子，动作空间为四个方向（上，下，左，右），状态转移函数和奖励函数由环境所决定也比较明确。

那么在心理学的概率反转学习范式中，状态空间是什么？动作空间是什么？状态转移函数和奖励函数是什么？公式中的Value怎么联系？是有模型还是无模型？要解决这些疑问，让我们重新思考一遍概率反转学习范式。以一个具体范式来说，实验一共t个trial，假定每个trail中有A（左）和B（右）两个选项，前一半的trial中A和B的奖赏概率分别是0.7和0.3, 后一半trial的两者的奖赏概率反转为0.3和0.7。即在前一半的一个trial中，受试者选择A获得奖赏的概率为0.7，后一半的一个trial中，受试者选择A获得奖赏的概率为0.3。

在单个trial这样一个刺激-选择-奖赏的过程中，毋庸置疑，初始的状态为面对刺激。受试者通过做选择（A或B）来获得奖励，所以动作空间由选择的选项构成，那么做完选择的状态是什么呢？是获得奖励的反馈。整体如下图所示，所以状态空间由三个状态组成，刺激，获得奖励，不获得奖励。动作空间由选项构成，选A（左）和选B（右）。其中状态转移函数和奖励函数由主试决定，在这个例子中， $$P(+1状态｜刺激,A)$$在前一半的trial中为0.7，在后一半中为0.3， $$P(-1状态｜刺激,A)$$ 与之相反。除此之外，奖励函数也可以由主试决定。但是真的是这样吗？我们当然可以将获得奖励的状态也称作状态，但是对于强化学习中最关键的更新部分，在奖励状态Agent无法有实际的Action，不会影响到更新。换句话说，此时的奖励就是冰湖游戏的终点，终点可以作为一个状态，但是我们在终点就结束了游戏。

我们对照心理学中的公式和Q learning的公式，其实心理学中的Value即对应了AI中的Q 动作价值函数。所以在概率反转学习范式对于受试者而言，是一个无模型的学习。