图1 冰湖游戏全局状态
seed = 1234 # 设置随机种子
env = frozen_lake(seed=seed) # 以种子初始化冰湖
env.reset() # 环境重制
fig, ax = plt.subplots(1, 1, figsize=(4, 4))
env.render(ax) # 渲染
图1 冰湖游戏全局状态
q = np.random.randn(env.nS, env.nA)
# 动作价值函数：代表在一个状态下做出一个动作的价值
# 在冰湖游戏里为64个格子(长8*宽8) * 4中动作（上，下，左，右）
rng = np.random.RandomState(seed)
# 通过种子固定随机数生成器
def e_greedy(q, rng, env, eps):
# epsilon greedy decision policy
# q: 动作价值（Q值）列表或数组，表示每个可能动作的预期回报。注意虽然上述q为64*4，
# 但在选择时，我们只对于一个状态做选择，即放入函数的q为1*4
# rng: 随机数生成器（通常是 np.random 或者带有随机状态的生成器）。
# env: 环境对象，应该包含动作空间的大小（env.nA 表示动作的总数）。
# eps: epsilon 值，表示探索的概率（即选择随机动作的概率）
a_max = np.argwhere(q==np.max(q)).flatten()
# np.argwhere(q==np.max(q)) 返回一个包含最大 Q 值对应索引的数组。
# .flatten() 将多维数组压平为一维数组。
policy = np.sum([np.eye(env.nA)[i] for i in a_max], axis=0) / len(a_max)
# 这里构建了一个策略（policy），其中每个最大的 Q 值动作被赋予相同的选择概率。
# np.eye(env.nA) 创建一个大小为 env.nA 的单位矩阵，4*4
# array([[1., 0., 0., 0.],
# [0., 1., 0., 0.],
# [0., 0., 1., 0.],
# [0., 0., 0., 1.]])
# 每一行代表一个动作的 one-hot 编码。
# [np.eye(env.nA)[i] for i in a_max] 选择与 a_max 中索引对应的动作，
# 生成这些动作的 one-hot 编码。
# np.sum(..., axis=0) / len(a_max) 对所有这些 one-hot 编码进行平均，
# 以便将每个最大 Q 值动作的选择概率平均分配。
if rng.rand() < 1-eps:
a = rng.choice(env.nA, p=policy) # 按照policy的概率来选 policy为1*4的列表
else:
a = rng.choice(env.nA) # 随机来选
return a
def Q_learning(env, alpha=.1, eps=.1, gamma=.99, max_epi=2000,
seed=1234, theta=1e-4, show_update=False, Q=None):
# rng
rng = np.random.RandomState(seed)
# initialize Q
if Q is None: Q = np.zeros([env.nS, env.nA])
for epi in range(max_epi):
s, r, done = env.reset()
t = 0
q_old = Q.copy()
G = 0
while True:
# sample At, observe Rt, St+1
# 采样t时刻的action At，观察回报Rt 和 下一个状态St+1
a = e_greedy(Q[s, :], rng, env, eps)
# a = rng.choice(env.A, p=pi)
s_next, r, done = env.step(a) # move to the next step
# the key step of Q learning
# 贝尔曼方程
Q[s, a] = Q[s, a]+ alpha*(r + gamma*(1-done)*(Q[s_next, :]).max() - Q[s, a])
s = s_next
t += 1
G += r
if done:
break
if show_update:
# 渲染结果
Pi = np.eye(env.nA)[np.argmax(Q, axis=1)]
V = Q.max(1)
fig, axs = plt.subplots(1, 3, figsize=(11, 4))
clear_output(True)
ax = axs[0]
env.render(ax)
#print(env.state, s, a)
ax = axs[1]
env.show_v(ax, V)
ax = axs[2]
env.show_pi(ax, Pi)
time.sleep(.05)
plt.show()
if (np.abs(q_old - Q)<theta).all():
# 采样到收敛
break
pi = np.eye(env.nA)[np.argmax(Q, axis=1)]
# 选择最优的动作
return Q, pi
图2 Q learning算法在冰湖游戏中模拟的最终结果