Eric 的小站

1. Q-learning 的策略#

Q-learning 的策略分为两部分： （1）行为策略（Behavior Policy）

• 用于与环境交互，生成经验数据（状态、动作、奖励、下一状态）。

• 通常使用 ε-贪婪策略（ε-greedy policy）：

  • 以概率 ε 随机选择动作（探索）。
  • 以概率 1-ε 选择当前 Q 值最大的动作（利用）。

• 通过调整 ε，可以控制探索与利用的平衡。

（2）目标策略（Target Policy）

• 用于更新 Q 值，目标是找到最优策略。

• Q-learning 使用 贪婪策略（greedy policy） 作为目标策略：

总是选择当前 Q 值最大的动作。

这意味着 Q-learning 直接学习最优策略，而不依赖于行为策略。

1
### 2. Q-learning 的更新规则
2

3
Q-learning 通过以下公式更新 Q 值：
4
Q(s,a)←Q(s,a)+α[r+γmax⁡a′Q(s′,a′)−Q(s,a)]
5
Q(s,a)←Q(s,a)+α[r+γa′max​Q(s′,a′)−Q(s,a)]
6

7
```cpp
8
ss：当前状态。
9

10
aa：当前动作。
11

12
rr：执行动作后获得的奖励。
13

14
s′s′：下一状态。
15

16
a′a′：在下一状态中可能采取的动作。
17

18
αα：学习率，控制更新步长。
19

20
γγ：折扣因子，衡量未来奖励的重要性。

关键点：

Q-learning 更新时，使用 max 操作来选择下一状态的最优动作，这体现了它的 off-policy 特性。

它不依赖于行为策略，而是直接学习最优策略。

3. Q-learning 的特点#

Off-policy：学习的最优策略（目标策略）与行为策略可以不同。

收敛性：在满足一定条件下（如充分探索），Q-learning 可以收敛到最优 Q 值函数。

无需模型：Q-learning 是一种无模型（model-free）算法，不需要知道环境的状态转移概率。

4. Q-learning 的伪代码#

1
初始化 Q(s, a) 为任意值
2
for 每个回合:
3
    初始化状态 s
4
    while 状态 s 不是终止状态:
5
        使用 ε-贪婪策略从状态 s 选择动作 a
6
        执行动作 a，观察奖励 r 和下一状态 s'
7
        更新 Q 值：
8
            Q(s, a) = Q(s, a) + α * [r + γ * max(Q(s', a')) - Q(s, a)]
9
        更新状态 s = s'