Обучение с подкреплением · часть 4

Actor‑Critic

Policy gradient шумел, Q-learning умел оценивать состояния. Поселим их в одном агенте: актёр выбирает действия, критик подсказывает, насколько каждое из них оказалось лучше ожидаемого — и учатся они одновременно, на каждом шаге.

Начать →

Baseline, который зависит от места

В части 3 мы вычитали из отдачи базовую линию $b$ — одно число, среднюю отдачу по всем эпизодам. Но подумайте: честно ли хвалить действие за высокую отдачу, если агент и так стоял в шаге от цели? Из хорошей клетки любая прогулка принесёт много. И наоборот: из дальнего угла даже идеальный ход даст скромный результат — а глобальный baseline его накажет.

Хвалить нужно не за «высокую отдачу вообще», а за отдачу выше ожидаемой из этого места. То есть базовая линия должна зависеть от состояния:

θ \leftarrow θ + α \nabla_{θ} \log π_{θ} (a_{t} ∣ s_{t}) (G_{t} - V (s_{t}))

Вместо константы $b$ — ценность состояния $V (s_{t})$ : «сколько обычно приносит жизнь отсюда».

Одна беда: $V (s)$ никто не знает. Решение уже у нас в руках — выучим её из опыта, как учили $Q$ в части 2. Эту выучиваемую оценку и зовут критиком, а softmax-политику из части 3 — актёром. Актёр играет, критик оценивает игру.

Одно число, которое движет обоих

Раз критик есть, можно пойти дальше. REINFORCE ждал конца эпизода, чтобы узнать настоящую отдачу $G_{t}$ . Но критик умеет предсказывать будущее — заменим хвост эпизода его оценкой, как делал Q-learning (bootstrap): $G_{t} \approx r_{t + 1} + γ V (s_{t + 1})$ . Тогда «насколько шаг оказался лучше ожидаемого» сжимается в одно число:

δ_{t} = \underset{\begin{matrix} ↑ \\ что получили \end{matrix}}{r_{t + 1} + γ V (s_{t + 1})} - \underset{\begin{matrix} ↑ \\ что ожидали \end{matrix}}{V (s_{t})}

Это та же TD-ошибка из части 2 — здесь она служит оценкой преимущества $A (s_{t}, a_{t})$ : выигрыша действия над «средним ходом» из $s_{t}$ .

Красота в том, что одно и то же $δ_{t}$ учит обоих. Критик сдвигает свой прогноз к реальности, актёр усиливает или ослабляет действие:

V (s_{t}) \leftarrow V (s_{t}) + α_{c} δ_{t}

θ \leftarrow θ + α_{a} δ_{t} \nabla_{θ} \log π_{θ} (a_{t} ∣ s_{t})

Учимся на каждом шаге

Заметьте, что исчезло: нам больше не нужен конец эпизода. $δ_{t}$ считается из одного перехода $(s, a, r, s^{'})$ — значит, обновляться можно сразу после каждого шага, как в Q-learning. REINFORCE копил всю траекторию и учился залпом; actor-critic учится на ходу.

инициализировать предпочтения $h (s, a) \leftarrow 0$ и ценности $V (s) \leftarrow 0$
повторять для каждого эпизода:
1. $s \leftarrow$ старт
2. пока $s$ не терминальное:
  1. выбрать $a \sim π_{θ} (\cdot ∣ s)$ ; выполнить: получить $r$ и $s^{'}$
  2. $δ \leftarrow r + γ V (s^{'}) - V (s)$ (для терминального $s^{'}$ : $V (s^{'}) = 0$ )
  3. $V (s) + = α_{c} δ$ — критик
  4. $h (s, b) + = α_{a} δ (1 [b = a] - π_{θ} (b ∣ s))$ для всех $b$ — актёр
  5. $s \leftarrow s^{'}$

Онлайн-обновление — не косметика. Оно означает, что метод работает в задачах без конца: робот, который никогда не «доигрывает эпизод», сервер, балансирующий нагрузку непрерывно. REINFORCE там неприменим в принципе — ему некуда дождаться $G_{t}$ .

Актёр и критик бок о бок

Знакомая сетка, но теперь у агента две «головы», и мы смотрим на обе сразу. Слева — критик: тепловая карта его прогноза $V (s)$ . Справа — актёр: веера стрелок-вероятностей, как в части 3. Они учатся одновременно от общего $δ$ .

В одном эпизоде сопоставьте изменение оценки критика с изменением вероятности выбранного действия. Что происходит при положительной и отрицательной TD-ошибке? Затем запустите серию эпизодов и сравните поведение у цели и у старта.

0 эп.

Критик — функция ценности

Актёр — политика действий

Запустите эпизод — на панели критика замигают обновления V.

0эпизодов

—шагов в последнем

—исход

Параметры модели

0,25

0,5

0,95

Показано начальное состояние. Включите JavaScript, чтобы пользоваться элементами управления.

Проверьте совет из Главы 3: поставьте $α_{a}$ больше $α_{c}$ и сбросьте — актёр начнёт уверенно ходить по указке ещё слепого критика, и обучение станет заметно более дёрганым. Вернёте $α_{c}$ вперёд — снова гладко.

Когда критик решает

Финальный эксперимент. Два агента — REINFORCE с baseline (часть 3) и actor-critic — учатся с нуля на одной карте, одинаковыми темпами. График показывает среднюю отдачу за эпизод: выше — лучше, оптимум отмечен ровной «полкой», к которой кривые должны прижаться.

Сначала сравните методы на короткой карте при одинаковом числе эпизодов, затем выберите длинный коридор. Отдельно оцените скорость обучения и колебания возврата. Достаточно ли одного показанного прогона, чтобы утверждать превосходство метода?

Карта Короткая 4×4

средняя отдача за эпизод (окно 20)

Actor-Critic
REINFORCE (с baseline)

Оба агента стартуют с нуля на одной карте. Запустите эпизоды.

0эпизодов у каждого

—AC · средн. (посл. 20)

—REINFORCE · средн. (посл. 20)