Классическая идея об ошибке предсказания была довольно простой и красивой: мозг сравнивание ожидание и реальность, а разница используется для обновления знаний. Традиционно внимание концентрировалось на ошибке предсказания вознаграждения и роли дофамина в её кодировании. Однако поведенические данные и теория давно намекали, что животные учатся не только на том, что приносит награду (и удовольствие, как частный случай), но и на повторяющихся конкретных действиях независимо от немедленной ценности.

APE — это попытка дать нейрофизиологическую и вычислительную форму вышеупомянутому способу обучения.

Что за зверь этот ваш APE?

Action prediction error — это сигнал, фиксирующий разницу между фактически выполненным действием и тем действием, которое система ожидала выполнить. В отличие от RPE, который обновляет значения состояний или действий на основе вознаграждения, APE укрепляет саму связь «состояние — действие».

Ключевые выводы последних работ (публикации на bioRxiv и в Nature):

1. Наблюдение APE в дофаминергических сигналах. В задаче аудиальной дискриминации у мышей движение-связанные всплески дофамина в хвосте стриатума соответствовали предсказанным/непредсказанным действиям, а не прямо значению вознаграждения.

2. Каузальность. Оптогенетические и иные манипуляции с этими сигналами изменяли обучение так, как ожидалось. Вмешательство нарушало закрепление повторяющихся ответов, но не моделировало привычное обновление ценностей. Это отличает APE от RPE по функциональным последствиям.

3. Модель и взаимодействие с RPE. Компьютерные модели и анализы показали, что APE-сигнал сам по себе не достаточен для обучения, основанного на вознаграждении; однако в тандеме с RPE он стабилизирует и консолидирует устойчивые ассоциации «звук — действие». То есть две системы дополняют друг друга.

Ограничения

Во-первых, большая часть данных набрана на мышах.

Во-вторых, дофамин — это не монолит: разные субпопуляции нейронов, разные терминалы могут кодировать разные свойства. Собственно, данные модели в очередной раз показывают, что дофамин работает в десятки раз сложнее, чем себе представляют средние граждане.