Резервуарные вычисления: нейросеть, где обучается только один слой

Рекуррентные нейросети (RNN) хорошо подходят для последовательных данных, но их обучение страдает от затухания или взрыва градиента: при обратном распространении ошибки по времени градиент экспоненциально уменьшается или растёт, поэтому сеть плохо помнит давние события. LSTM смягчает проблему, но не устраняет её полностью и делает модель тяжелее.

Резервуарные вычисления (Reservoir Computing) работают иначе: большая часть весов в скрытом слое (резервуаре) задаётся случайно и фиксируется. Обучается только линейный выходной слой. Это избавляет от необходимости итеративного градиентного спуска по всей сети и решает проблему затухания градиента, хотя и накладывает ограничения на выразительность модели.

Несмотря на кажущуюся простоту, резервуарные вычисления успешно применяются для обработки временных рядов, речи и других последовательностей. Они дают хорошие результаты при низких вычислительных затратах, хотя и уступают глубоким RNN на сложных задачах. Метод остаётся актуальным для систем с ограниченными ресурсами.