Сети эхо-состояний: быстрые и экономные нейросети, которые не смогли стать мейнстримом

Рекуррентные нейросети обычно требуют обучения всех слоёв, но есть класс, где внутренняя структура (резервуар) остаётся неизменной, а обучается только линейный выходной слой — это резервуарные вычисления, в частности сети эхо-состояний (Echo State Networks, ESN). Такая архитектура даёт экстремальную скорость обучения и энергоэффективность, но сложна в настройке, из-за чего уступает более универсальным подходам.

Сотрудник отдела перспективных исследований компании «Криптонит» Илья Андросов провёл детальный сравнительный анализ известных ESN и методов их обучения. Для ряда архитектур он разработал модификации, которые существенно улучшили их базовые характеристики — без потери главных преимуществ в скорости и ресурсопотреблении. Результаты могут оживить интерес к резервуарным вычислениям в нишевых задачах, где критичны быстродействие и низкое энергопотребление.