Своя Gated RNN: альтернативная математика вместо LSTM и GRU — разбор, замеры и выводы

Автор рассказывает, что разработал собственную Gated RNN, математика которой принципиально отличается от классических LSTM и GRU. Это не адаптация известных архитектур, а попытка предложить свой взгляд на вентильные механизмы.

В материале обещает теоретический разбор, практическую часть и замеры производительности. Правда, честно предупреждает: с бенчмарками он не очень дружит, так что цифры будут приблизительными. Также планирует разобрать плюсы и минусы своего подхода.

Тем, кто интересуется рекуррентными сетями, будет любопытно взглянуть на альтернативу LSTM и GRU изнутри — без маркетинга и прикрас.