Синус вместо ReLU: почему периодические функции стоит попробовать в качестве активации

Пока одни экспериментируют с гигантскими архитектурами, другие ищут нестандартные решения в мелочах. Новая статья на «Хабре» рассматривает периодические функции как альтернативу привычным функциям активации.

Вместо ReLU, tanh или sigmoid автор предлагает использовать синус — и проверяет эту идею на простых нейросетях. В статье — сравнительные эксперименты, которые показывают, как периодические активации влияют на обучение по сравнению с классикой.

Подход интригующий: периодичность может дать модели дополнительные степени свободы. Правда, без практических замеров тут не обойтись — именно их и обещает автор.