Новая функция активации Kazry обошла SiLU в тестах

На Хабре опубликовали статью с описанием новой функции активации для нейронных сетей под названием Kazry. Автор утверждает, что это кусочно-заданная активация, которая в тестах показала результаты лучше, чем SiLU (Swish).

Подробности архитектуры и бенчмарков пока не раскрыты — в анонсе только заявлено превосходство. Если результаты подтвердятся, Kazry может стать полезной заменой SiLU в некоторых архитектурах.