Как нейросети запоминают порядок слов: сравниваем методы кодирования позиций

Для понимания текста нейросетям недостаточно знать только смысл слов — им нужен и их порядок. Positional encoding (позиционное кодирование) как раз добавляет каждому токену информацию о его месте в последовательности. Авторы сравнили несколько методов на примере английских палиндромов: обычные смысловые векторы, линейный базис (просто номер слова), базис Фурье (синусы и косинусы), комплексные экспоненты и полиномы Чебышева.

Каждый метод по-своему передаёт структуру предложения. Выбор подходящего positional encoding может влиять на то, насколько хорошо Transformer будет различать фразы с одинаковыми словами, но разным порядком. Полный анализ и результаты — под катом.