Изотропные эмбеддинги: как собрать корпус для дистилляции на Википедии и психологии

В продолжение экспериментов с изотропными эмбеддингами автор переходит к практическому этапу: сбору корпуса для дистилляции. За основу взят дамп Википедии, обеспечивающий общую семантику, и добавлены специализированные тексты из доменов психологии, психиатрии и психотерапии.

Тексты парсятся, формируется корпус, после чего проводится минимальная чистка: устраняются самые явные проблемы форматирования. Полученный набор данных станет основой для дальнейшей дистилляции представлений учителя в компактную 29M модель.