Яндекс объединил LLM и VLM Алисы в одну омнимодель: технический разбор с граблями

Раньше Алиса отвечала на текст и картинки двумя разными моделями — LLM и VLM, между которыми стоял непрозрачный роутинг. Почти год команда Яндекса сводила их в одну омнимодель, которая воспринимает оба модальности как единое целое без переключений.

В статье инженеры делятся техническими граблями: почему два года назад та же затея провалилась, как MoE-архитектура изменила ситуацию, почему омнипретрейн пришлось собирать с конца и почему один вид RL легко переносится на большую модель, а другой рассыпается на глазах. Особый акцент — на самой болезненной части, алайнменте.