Яндекс открыл веса AliceAI-Foundation-80B-A3B-Base: обучена с нуля, обходит DeepSeek и Nemotron на претрейне

Яндекс открыл веса новой языковой модели AliceAI-Foundation-80B-A3B-Base под лицензией Apache 2.0. Ключевая особенность — модель обучена с нуля, без использования весов сторонних опенсорс-моделей. Это шаг к единой рассуждающей модели (ЕРМ), на базе которой будут строиться агентские возможности Алисы AI.

На претрейн-замерах новая модель обходит более крупные DeepSeek-V4-Flash-Base и Nemotron-3-Super по фактологии, экспертным вопросам, математике и коду, а на сложных бенчмарках IMO AnswerBench и LiveCodeBench лидирует среди сравниваемых открытых претрейнов. По сравнению с предыдущей закрытой Alice AI LLM 235B она сильнее в фактах, математике, программировании и длинном контексте — при почти втрое меньшем общем числе параметров и примерно в семь раз меньшем числе активных.

Весь путь от идеи до релиза занял около полугода. За это время команда пересобрала корпус, перебрала архитектурные решения, подобрала гиперпараметры и добавила данные для рассуждений и агентских взаимодействий. Вместе с весами опубликован большой технический отчёт: от пайплайнов подготовки данных и протоколов оценки до стабилизации обучения и scaling laws, с абляционными экспериментами и разбором отвергнутых подходов.

Отдельно открыты два фактологических бенчмарка с акцентом на русскоязычный контекст — WikiWebFacts и HardMultiQA — и протоколы их оценки. В отчёте также подробно разобрано, почему измерять качество претрейнов сложно: результат сильно зависит от примеров в промпте, а правильное решение может появляться лишь в одной из многих попыток.