Mistral AI выпустила Leanstral 1.5: опенсорс-агент для доказательства теорем решил 587 задач PutnamBench

Mistral AI выпустила Leanstral 1.5 — модель-агент для формального доказательства теорем на Lean 4. Веса открыты под лицензией Apache 2.0, а для экспериментов уже доступен бесплатный API-эндпоинт leanstral-1-5. Модель относится к семейству Mistral Small 4 и является наследницей Leanstral-2603.

Архитектура — mixture-of-experts (128 экспертов, 4 активных на токен). Полный размер — 119 млрд параметров, активируется 6,5 млрд на токен. Контекст — 256 тыс. токенов, на вход принимает текст и изображения, на выходе — текст. Обучение проходило в три этапа: продолженное обучение, supervised fine-tuning и RL с методом CISPO. Для формирования агентного поведения использовались две среды: многократные попытки доказательства с обратной связью от Lean-компилятора и полноценная файловая система с bash-командами и Lean Language Server.

Результаты впечатляют: miniF2F (валидация и тест) — 100%, PutnamBench — 587 из 672 задач (на 7 больше, чем у Seed-Prover 1.5 high, но в 75 раз дешевле), FATE-H — 87%, FATE-X — 34%. На FLTEval pass@1 показал 28,9 (было 21,9), pass@8 — 43,2, обойдя Opus 4.6 при одной седьмой стоимости. Тест-тайм-скейлинг чётко проявляется: при бюджете токенов 4 млн на попытку решается 587 задач против 44 при 50 тыс. токенов.

Leanstral 1.5 доступна для скачивания и тестирования. Mistral продолжает укреплять позиции в нише автоматического доказательства теорем, предлагая открытую и эффективную альтернативу дорогостоящим закрытым решениям.