Mirendil Fern: кодинг-модель с 10M токенов контекста — кодбаза Megatron-LM в одном окне

Лаборатория Mirendil выпустила свою первую модель — Fern 0.1. Это кодинг-модель, написанная с нуля на PyTorch и JAX, с контекстным окном до 10 млн токенов. Для сравнения: это примерно 23 МБ кода или полмиллиона строк — масштаб кодбазы наподобие Megatron-LM, который помещается в контекст целиком. Размер модели — от 0.1 до 0.5 трлн параметров (точное число не раскрыто). Пока доступен только хостинг в раннем доступе, открытых весов нет.

Fern позиционируется не как универсальный чат-бот, а как инструмент для AI-исследований: работа с большими кодовыми базами, агентное кодирование (запуск команд до прохождения тестов), исследования (тренировочные циклы, пайплайны данных), отладка по логам, аудит претрейнинговых шардов. Базовую модель, на которой построена Fern, один исследователь претрейнил за 3,5 месяца при общих затратах менее $10 млн. Более 99% кода написано AI-агентами; данные — только публичные источники, без дистилляции и синтетики.

На бенчмарке RULER модель показывает 100% извлечение одиночных иголок на любой длине до 10M токенов. Однако multi-hop QA падает до 45% на 10M. В агентном кодинге Fern заметно уступает фронтирным моделям: 6.1% на Terminal Bench против 66.4% у Claude Opus 5.5. Тем не менее, тесты на собственных репозиториях Mirendil показывают, что с увеличением контекста до 23 МБ (в байтах) loss продолжает падать, тогда как у конкурентов падение останавливается раньше — это ключевое преимущество Fern.

Mirendil уже тренирует более крупные модели: Mirendil-Base-Large (0.5–2T параметров) готов на 80%, а Mirendil-Base-XL (2–10T) — на 20%. Разработчики обещают расширенные результаты по длинному контексту и, возможно, открытие весов в будущем.