Fill-in-the-Middle: как ИИ дописывает код между строками

Fill-in-the-Middle (FIM) — это метод обучения языковых моделей, который позволяет им дописывать код в середине файла, а не только продолжать последовательность. В отличие от классического предсказания следующего токена, FIM использует формат PREFIX–SUFFIX–MIDDLE: модель получает начало и конец фрагмента, а должна восстановить пропущенную середину.

Такой подход особенно полезен для автодополнения кода в IDE, где разработчик часто редактирует середину функции или метода. В заметке на Habr приведён простой пример, демонстрирующий, как модель предсказывает недостающий код между заданными префиксом и суффиксом.