QuantCode-Bench: новый бенчмарк проверяет, умеют ли LLM писать торговые стратегии, а не просто код

Большие языковые модели отлично справляются с общими задачами программирования, но в прикладных областях одной синтаксической корректности мало. Алгоритмическая торговля — яркий пример: модель должна не просто написать валидный код, а правильно понять предметную область, использовать специализированный API и обеспечить нужное поведение при бэктестинге.

Для оценки таких навыков создан QuantCode-Bench. Он проверяет, способна ли LLM превратить текстовое описание торговой идеи в стратегию для конкретного фреймворка бэктестинга, корректно реализовать индикаторы и правила входа/выхода, а затем убедиться, что код запускается и совершает сделки на исторических данных.

Исполняемость — не гарантия правильности. Стратегия может пройти бэктест, но использовать не те индикаторы или лишь частично соответствовать исходному описанию. Бенчмарк оценивает всю цепочку: от торговой идеи до наблюдаемого поведения стратегии.