Бэктест нейронки на бирже врёт: разброс доходности — ±10% годовых из‑за случайного seed

Автор эксперимента собрал реальные данные Мосбиржи, построил честный walk‑forward пайплайн с учётом комиссий и запустил нейросеть. Выяснилось, что при каждом запуске с разным random seed годовая доходность менялась на ±10 процентных пунктов — то есть результат оказался скорее случайностью, чем закономерностью.

Проблема в том, что нейронные сети чувствительны к инициализации весов и порядку данных. Если автор статьи не сообщает, что именно он менял seed и проверял устойчивость, его заявления о «X% годовых» скорее всего — подгонка под шум. Вывод: любой бэктест нейронки на финансовых рядах нужно воспринимать как оценку распределения, а не одну цифру.

Совет автора: всегда спрашивайте, что будет, если поменять random seed. Если ответа нет — доверия к результату нет.