Disk Sparse Adam: как обучать гигантские графы на обычной видеокарте без OOM

Стандартный torch.optim.SparseAdam в PyTorch быстро забивает RAM и VRAM при обучении графных нейросетей с миллионами узлов, вызывая ошибку CUDA out of memory. Новая Open Source библиотека Disk Sparse Adam (DSA) решает эту проблему, вынося состояния моментов на диск через memory mapping (mmap).

DSA позволяет обучать огромные спарс-модели на обычной домашней видеокарте, снимая ограничение по памяти. Проект доступен на GitHub и может быть полезен разработчикам, работающим с крупными графами и эмбеддингами.