Масштабирование LLM: как разложить тренировку трансформера на тысячи ускорителей

Наконец-то мы добрались до того, как тренировать трансформер не просто, а эффективно и масштабируемо. Как мы уже знаем из прошлых глав, модель не влезает на один ускоритель, поэтому цель — распихать обучение по нескольким, чтобы производительность и пропускная способность росли пропорционально их количеству. Но чем больше ускорителей, тем сложнее и накладнее передавать данные и синхронизироваться.

В этой главе подробно разбираются четыре вида параллелизма: их сильные и слабые стороны, а также способы комбинировать. Для простоты автор предполагает работу внутри одного вычислительного кластера и учитывает только соединения между ускорителями. Вводятся условные обозначения: D — размерность входных эмбеддингов, F — размерность скрытого MLP-слоя, на который приходится большая часть параметров и вычислений трансформера.