Samsung перенесла вычисления прямо в память: LPDDR5X-PIM ускоряет Llama 3.1 8B

В ряде задач производительность упирается не в скорость вычислений, а в обмен данными с памятью. Samsung решила эту проблему, разместив вычислительные блоки прямо внутри банков DRAM в своей технологии LPDDR5X-PIM (Processing-in-Memory).

Такой подход позволяет выполнять часть операций непосредственно там, где хранятся данные, минуя узкое место шины памяти. В статье на Habr разбирается, как это устроено, какие операции можно перенести и что технология показала на практике с моделью Llama 3.1 8B.