Тензорные ядра упёрлись в стену памяти: Samsung обещает HBM5 с пропускной способностью до 4 ТБ/с

Производители ИИ-ускорителей наращивают число тензорных ядер и осваивают короткие форматы вроде FP8 и FP4 — производительность формально растёт впечатляюще. Но есть проблема: вычислительные блоки простаивают, если память не успевает подвозить веса и промежуточные данные. Дорогой чип с десятками миллиардов транзисторов ждёт — это «стена памяти».

Samsung нацелилась пробить эту стену с помощью HBM5. Компания обещает удвоить пропускную способность относительно HBM4E и одновременно повысить эффективность на ватт на 20%. Один стек HBM5 сможет выдавать почти 4 ТБ/с благодаря 4096-битной шине. Если планы сбудутся, узкое место в подпитке тензорных ядер будет серьёзно расшито.