Волна ИИПодписаться
← Назад
Бизнес и инвестиции

Инференс ИИ незаметно сжигает бюджет на хранение: каждый запрос оставляет до 130× больше данных, чем вы видите

Большинство руководителей, оценивая стоимость ИИ, видят только GPU — гигаватты энергии и очереди на чипы. Но они упускают скрытую статью расходов: хранение данных. Каждый раз, когда модель отвечает на запрос, на бэкенде остаются логи, кэши, промежуточные рендеры, бэкапы и записи безопасности. Например, 8-секундный видеоклип в 720p (3,97 МБ) порождает более 500 МБ сопутствующих данных — в 130 раз больше выходного файла. Для длинных роликов с высоким разрешением объём может достигать сотен гигабайт на клип.

По прогнозам McKinsey, спрос на инференс будет расти на 35% в год до 2030 года (против 22% для обучения) и к концу десятилетия составит более 40% всего дата-центра. Исследование WD и IDC среди 763 ИТ- и бизнес-руководителей показало: почти 95% респондентов отметили рост объёмов данных из-за генеративного ИИ за последние 12 месяцев, а 61% — рост на 25% и более. При этом 96% опрошенных ожидают, что потребуется более быстрый доступ к архивам для инференса и RAG.

Проблема в том, что вычислительные мощности растут циклически, а объём хранимых данных только увеличивается. «Дополнительное хранилище — это оптимизация для занятости GPU, — цитирует отчёт старшего продакт-менеджера гиперскейлера. — Часы простоя GPU в ожидании данных становятся очень дорогими». Если бюджет на хранение растёт на 25% в год, а вычислительный — циклически, то хранилище незаметно обгоняет самую заметную статью расходов. Для CFO и CIO это означает, что «инфраструктура ИИ» не должна сводиться только к compute: модель, простаивающая из-за загрузки данных, стоит почти столько же, сколько из-за нехватки GPU.

Источник: technologyreview.com
← Все новости AI Wave