BlockBeats News, 30 августа, аналитик Citrini Jukan сообщил, что, согласно источникам, спецификация HBM, используемая в чипах NVIDIA Rubin Ultra, может быть сокращена с 12-слойной HBM4E до 8-слойной. Такие клиенты, как OpenAI и Anthropic, даже запрашивали 4-слойный продукт, но получили отказ от производителя памяти. Текущее снижение спецификаций может ограничиться 8 слоями. Основной причиной такого решения считаются проблемы с выходом годных изделий и давление со стороны затрат: если бы использовалась 12-слойная HBM4E с учетом роста цен, стоимость памяти могла бы составить около 70% от общих материальных затрат на Rubin Ultra.

Программные оптимизации, такие как квантование моделей, MLA и разделение вычислительных задач, переносят низкочастотные обращения к KV-кэшам и состояниям моделей на LPDDR, CXL и NAND, в то время как HBM в основном сохраняет рабочий набор данных, необходимый для текущих вычислений. Таким образом, после достижения минимально необходимого объема памяти, акцент клиентов на пропускной способности HBM начинает перевешивать требования к емкости.

Считается, что уменьшение количества слоев в стеке может повысить выход годных изделий при корпусировке, увеличить поставки HBM и ИИ-ускорителей, а также, возможно, расширить общий спрос на HBM; более высокие требования к пропускной способности также сократят долю чипов, сортируемых по классам скорости на пластине, что приведет к дальнейшему потреблению мощностей по производству DRAM. В долгосрочной перспективе HBM в конечном итоге будет заменена новыми архитектурами, и конечным направлением может стать слияние чипов памяти и логики. Следующие два года станут решающим этапом, который покажет, смогут ли производители памяти выйти в область логических микросхем.