BlockBeats News, 27 августа, NVIDIA представила технологию NVHBM для инфраструктуры ИИ следующего поколения. NVHBM — это специализированный базовый кристалл HBM, совместно разработанный и протестированный с крупным поставщиком чипов памяти, который будет предоставляться гиперскейлерам и компаниям, работающим в сфере ИИ и разрабатывающим собственные ИИ-ускорители (XPU), через NVLink Fusion.

По сравнению со стандартной HBM4e, NVHBM может обеспечить до 30% дополнительной пропускной способности памяти на стек, снизить энергопотребление HBM до 15% и высвободить до 25% площади кристалла для XPU. NVIDIA заявила, что эти улучшения помогут специализированным ускорителям поддерживать более крупные модели ИИ, ускорить чтение KV-кэша, а также повысить эффективность обучения и крупномасштабного вывода.

Благодаря переработке физического интерфейса памяти, NVHBM переносит контроллер памяти в 3D-стек HBM и интегрирует специализированный PHY, сокращая размер PHY и связанной с ним площади до 67% и упрощая трассировку промежуточных слоев. Высвобожденная площадь кристалла может быть использована для увеличения количества матричных процессоров, кэшей, сетевых компонентов и других функций, специфичных для рабочих нагрузок.

На уровне стойки чипы NVLink Fusion могут подключать специализированный XPU к сети NVLink и связывать его с CPU через NVLink-C2C. NVIDIA заявила, что после объединения NVHBM с NVLink Fusion сквозная производительность каждого XPU может увеличиться примерно на 30%, что позволит специализированным XPU формировать гетерогенную вычислительную систему вместе с GPU NVIDIA. Официальная дата коммерческого выпуска в статье не разглашается.