BlockBeats tin tức, ngày 27 tháng 8, NVIDIA công bố công nghệ NVHBM dành cho hạ tầng AI thế hệ tiếp theo. NVHBM là một đế chip HBM tùy chỉnh được thiết kế và xác minh cùng với các nhà cung cấp chip nhớ chính, sẽ được cung cấp cho các nhà cung cấp dịch vụ đám mây siêu quy mô và doanh nghiệp AI nguyên bản đang phát triển bộ tăng tốc AI tùy chỉnh (XPU) thông qua NVLink Fusion.

So với HBM4e tiêu chuẩn, NVHBM cung cấp thêm tối đa 30% băng thông bộ nhớ cho mỗi ngăn xếp, giảm tối đa 15% mức tiêu thụ điện năng HBM, và giải phóng tối đa 25% diện tích chip tính toán cho XPU. NVIDIA cho biết, những cải tiến trên giúp bộ tăng tốc tùy chỉnh hỗ trợ các mô hình AI lớn hơn, đọc bộ đệm KV nhanh hơn, đồng thời nâng cao hiệu quả đào tạo và suy luận quy mô lớn.

NVHBM thiết kế lại giao diện bộ nhớ vật lý, chuyển bộ điều khiển bộ nhớ vào ngăn xếp HBM 3D và tích hợp PHY tùy chỉnh, giúp giảm diện tích PHY và khu vực đi kèm tối đa 67%, đồng thời đơn giản hóa việc đi dây lớp trung gian. Diện tích chip được giải phóng có thể được sử dụng để tăng cường ma trận engine, bộ đệm, mạng và các chức năng khác phù hợp với khối lượng công việc cụ thể.

Ở cấp độ rack, chiplet NVLink Fusion có thể kết nối XPU tùy chỉnh với mạng NVLink và kết nối CPU thông qua NVLink-C2C. NVIDIA cho biết, khi kết hợp NVHBM với NVLink Fusion, hiệu suất đầu cuối của mỗi XPU có thể tăng khoảng 30%, đồng thời cho phép XPU tùy chỉnh và GPU NVIDIA tạo thành hệ thống tính toán không đồng nhất. Công ty chưa tiết lộ thời điểm thương mại hóa cụ thể trong bài viết.