BlockBeats News, 19 августа — NVIDIA опубликовала технический блог, в котором сообщила, что в библиотеки cuML и cuViz добавлена поддержка многопроцессорной обработки UMAP (multi-GPU UMAP). Это позволяет выполнять распределенное снижение размерности крупномасштабных векторных данных с использованием нескольких графических процессоров, что значительно сокращает время выполнения при сохранении качества эмбеддингов.

В NVIDIA отметили, что на системе DGX, оснащенной 8 графическими процессорами H100, было проведено тестирование на наборе данных MIRACL, содержащем 106 миллионов векторов объемом около 870 ГБ. Многопроцессорная реализация cuML UMAP позволила завершить сквозную обработку за 8 минут, обеспечив ускорение до 74 раз по сравнению с ожидаемой скоростью реализации на CPU. Предыдущее решение на базе CPU не могло завершить полную обработку даже при наличии 2 ТБ оперативной памяти.

Данный подход разделяет данные на несколько кластеров, параллельно строит локальные графы k-ближайших соседей (kNN) на разных графических процессорах, а затем объединяет их в глобальный граф, тем самым преодолевая ограничение памяти одного GPU. В NVIDIA заявили, что эта технология позволяет сократить выполнение задач UMAP объемом в несколько сотен гигабайт, которые раньше занимали часы или даже дни, до всего нескольких минут.