Nvidia GH200: Grade Hopper baru saja mendapatkan upgrade HBM3e

GPU H100 mendapatkan peningkatan kecepatan lainnya: Nvidia meluncurkannya dengan HBM3e alih-alih komponen memori HBM3. Ini meningkatkan kapasitas dan throughput RAM dan dimaksudkan untuk mempercepat pelatihan model AI yang sangat besar.

iklan

Nvidia berbicara bahasa Iklan untuk pameran cigraph dorongan dengan faktor 3,5 – tentu saja dalam skenario “kasus terbaik” yang dipilih. Namun, untuk saat ini, GPU H100 yang ditingkatkan hanya tersedia sebagai chip GH200 “kelas atas” bersama dengan prosesor ARM Nvidia sendiri pada papan sirkuit umum.

141 GB HBM3e per GPU

Pada varian ini, akseleratornya menggunakan memori HBM3e 141GB dengan kecepatan transfer sekitar 5TB/s. Nvidia tidak memberikan latar belakang teknis untuk kapasitas bengkok ini – beberapa lokasi memori mungkin rusak. Samsung, SK Hynix, dan Micron awalnya memproduksi komponen dengan kapasitas hingga 24GB — enam di antaranya akan menghasilkan 144GB.

Dalam versi H100 asli, lima dari enam blok penyusun HBM3 yang terpasang aktif. RAM 80 GB dapat digunakan dengan kecepatan transfer 3,35 TB/s. Dengan NVL H100, unit HBM3 keenam aktif. Ini meningkatkan kapasitas menjadi 94 GB — tingkat penyimpanan individu juga dimatikan di sini — dan kecepatan transfer menjadi 3,9 TB/dtk.

Peralatan lainnya tidak berubah di antara ketiga versi tersebut. Semuanya menggunakan 14.592 inti shader, yang mencapai daya komputasi sekitar 4 petaflops saat melatih AI. Nilai ini berlaku untuk perhitungan FP8 dengan akurasi rendah, namun cukup untuk latihan.

iklan

Dengan 72 inti Neoverse V2 ARM, CPU Grace dari papan GH200 termasuk kelas menengah ke atas akhir-akhir ini. Beban komputasi utama adalah GPU H100.

Belum tersedia

Sistem pertama dengan papan GH200 baru akan tersedia pada kuartal kedua tahun 2024. Pada saat itu, produsen memori harus dapat menawarkan komponen HBM3e. Selain itu, Nvidia masih memiliki waktu untuk mengatasi kemacetan pengiriman.

Sistem yang mengandung kombinasi Grace Hopper sebelumnya masih jarang. Nvidia mengumumkan ini pada awal musim panas 2022 untuk paruh pertama tahun 2023; Model pertama ditampilkan di pameran dagang Computex pada bulan Mei. Namun, itu belum muncul secara komersial.

(Guru)