Nvidia a prezentat NVHBM, memorie HBM personalizată cu lățime de bandă mai mare și consum redus

Adaugă-ne ca sursă preferată în Google

Urmărește-ne in Discover

Nvidia a prezentat NVHBM, o versiune personalizată a memoriei HBM destinată acceleratoarelor de inteligență artificială. Compania susține că soluția oferă o lățime de bandă cu până la 30% mai mare și un consum cu 15% mai mic decât HBM4e standard.

Noua tehnologie face parte din platforma NVLink Fusion. Aceasta permite partenerilor Nvidia să conecteze procesoare dezvoltate intern la infrastructura NVLink.

Controlerul este mutat în memoria HBM

NVHBM nu reprezintă un înlocuitor pentru memoria HBM4e comercială. Nvidia o descrie drept o componentă suplimentară pentru partenerii care dezvoltă cipuri personalizate.

Principala schimbare este arhitectura base die-ului. În configurațiile tradiționale, controlerul HBM este integrat în principalul cip de procesare.

NVHBM mută controlerul în stratul de bază al stivei HBM. Nvidia oferă și un PHY personalizat, pe care partenerii îl pot integra în propriile acceleratoare.

Această abordare eliberează spațiu pe cipul principal. Nvidia susține că suprafața respectivă poate permite cu până la 30% mai multe resurse de calcul.

Lățimea de bandă poate crește cu 30%

Memoria este una dintre componentele esențiale pentru acceleratoarele AI. Modelele moderne mută volume foarte mari de date între memorie și unitățile de procesare.

NVHBM ar putea oferi o lățime de bandă cu până la 30% mai mare pentru fiecare stivă. Avantajul este important pentru aplicațiile limitate de capacitatea memoriei.

În cazul inferenței AI, o lățime de bandă mai mare poate crește numărul de tokeni procesați pe secundă. Beneficiile pot deveni mai importante atunci când sunt utilizate mii de acceleratoare.

Nvidia promite și un consum mai redus

NVHBM ar urma să utilizeze cu 15% mai puțină energie decât HBM4e disponibilă comercial.

Energia economisită poate fi folosită în mai multe moduri. Proiectanții pot crește performanța în același buget energetic sau pot adăuga mai multe unități de calcul.

O altă posibilitate este păstrarea performanței și reducerea consumului total al acceleratorului. Acest avantaj este important pentru centrele de date, unde alimentarea și răcirea reprezintă costuri majore.

Eficiența devine și mai importantă în aplicațiile care manipulează modele voluminoase. Greutățile modelelor și cache-urile KV necesită transferuri constante între memorie și procesoare.

NVHBM poate simplifica proiectarea cipurilor

Mutarea controlerului în base die reduce și necesarul de circuite asociate memoriei pe cipul principal. Nvidia susține că noua arhitectură poate simplifica traseele realizate prin interposer.

Aceste avantaje sunt importante pentru proiectele care folosesc tehnologii avansate de ambalare. Mai mult spațiu pentru calcul poate permite dezvoltarea unor acceleratoare personalizate mai complexe.

Totuși, beneficiile sunt destinate în primul rând viitoarelor produse ale partenerilor NVLink Fusion. Ele nu modifică direct acceleratoarele Vera Rubin deja aflate în producție.

Annapurna Labs este primul partener anunțat

Amazon, prin divizia Annapurna Labs, este primul partener menționat oficial de Nvidia pentru NVHBM.

Annapurna Labs dezvoltă procesoarele AI Trainium utilizate în infrastructura AWS. Următoarea generație, Trainium 4, va suporta deja interfața NVLink Fusion.

Acest lucru sugerează că viitoarele generații de cipuri Amazon ar putea adopta și NVHBM. Nvidia nu a confirmat însă un astfel de produs.

Memoria devine tot mai importantă pentru acceleratoarele AI

Nvidia încearcă astfel să ofere dezvoltatorilor de cipuri mai multă flexibilitate. NVLink Fusion și NVHBM pot fi folosite împreună pentru construirea unor acceleratoare personalizate.

Câștigul promis combină trei elemente importante: mai multă lățime de bandă, consum mai mic și spațiu suplimentar pentru calcul.

Pentru infrastructura AI, aceste avantaje pot avea efecte importante la scară mare. Totuși, NVHBM se află deocamdată în zona soluțiilor destinate partenerilor Nvidia.

Impactul comercial real va depinde de numărul de companii care vor adopta arhitectura și de produsele dezvoltate pe baza acesteia.