NVIDIA pregătește o nouă arhitectură de stocare pentru AI. Memoria flash ar putea deveni următorul pas după HBM

Adaugă-ne ca sursă preferată în Google

Urmărește-ne in Discover

Creșterea accelerată a modelelor de inteligență artificială obligă industria hardware să caute soluții noi pentru extinderea capacității de memorie și reducerea blocajelor de transfer de date. Potrivit unor informații din presa sud-coreeană, NVIDIA și Amazon lucrează la arhitecturi de stocare care permit plăcilor grafice să acceseze direct unitățile SSD, fără intervenția procesorului central.

Noua tehnologie, denumită GPU-Initiated Direct Storage Access (GIDS), ar urma să debuteze odată cu platforma AI NVIDIA Vera Rubin și ar putea accelera dezvoltarea unei noi generații de memorie numite High-Bandwidth Flash (HBF).

GPU-urile ar putea comunica direct cu SSD-urile

Actuala tehnologie GPU Direct Storage (GDS) permite accelerarea transferului de date între stocare și GPU, însă procesorul central continuă să coordoneze solicitările de acces.

Prin GIDS, NVIDIA ar elimina această etapă intermediară. GPU-ul ar putea accesa direct dispozitivele de stocare, fără a mai depinde de CPU sau de memoria DRAM.

Profesorul Song Ki-hwan, din cadrul Universității Yonsei, explică faptul că această schimbare urmărește eliminarea limitărilor arhitecturii clasice von Neumann, unde transferurile de date dintre componente reprezintă un obstacol major pentru performanță.

Potrivit specialistului, procesoarele centrale sunt limitate structural în ceea ce privește procesarea simultană a firelor de execuție, în timp ce GPU-urile moderne pot genera zeci de mii de thread-uri paralele.

HBF ar putea completa memoria HBM

Noile arhitecturi ar putea deschide drumul pentru utilizarea memoriei flash de mare viteză drept extensie pentru memoria HBM, folosită deja în serverele AI performante.

Conceptul HBF presupune suprapunerea verticală a memoriei NAND într-o structură similară HBM și conectarea acesteia prin tehnologii TSV (through-silicon vias).

Avantajul principal ține de densitatea mult mai mare a memoriei NAND. Potrivit raportului, NAND oferă o densitate de aproximativ 30 de ori mai mare decât DRAM, ceea ce permite capacități semnificativ mai ridicate în același spațiu fizic.

Estimările prezentate de profesorul Song arată că asocierea a șase unități HBF cu două module HBM ar putea crește capacitatea totală de memorie a unui GPU de la 192 GB la peste 3.120 GB.

O astfel de configurație ar permite rularea unor modele AI de aproximativ 16 ori mai mari decât cele actuale.

Limitările memoriei NAND rămân importante

Cu toate acestea, memoria NAND are și limitări importante. Durata de viață este inferioară celei oferite de DRAM, deoarece NAND suportă aproximativ 100.000 de cicluri de scriere și ștergere.

Din acest motiv, specialiștii consideră că HBF ar fi potrivită mai ales pentru stocarea parametrilor modelelor AI utilizați în procesul de inferență, unde datele sunt citite frecvent, dar modificate rar.

Samsung explorează tehnologii similare

Raportul amintește că și producătorii de memorii dezvoltă soluții compatibile cu noile arhitecturi AI. Samsung ar lucra deja la o versiune avansată a memoriei Z-NAND și la propriile tehnologii GIDS.

Scopul este același: permiterea accesului direct al GPU-urilor la unitățile de stocare ultra-rapide, fără componente intermediare, pentru reducerea timpilor de procesare în aplicațiile AI.

Industria consideră că această direcție ar putea reprezenta următorul pas major în evoluția infrastructurii pentru inteligență artificială, pe măsură ce limitele actualelor soluții HBM devin tot mai evidente.