iPhone 17 Pro rulează, local, un model AI de 400 de miliarde de parametri

Un experiment recent arată că iPhone 17 Pro poate rula local un model de inteligență artificială de dimensiuni extreme, de ordinul a 400 de miliarde de parametri.

Rezultatul este impresionant din punct de vedere tehnic, dar departe de a fi practic în utilizarea zilnică.

Running 400B model on iPhone!
0.6 t/s
Credit @danveloper @alexintosh @danpacary @anemll pic.twitter.com/LZCLqsvSUP

— Anemll (@anemll) March 23, 2026

Cum este posibilă rularea unui model atât de mare pe un iPhone 17 Pro

În mod normal, un model de acest tip necesită peste 200 GB de memorie RAM, mult peste capacitatea unui smartphone. Soluția folosită în acest caz evită încărcarea completă a modelului în memorie.

Sistemul utilizează o arhitectură de tip „Mixture of Experts”, care activează doar o mică parte din model la un moment dat. Restul datelor sunt încărcate din stocare, în funcție de necesități.

Această abordare permite rularea modelului pe hardware limitat, dar vine cu compromisuri evidente.

Performanță limitată în practică

Viteza de generare este foarte scăzută, de aproximativ 0,6 tokeni pe secundă. În termeni simpli, utilizatorul trebuie să aștepte câteva secunde pentru fiecare cuvânt generat.

Un astfel de ritm face dificilă utilizarea reală a modelului, chiar și pentru sarcini simple. În plus, consumul de energie este ridicat, ceea ce afectează autonomia dispozitivului.

Un experiment care indică direcția industriei

Deși performanța nu este suficientă pentru utilizare practică, demonstrația arată că rularea locală a modelelor AI foarte mari devine posibilă, chiar și pe dispozitive mobile.

Până recent, astfel de sarcini erau asociate exclusiv cu servere și infrastructuri cloud.

Modelele mai mici rămân soluția actuală

În prezent, modelele AI compacte sunt cele utilizate în mod real pe smartphone-uri, oferind un echilibru între performanță și consum de resurse.

Experimentul evidențiază însă o tendință clară: pe măsură ce hardware-ul evoluează, tot mai multe procese vor putea fi mutate local, reducând dependența de cloud și crescând nivelul de confidențialitate.