Una startup è pronta a fare le scarpe a NVIDIA con un ASIC 20 volte più veloce di H100
Image
Al momento, Nvidia detiene la leadership globale nel mercato delle GPU IA grazie alle sue richiestissime H100, ampiamente utilizzate per lo sviluppo dei modelli IA. Tuttavia, una startup di nome Etched ha sviluppato un circuito integrato specifico per applicazioni (ASIC) chiamato Sohu, progettato esclusivamente per offrire prestazioni superiori per le applicazioni IA. Per intenderci, parliamo di modelli come GPT-4 di OpenAI, Antrophic Claude, Google Gemini e la famiglia Llama di Meta.
L'ASIC Sohu di Etched promette prestazioni senza precedenti, affermando di superare di un intero ordine di grandezza le più recenti GPU Nvidia. Mentre una configurazione server con otto cluster di GPU Nvidia H100 gestisce modelli Llama-3 70B a 25.000 token al secondo e l'ultimo cluster di GPU B200 "Blackwell" raggiunge i 43.000 token al secondo, otto cluster Sohu riescono a produrre ben 500.000 token al secondo.
Questa straordinaria capacità di elaborazione non è solo un record tecnico. L'ASIC di Etched supera Hopper di 20 volte e Blackwell di 10 volte, ma serve anche così tanti token al secondo da abilitare una nuova gamma di applicazioni IA che richiedono output in tempo reale. L'architettura di Sohu è così efficiente che consente di utilizzare il 90% delle operazioni di floating-point (FLOPS) a fronte del 30-40% delle GPU tradizionali. Ciò si traduce in una significativa riduzione degli sprechi di potenza, un problema che Etched mira a risolvere con il suo acceleratore dedicato ai trasformatori su larga scala.
L'importanza di Sohu non può essere sottovalutata. Con i costi di sviluppo dei modelli di frontiera che superano il miliardo di dollari e i costi dell'hardware misurati in decine di miliardi, un acceleratore dedicato specificamente all'alimentazione di applicazioni IA potrebbe accelerare significativamente l'avanzamento del'intero settore. Gli studiosi di intelligenza artificiale spesso sostengono che "la scala è tutto ciò di cui hai bisogno," e Etched intende costruire su questa premessa.
Tuttavia, emergono alcune perplessità. Sebbene i trasformatori siano generalmente considerati il "futuro" dello sviluppo dell'IA, la soluzione di un ASIC risolve il problema solo finché le operazioni rimangono le stesse. Questo scenario ricorda la frenesia del mining di criptovalute, che ha portato a cicli di ASIC per il mining che ora sono pezzi inutili, come nel caso dei miner di Ethereum, diventati obsoleti dopo il passaggio a proof of stake.
Nonostante queste incertezze, Etched punta a una formula di successo chiara: eseguire modelli basati su trasformatori sull'ASIC Sohu con un ecosistema software open-source e scalarlo a dimensioni enormi. Anche se i dettagli sono scarsi, si sa che l'ASIC funziona con 144 GB di memoria HBM3E e che il chip è prodotto con il processo a 4 nm di TSMC. Questo potrebbe permettere di gestire modelli di intelligenza artificiale con 100 trilioni di parametri, 8 volte più grandi del design GPT-4 con i suoi 1.8 trilioni di parametri.
Il lancio di Sohu da parte di Etched rappresenta una potenziale rivoluzione nel campo dell'IA, promettendo di risolvere problemi di inefficienza e di aprire nuove possibilità per applicazioni in tempo reale. Se siete curiosi e volete saperne di più su Sohu, vi consigliamo di fare un giro sul sito web di Etched.
In collaborazione con Tom's Hardware