Etched Sohu è il primo ASIC per AI. Fino a 20 volte più veloce delle GPU NVIDIA
Etched Sohu è il primo ASIC per AI. Fino a 20 volte più veloce delle GPU NVIDIA
In questo periodo NVIDIA è la leader incontrastata del settore AI grazie alle sue potentissime GPU specializzate, e la società punta a fortificare ulteriormente la propria posizione grazie alle schede di prossima generazione, le B200 con chip Blackwell annunciate qualche mese fa e ormai pronte ad arrivare sul mercato. Ma c’è una startup che dice di aver preparato un prodotto non solo estremamente più veloce, ma anche più economico.
La startup si chiama Etched, e il suo chip si chiama Sohu. Non è una GPU, ma un ASIC: è un acronimo che sta per Application Specific Integrated Circuit, e in sostanza indica un processore estremamente specializzato - in questo caso, naturalmente, nei carichi di lavoro tipici del machine learning. Secondo la società questo approccio specializzato permette a Sohu di raggiungere prestazioni fino a 10 volte superiori rispetto a una NVIDIA B200 - e fino a 20 volte superiori rispetto agli acceleratori attualmente più diffusi sul mercato, le NVIDIA H100 (Hopper).
Nei test con Llama 70B forniti da Etched, per esempio, un’architettura di machine learning sviluppata da Meta, un server con 8 Sohu è in grado di fornire fino a 500.000 token al secondo, l’equivalente di ben 160 NVIDIA H100. Etched raggiunge questi risultati perché include molti più transistor specializzati nelle trasformazioni, che sono in soldoni la “potenza grezza” che serve ai sistemi AI. L’ASIC raggiunge un tasso di utilizzo del 90% a pieno carico, che è più o meno il doppio di quanto riescono a fare le GPU tradizionali, che però sono molto più programmabili e quindi malleabili.Ricezione pazzesca e ricarica fulminea? Motorola Edge 40 Pro, compralo al miglior prezzo da eBay a 662 euro.