Meta vyvinula vlastní AI akcelerátor. Nvidii neohrozí, ale má určité přednosti

Meta před rokem ukázala první generaci AI akcelerátoru nazvaného MTIA (Meta Training and Inference Accelerator). Vývoj vlastního hardwaru má evidentně…

Meta vyvinula vlastní AI akcelerátor. Nvidii neohrozí, ale má určité přednosti

Meta před rokem ukázala první generaci AI akcelerátoru nazvaného MTIA (Meta Training and Inference Accelerator). Vývoj vlastního hardwaru má evidentně smysl, protože firma už představuje MTIA v2. Podrobnosti o specifikacích tají, ale výkon a paměťová propustnost prý stouply minimálně na dvojnásobek. A od toho se už odrazit můžeme.

První generace byl malý čip vyrobený 7nm litografií u TSMC a dosahoval výkonu 51,2 TFLOPs v přesnosti FP16 a 102,4 TOPs v přesnosti INT8. Kolem logických obvodů měl vlastní 128MB SRAM. To vše při 25W TDP. Čipy se pak pájely na PCIe 4.0 ×8 karty s až 128 GB RAM (LPDDR5) a celý akcelerátor spotřeboval nanejvýš 35 wattů.

Je-li novinka více než dvakrát rychlejší, nabídne přes 200 TOPs v přesnosti INT8. To je hluboko pod úrovní akcelerátorů jako Nvidia B200, který zvládá 4500 TOPs, ale zase výrazně nad možnosti NPU, jež výrobci integrují do běžných procesorů. Intel je u Meteor Laku na 10 TOPS, AMD u Hawk Pointu na 16 TOPs, Apple v M3 dává 18 TOPs, nadcházejících Snapdragon X Elite zvládne 45 TOPs.

MTIA ostatně ani nemá být konkurencí obřích čipů od Nvidie, firma na nich nebude trénovat velké jazykové modely. Cílem bylo vytvořit efektivní čip s co nejlepším poměrem výkon/spotřeba pro běh doporučovacích a třídicích systémů, které Meta používá na Facebooku a Instagramu. Farma malých úsporných akcelerátorů rozhoduje o tom, jaký obsah lidé uvidí v aplikacích a jaká reklama je pro ně nejvhodnější. I na tohle už firma používá neuronové místě místo klasických algoritmů.

Meta však zároveň dodává, že pracuje na dalších čipech včetně těch, které nasadí i pro generativní AI. Vydá se tak cestou Microsoftu, Googlu nebo Amazonu, tyto firmy už rovněž vyvíjejí vlastní velké akcelerátory, aby nebyly závislé na dodávkách od Nvidie nebo AMD.

Přečtěte si také: