AI langzaam? Chatbots geven gelijk antwoord door nieuwe chip

AI langzaam? Chatbots geven gelijk antwoord door nieuwe chip

Als je Google Gemini of ChatGPT een vraag stelt, moet je vaak even op antwoord wachten. Dat is korter dan wanneer je in Canva of met Dall-E een afbeelding genereert, maar toch: je merkt met zo’n AI-chatbot meer dat het een bot is. Niet met de chips van Groq. Die zorgen ervoor dat bots natuurlijker overkomen omdat ze meteen antwoorden.

Een paar seconden op antwoord wachten van een chatbot, zeker omdat je ongeveer op elke vraag antwoord kunt krijgen, is niet zo lang. Toch schijnt het verschil met een bot die meteen reageert een stuk te schelen. Je kunt zo nog sneller werken. Het gaat daarbij niet alleen om antwoorden op vragen zoals: “Geef me vijf tips voor een leuke eerste date”, maar ook het schrijven van essays van meer dan twintig pagina’s is ineens supersnel voor elkaar. Het voelt niet meer alsof de AI aan het denken is: plop, het is er meteen.

Energiedrank voor LLM’s

De chip die Groq heeft ontwikkeld is er om LLM’s te optimaliseren. LLM’s zijn Large Language Models: systemen die dankzij machine learning zorgen dat tekst natuurlijk overkomt. Het zijn de LLM’s die begrijpen wat je zegt. De chip zorgt ervoor dat die LLM’s beter kunnen functioneren en sneller worden. Ook als je zelf in Brussel bent en de chip is helemaal in Washington, zo blijkt uit een artikel van Wired. De mensen achter Groq schijnen zelfs te werken aan AI die zo snel met je meedenkt, dat je er een jamsessie mee kunt houden. Even muziek maken en aanpassen op wat jij doet: het is mogelijk dankzij snelheid.

Maar het is niet alleen voor mensen bedoeld, die snelheid. De mensen achter Groq zeggen dan ook: “Mensen kunnen maar een bepaald aantal woorden per minuut lezen: voorbij een bepaald punt heeft het genereren van snelle tekst weinig toegevoegde waarde als het alleen bedoeld is voor menselijke consumptie.” Computers kunnen er echter wel voordeel uithalen. De initiële kosten zijn echter hoger, omdat er meer chips nodig zijn voor dezelfde aanvraag. Maar tegelijkertijd zijn de chips wel energie-efficiënter, belooft het bedrijf.

Abonneer je als je meer wil weten op de Bright Nieuwsbrief.