Straks worden ook de soundtracks van films door AI gegenereerd

DeepMind, het AI-onderzoekslab van Google, kan nu ook soundtracks genereren voor de films die het genereert. Klinkt misschien heel logisch, toch bleek dit trucje in de praktijk niet zo eenvoudig.

Hoewel meerdere bedrijven inmiddels al hebben aangetoond video's te kunnen genereren, zoals OpenAI, Adobe, Microsoft en tools als Dream Machine van Luma Labs, bleek het genereren van passende audio toch nog één niveau te hoog. Veel beeldmateriaal werd dan ook uitgebracht zonder geluid. Nu lijkt ook daar een oplossing voor te zijn gevonden, zo laat DeepMind weten in zijn blogpost: "Door te trainen op video, audio en de extra annotaties leert onze technologie specifieke audio-events te associëren met diverse visuele scènes..."

In de kinderschoenen

Hoewel er met veel trots wordt verteld over deze nieuwe ontwikkeling, scoort het resultaat nog niet heel hoog. Zo zouden de geluiden die werden gegenereerd stereotypisch (no pun intended) overkomen en bovendien niet echt overtuigend zijn. Maar dat neemt niet weg dat de technologie potentie biedt. De taalmodellen van chatbots als ChatGPT waren in het begin tenslotte ook niet perfect, maar ook dat bleek een kwestie van finetuning te zijn.

Het zal dus moeten blijken of we straks massaal films zullen kijken die ontwikkeld zijn door AI, inclusief de geluiden, muziek en stemmen van de (virtuele) acteurs. Hoewel er inmiddels wel al korte films zijn uitgebracht met AI, zoals deze, laat een twee uur durende film op zich wachten. Daarnaast laat DeepMind weten de technologie nog niet naar buiten te brengen om "misbruik te voorkomen", maar misschien ook wel een beetje om de creatieve industrie niet tegen het verkeerde been te schoppen.

Getraind op YouTube?

De grote vraag waar menig content creator misschien mee rond loopt: op welke inhoud zijn de AI-videomodellen nu eigenlijk getraind? Eerder bleek al, zij het tussen neus en lippen door, dat OpenAI gebruik had gemaakt van YouTube-filmpjes om zijn videosoftware Sora mee te ontwikkelen. Google kon hen vervolgens echter niets verwijten, aangezien zij dit zelf vermoedelijk ook hebben gedaan. Pot en de ketel, zeg maar.

De vraag blijft vooralsnog in hoeverre videomakers op de hoogte waren (en zijn) van deze praktijken, zouden deze vermoedens kloppen, en of hier wel een juridische basis voor is. Ook in het geval van het genereren van soundtracks wordt er met geen woord gerept over de oorsprong van de trainingsgegevens.

Lees meer over AI en blijf op de hoogte via onze nieuwbrief.