Zostały nam tylko dwa lata. Tyle potrzebuje AI, by posiąść całą wiedzę internetu

Zostały nam tylko dwa lata. Tyle potrzebuje AI, by posiąść całą wiedzę internetu

Choć może się wydawać inaczej, internet nie jest bez dna. W ciągu kilku najbliższych lat koncerny rozwijające AI wyczerpią ogólnodostępne dane tekstowe. Naukowcy sugerują trzy rozwiązania, ale już teraz widać, że big techy sięgają po czwarte: kradzież.

Nasze ulubione czatboty – począwszy od ChatGPT, poprzez Gemini, Copilot, garść czatbotów Mety, a kończąc na licznych produktach takich, jak te uporczywie pojawiające się w rogu ekranu na stronie linii lotniczych czy firm kurierskich, by komunikować się „w ludzki sposób” wykorzystują duże modele językowe sztucznej inteligencji. Te modele, by generować teksty sprawiające wrażenie rozmowy z drugim człowiekiem, potrzebują setek gigabajtów – o ile nie po prostu terabajtów danych.

Te dane to przede wszystkim informacje pochdzące z internetu. Artykuły prasowe, wpisy na blogach, komentarze w różnych serwisach, treści z Wikipedii czy media dostępne poprzez internet, takie jak choćby książki. Internet dla wielu stanowi bezdenne źródło wiedzy. Jednak nie dla ludzi zajmujących się uczeniem maszynowym i treningiem generatywnej AI. Bo ci według szacunków odnajdą dno w najbliższych kilku latach.

Wchodzimy w erę kradzieży danych. Bo darmowe źródła się kończą

Grupa naukowców zrzeszonych w Epoch AI – multidyscyplinarny instytut badawczy analizujący kierunki rozwoju sztucznej inteligencji, opublikowała pracę naukową w archiwum arXiv. Jak przewiduje zespół pod kierownictwem Pablo Villalobosa, zachowując obecne tempo tworzenia treści w internecie oraz rozwoju dużych modeli językowych sztucznej inteligencji, nowych, publicznie dostępnych danych do treningu AI zabraknie pomiędzy 2026 a 2032 rokiem.

Badacze na podstawie danych z Common Crawl, ogólnodostępnego zbioru danych z ponad 50 miliardów witryn internetowych oszacowali, że pojedyncza strona zawiera średnio 7 tys. bajtów danych. Następnie oszacowali oni ilość „populacji internetu”, czyli osób korzystających z niego na podstawie trendów demograficznych (zwiększającej się liczby ludności świata) oraz penetracji internetu (czyli ilości osób na świecie mających dostęp do internetu). Pozwoliło im to wyliczyć, w jakim tempie rośnie ilość danych dostarczanych przez ludzi do internetu. Po uwzględnieniu czynników wpływających na ilość generowanych danych (m.in. czynniki socjoekonomiczne, uwarunkowania kulturowe), naukowcy przyjęli, że w 2024 roku do internetu trafi pomiędzy 720 a 2000 terabajtów danych i liczba ta będzie się zwiększać o kilka procent każdego roku.

Naukowcy zaznaczyli, że mowa tu o wszystkich danych i nowych informacjach, jakie ludzie wprowadzą do sieco, czyli zarówno o „wartościowych” danych takich jak informacje z Wikipedii czy ważniejszych tytułów prasowych, jak i tych o „wątpliwej jakości” takich jak komentarze w mediach społecznościowych. Według ich szacunków z uwzględnieniem obecnych trendów w uczeniu maszynowym, pomiędzy 2026 a 2032 rokiem możemy spodziewać się wyczerpania „wysokich jakościowo danych językowych, pochodzących z wiarygodnych źródeł”. Wyczerpanie danych o niższej jakości nastąpi pomiędzy rokiem 2030 a 2050, natomiast wszystkie dane graficzne (obrazy) zostaną wyczerpane pomiędzy 2030 a 2060 rokiem.

Podczas gdy w nadchodzących latach można dokonać znaczących postępów, zbliżające się wąskie gardło danych stanowi pilne wyzwanie dla długoterminowego postępu sztucznej inteligencji. Aby postęp sztucznej inteligencji mógł być kontynuowany w latach 30, należy opracować nowe źródła danych lub techniki wymagające mniejszej ilości danych.

Jako potencjalne rozwiązania tego problemu eksperci z Epoch AI proponują użycie sztucznej inteligencji do generowania nowych danych, na których będą uczyć się kolejne duże modele językowe, rozwój multimodalności i trenowanie modeli językowych na danych innych niż tekstowe – np. filmach, dźwiękach, obrazach i wreszcie, użycie danych niedostępnych publicznie, czyli choćby rozmów z komunikatorów internetowych.

Dolina Krzemowa o tym wie, ale głośno nie mówi

Problem niewystarczającej ilości danych do treningu generatywnej AI nie jest nowością dla najbardziej utytułowanych firm Doliny Krzemowej. Wypowiadał się o niej choćby Dario Amodei, dyrektor generalny Anthropic, w wywiadzie dla The New York Times. Przewidywał, że ze względu na niewystarczającą ilość danych, istnieje 10 proc. szans na zahamowanie rozwoju AI w przyszłości.

Tylko sęk w tym, że cały czas obracamy się w tematyce danych dostępnych publicznie – w domyśle tych, które można zobaczyć i tych, które można dowolnie przetwarzać (na podstawie prawa użycia w ramach wolnej domeny i innych pokrewnych licencji). Nadal do przetworzenia pozostają treści, do których swobodnego dostępu nie mamy lub do których mamy dostęp, a które są objęte prawem autorskim.

Na kanwie problemu kurczących się wolnych zbiorów, powstał kolejny problem: nieautoryzowane przetwarzanie – z perspektywy prawnej – niedostępnych danych. I nie jest to coś, co robią entuzjaści trenowania własnych mini-modeli AI. Swoje za uszami ma OpenAI, Google i Meta, z których każde w jakiś sposób naruszyło prawa autorskie w imię treningu AI. Ten ostatni koncern także zapowiedział, że będzie używał naszych danych do treningu sztucznej inteligencji.

Z kolei jak informował zaledwie trzy dni temu Reuters, głód na dane jest na tyle duży, że ignorowane są ogólnoprzyjęte standardy i tworzone narzędzia, które pozwalają scrapować (ściągać) dane z witryn, których właściciele się na to nie zgodzili.

Bez danych AI nie będzie się rozwijać

Tu jednak wracamy do pierwotnego problemu AI. Ona potrzebuje jakościowych, ukrytych za ścianami moralności i pieniędzy, danych, by móc się rozwijać. Bez nowych danych, opierając się jedynie na tym co wolne i legalne, każdy nowy model będzie stał w miejscu. Każdy nowy przypadek zawarcia umowy pomiędzy gigantem wydawniczym a technologicznym, ale i przypadek naruszeń praw autorskich to dowód na powolne dochodzenie całej branży do ściany. Bo każdy koncern rozwijający AI ma świadomość, że bez uszczknięcia (lub po prostu zjedzenia po cichu w nocy) tortu ludzkiej kreatywności, niemożliwe będzie wyjście do inwestorów i pochwalenia się wzrostami.

Co więcej, z tej perspektywy wielu gigantom wręcz opłaca się podejście „najpierw kradniemy, potem się sądzimy”. Bo zysk wizerunkowy i finansowy, jaki potencjalnie może osiągnąć dana firma trenująca AI, jest znacznie wyższy niż koszta sądowe, jakie później musi zapłacić w ramach procesu o naruszenie praw autorskich. Takie stanowisko według relacji The New York Times swego czasu przyjął dział prawny Mety, dla której proces zakupu wydawnictwa Simon & Schuster był zbyt długi, ale potencjalne koszta sądowe miały być złem mniejszym, niż zostanie w tyle za konkurencją.

Pozostaje jednak pytanie, co w przypadku nawiązania wszystkich możliwych umów, podpisania wszystkich możliwych kontraktów i nakradnięcia wszystkich możliwych do wykradnięcia danych. Czym wtedy będziemy karmić AI?