[maxiek]

#sztucznainteligencja #programowanie #chatgpt #google #datascience #microsoft

Czołem!

Dobre ponad pół roku temu usłyszałem o tym, jakoby Google i Microsoft po raz pierwszy wydali więcej pieniędzy na hardware niż na „ludzi”. Wiadomo – chodzi o infrę do AI (hostowanie AI usług, maintenance i całą resztę). Na pewno nie było to jedynie na te wymienione wcześniej, a również, a nawet z przekonaniem mogę powiedzieć, iż przede wszystkim – na rozwój swych AI. AI mówię tu jako zbiorczy opis usług opartych na sztucznej inteligencji – głównie LLMy, ale też jakieś GenAI do grafik, filmów, dźwięków, czy inne whisper AI, czy co tam jeszcze jest. Poszły grube miliardy, kwoty, jakich jeszcze nie widzieliśmy, na GPU, TPU, storage hardware. Skupiłbym się najbardziej na LLMach – bo jak można zauważyć, to one są najgłośniejsze i najbardziej przydatne w codziennym życiu.

Po wypłynięciu wiadomości o horrendalnych kwotach przeznaczanych przez te dwie wiodące firmy (co może tylko w mojej bańce przeszło w ogóle bez echa, nikt tematu nie podnosił za bardzo) usłyszałem głosy, że jest to diametralny koniec open source LLMów – a dokładniej ich potencjalnej „konkurencyjności”. Jeszcze w 2023 w okolicach wiosny/lata sam dobrze pamiętam, że były różne Falcony70B, jakieś LLAMY (szybko przeszła na open source), no i w ogóle cała masa obiecująco wyglądających LLMów, które były open source i darmowe do użytku (o ile je sobie sam zahostujesz ( ͡° ͜ʖ ͡°)) i mogłeś je wykorzystywać do celów komercyjnych. Były one na tyle obiecujące, że faktycznie miały być stawiane obok mainstreamowych closed source modeli – wiadomo, daleko im było do chataGPT4. Oczywiście nie było to przedstawiane jako równy konkurent, ale jako alternatywna opcja, ale dalej opcja do wyboru między tym open source a GPT4 chociażby, a nawet wówczas ambitne głosy mawiały, że skoro byli w stanie zrobić cutting-edge Falcon70B i dać go za darmo, to za niedługo open source może nawet prześcigną wiodące modele.

W momencie ogłoszenia, ile to inwestują w rozwój modeli wiodące firmy – podniosły się głosy, że it's over for open source LLMs. Że fizycznie nie są w stanie przeskoczyć barier technologicznych wynikających z finansowania o rząd wielkości mniejszego; że nie ważne, jakich kozaków nie zatrudnią, to te dwie firmy mogą zaoferować więcej, a nawet jak nie, to wezmą innego dobrego – plus nie ukrywajmy, żaden geniusz nie nadrobi miliardów różnicy w sprzęcie.

No z tą kwestią przychodzę do państwa – co sądzicie? Jak się sprawy mają? Prawda to? Osobiście to faktycznie – praktycznie już nic nie słyszę o open source LLMach mających „zamieszać” na rynku, nie są już przedstawiane jako alternatywy. O Falconie to ostatni raz słyszałem coś o Falconie300, ale to tak przelotem i nic specjalnego. Czy to faktycznie koniec nadziei na lepsze LLMowo-open-sourcowe jutro? Czy naprawdę będziemy skazani na oligopol Google’a i Microsofta (OpenAI)?

No i dziękuję za wypowiedź.

Tu jeden z artykułów, na który się powoływałem (daję tylko jeden, bo jak mówię – słyszałem o tym mega dawno, a teraz mi się tak po prostu przypomniało i nie chce mi się szukać reszty artykułów na te tematy :< )

https://www.griproom.com/fun/google-reportedly-now-spending-more-on-computer-power-than-people

[hub_bub]

@maxiek: Czołem!

Póki najlepsze modele są udostępniane za śmieszne pieniądze (20$/miesięcznie) to nie jest tak źle. Na rynku chodzą głosy że kolejne generacje najpotężniejszych modeli mają być udostępniane w dużo wyższych cenach.

Co do Llamy nie powiedziałbym że to jej koniec. Po prostu progres następuje tak szybko, że to co wyszło pół roku temu, przestaje być najlepsze i trendy. Natomiast wciąż llama znajduje wiele

[JamesJoyce]

@maxiek nie będziemy. Słuchasz boks.