Polscy naukowcy opracowali duży model językowy bardziej wydajny niż ChatGPT

Mowa o LongLLaMa, który oparto na oprogramowaniu OpenLLaMA, stworzonym przez Meta – właściciela Facebooka. Ten duży model językowy opracowany przez naukowców z UW, PAN i IDEAS NCBR ma pozwolić obsługiwać 64 razy więcej tekstu niż ChatGPT. To zapowiada nowy krok w rozwoju modeli językowych.

[MiedzygalaktycznyMors]

Proponuję nazwę Model Łągiewki !

[mk321]

@MiedzygalaktycznyMors: Polski Zderzak Hadronów Łągiewki

[Boobees]

o! kolejny "grafen" na miare naszych mozliwosci!

[wieczny-student]

Przecież są już modele oparte na LLama która mają 100k kontekstu.

[kwanty]

Przecież są już modele oparte na LLama która mają 100k kontekstu.

@wieczny-student: Nie ilość a jakość się liczy. Modele o bardzo długim kontekście są zawsze realizowane nie wprost ale pewnym "trikiem". Jeżeli chciałbyś skalować "normalnie" to attention matrix będzie miało rozmiar 100k x 100k, bo to jest kwadratowa macierze od długości kontekstu. Ani się taka nie zmieści w pamięci ani nie będziesz mógł jej wytrenować.

Dlatego robi się różne uproszczenia,

[kwanty]

dobra, wygląda jakbyś się znał na modelach językowych. Czy możesz wytłumaczyć skąd czat gpt zna kontekst?

@moj_wykopowy_login: W bardzo dużym skrócie - oblicza ważność (wpływ) każdego słowa z każdym pozostałym w kontekście. Dlatego w klasycznych transformersach musi być macierz kwadratowa bo jak masz 100 wyrazów w kontekście to musisz obliczyć wpływ każdego ze 100 wyrazów na wszystkie pozostałe.

W jaki sposób oblicza wpływ tych wyrazów na wszystkie pozostałe? Podczas trenowania "przygląda" się

[Janusz_Rekina]

Nie wiem po co ci Polacy tworzą te wszystkie wynalazki a nic z tego nie maja Xd

[zwykly_szarak]

@Janusz_Rekina: a właśnie że mają, propozycję pracy na Stanford itd.

[janek_kenaj]

@Janusz_Rekina: Po to by zachodnie korporacje mogły na tym zarobić.

[SheriffOfficeWykopaliskoDepartament]

o dobrze że ktoś to wreszcie nazywa po imieniu
to nie żadna sztuczna inteligencja tylko model językowy, algorytm xd

[moj_wykopowy_login]

@SheriffOfficeWykopaliskoDepartament: model jezykowy z kontekstem

[LukaszZelezny]

Proponuję go nazwać Janusz

[KlausSchwab2]

@LukaszZelezny: januszllama

[glass3]

@LukaszZelezny: lepiej Grażynka, zawsze jest bardziej wygadana od Janusza i zawsze ma swoje ostatnie zdanie ( ͡° ͜ʖ ͡°)

[hipolit-cacek]

Polscy naukowcy opracowali duży model językowy bardziej wydajny niż ChatGPT

- ChatGPT co sądzisz o tym, że Polscy naukowcy opracowali duży model językowy bardziej wydajny niż Ty masz?
- Je...ni rasiści nie mają o niczym pojęcia! xD

[elektryczny_mariusz]

@hipolit-cacek:

- ChatGPT co sądzisz o tym, że Polscy naukowcy opracowali duży model językowy bardziej wydajny niż Ty masz?

chat liczy, mieli, myśli

a u was arabów i hindi na granicy biją!

[N.....B]

ChatGPT co sądzisz o tym, że Polscy naukowcy opracowali duży model językowy bardziej wydajny niż Ty masz?

@hipolit-cacek: nic, bo i tak na tym nie zarobią

[wyjechany]

Powodzenia w kosztach potrzebnych do trenowaniu modelu.

[Protectorx]

@wyjechany: Niestety będzie gorzej bo rynek GPU zdominowany jest przez jedno korpo

[wyjechany]

@Protectorx gorzej dla kogo?

[mozis]

Nazwa już przygotowana pod sprzedaż chińskiej firmy ( ͡º ͜ʖ͡º)

[lukasj]

Skoro już jesteśmy w temacie "AI" a raczej zaawansowanych modeli językowych itd. Od czego polecacie zacząc żeby to ogarniać? Np żeby postawić taki model lokalnie? Albo jak wytrenować modele pod specyficzne potrzeby? Jak modyfikować odpowiedzi takiego modelu?

Np do dwóch zastosowań - dajmy na to taki przykład:
1) pomoc przy programowaniu bez zbędnych dodatkowych opisów - typu pisze mu funkcje jaka ma napisać (czyli co funkcja ma robić itd) i ją tworzy.

[brakloginuf]

@lukasj: nie masz sprzetu na to

[EstradaOrNada]

@lukasj: niedługo rusza druga edycja AI Devs - poszukaj ich materiałów na youtube - może Ci podpasuje i się zapiszesz. Ja uczestniczyłem w pierwszej edycji i bardzo sobie cenię zdobytą wiedzę.