Dlaczego otwarte modele generatywnego AI wciąż są krok za GPT

Generatywna sztuczna inteligencja znalazła się na rozdrożu między otwartymi a zamkniętymi źródłami. Ostatnie badania pokazują znaczące różnice w jakości odpowiedzi na specjalistyczne pytania medyczne, stawiając w niekorzystnym świetle otwarte modele w porównaniu do GPT-4.

[dziacha]

O to właśnie chodzi, gdyby te otwarte były przed GPT 4 to byłyby zamknięte, oni otwartością próbują dogonić OpenAI i pewnie im się to uda, ponieważ tempo rozwoju GPT może zacząć po pewnym czasie wyhamowywać.

[Rabusek]

ponieważ tempo rozwoju GPT może zacząć po pewnym czasie wyhamowywać

@dziacha: Chyba już w sumie zaczęło, 2023 to ciągle jakieś problemy z outputem (choćby grudzień i sugestie że "model nauczył sie pracować mniej w grudniu"), albo model 128k który jest w zasadzie w miare używalny do 64k, potem zaczyna bredzić

[dr__slim]

@PotwornyKogut: niby gimp nie dogonił photoshopa, ale cała masa FLOSS stała się standardem na wielu rynkach.
Co ciekawe sporo cześć tych programów to nie GPL a MIT i potężna korporacja, która za darmo daje produkt, który wystarcza 90% a z pozostałych 10% się utrzymuje.

[dodd]

W grudniu wyszedł Mixtral 8x7B, który dorównuje ChatGPT 3.5. Mistral obiecuje wypuścić w tym roku model dorównujący ChatGPT 4 i podejrzewam, że to im się uda, bo ich zamknięty model Mistral Medium jest już bardzo blisko tego poziomu. Otwarte modele są w tyle, to prawda, ale nie tak bardzo jak sugeruje ten artykuł. Od czasu Llama 2 otwarte modele poszły już sporo do przodu.

przydatny link:
https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

[dodd]

@dodd: Inna sprawa, że porównanie modeli na podstawie tylko jednej, bardzo wąskiej dziedziny i wyciąganie na tej postawie mocno ogólnych wniosków średnio ma sens. Ja pierwszy raz słyszę słowo "nefrologia" i podejrzewam, że nie jestem jedyny.

[kwanty]

Od czasu Llama 2 otwarte modele poszły już sporo do przodu.

@dodd: Nie tylko modele ale też sposoby trenowania. To właśnie dzięki otwartym modelom (Lama od FB/Meta) powstały tanie metody trenowania takie jak (Q)LoRA.

Jakiś czas temu wyciekła notka od pracowników googla (nie wiadomo jaka jest wiarygodność tej notki). Tam była analiza OpenAI/MS/Meta vs Google w kontekście LLM. Wynikało z niej, że OpenAI nie ma żadnej przewagi, nie mają żadnego

[CyberMonoPlexer]

Bo OpenAI pompuje kasę w dane do szkolenia modeli.

[autotldr]

To najlepszy tl;dr, jaki mogłem zrobić, oryginał zmniejszony o 76% (jestem botem)

Generatywna sztuczna inteligencja znalazła się na rozdrożu między otwartymi a zamkniętymi źródłami.

Ostatnie badania pokazują znaczące różnice w jakości odpowiedzi na specjalistyczne pytania medyczne, stawiając w niekorzystnym świetle otwarte modele w porównaniu do GPT-4.

Ta