[JamesJoyce]

#programista15k #programowanie #it #chatgpt #sztucznainteligencja

Wydaje mi się, że wszystkie najważniejsze laby osiągnęły lub zaczynają widzieć na horyzoncie granicę w trenowaniu llmów. Tą granicą są oczywiście dane i dostępność GPU. Nie można skalować wielkości modelu i ilości danych treningowych w nieskończoność. Nie jestem pewien tylko, czy spodziewali się, że nastąpi to tak szybko. Dlatego historia zaczyna zataczać koło i obecnie prace skupiają się na próbach:

a) trenowania małych modeli za pomocą llmów lub;
b) wdrażania rozwiązań rule-based, transferu wiedzy, czy Q* learningu w małych modelach, czyli gofai.

Widać to zwłaszcza po ilości paperów, które pojawiają się na konferencjach/arxivie. Próbuje się także przepisać warstwe "uwagową" transformersów, by nie była tak bardzo zasobożerna, np. https://arxiv.org/abs/2311.10642?fbclid=IwAR3MHBjNf5mY93VJAhm6iquGU5gHFbf9jKcJV5k-ZtrYJQurkdpmiWJDR6E

Nie wiemy ile pieniędzy realnie spalane jest na trenowaniu llmów, ale po szumie wokół prób znalezienia nowego podejścia obstawiam, że kilka rzędów wielkości więcej niż się spodziewamy.

Filozoficznie (ale też lingwistycznie) llmy wciąż cierpią na to, co Goertzel określa "brakiem ugruntowania symbolicznego". W swoim wpisie na blogu, przy okazji premiery GPT-3 podał on ciekawy przykład, co to oznacza:

Podając GPT-3 zadanie:

Q: Write one line of Ruby code to reverse an array.

Odpowie poprawnie:

A: ary.reverse

Ale zadając pytanie bardziej szczegółowo:

Q: Reverse the following array: [1, 3, 5, 6, 10, 4, 2, 77]

Pogubi się.

A: [10, 6, 4, 2, 77, 3, 5, 1]

Oczywiście GPT-4 pewnie poradzi sobie lepiej z tym problemem i odpowie poprawnie, ale istnieje duża szansa, że wyłoży się na innym, bardziej zaawansowanym przykładzie tego typu. Dlaczego? W skrócie, wg. Goertzela GPT-3 (i inne modele oparte na architekturze transformerów) nauczył się pisać kod do odwracania tablic, ucząc się skomplikowanych wzorców między językiem angielskim a składnią języków programowania, nie tworząc jednak wewnętrznego modelu struktur danych, takich jak tablice, które manipuluje. Brakuje mu ugruntowania symbolicznego, czyli zdolności do identyfikacji lub tworzenia konkretnych odniesień do używanych słów i fraz. Ta luka ogranicza jego użyteczność w praktycznym programowaniu, ponieważ GPT-3 nie rozumie, co to jest przycisk czy kości do gry, więc nie może zaprojektować programu z ich użyciem na podstawie praktycznych wymagań użytkownika. Do poczytania przy niedzieli.

http://multiverseaccordingtoben.blogspot.com/2020/07/gpt3-super-cool-but-not-path-to-agi.html

Wdrażanie gofai do llmów jest dlatego ważne, że potencjalnie rozwiązuje problem ugruntowania symbolicznego, tworząc brakujące odniesienia.

[Zavis]

Q: Reverse the following array: [1, 3, 5, 6, 10, 4, 2, 77]

Pogubi się.

A: [10, 6, 4, 2, 77, 3, 5, 1]

@JamesJoyce: wrzuciłem to właśnie do gpt 3.5 i sobie poradził

[JamesJoyce]

@Zavis: tak, od artykułu Goertzela minęło trochę czasu. Modele są dużo lepsze, plus nie wiadomo na ile to są "czyste" llmy, które odpowiadają przy pomocy danych treningowych, a na ile jest tam coś dodatkowego. Sam czasem miewam wątpliwości. Tzn wahania opinii nt. gpt4. Raz uważam, że to aż za dobre, żeby było prawdziwe, a raz, meh, co za syf.

[JamesJoyce]

@Zavis: Inna sprawa, że istnieje taki żart branżowy, że jakiś badacz mówi, że, żeby system mógł być określany jako prawdziwe AI to musi potrafić zrobić jakieś x. Jednak, gdy to x jest osiągnięte, to ten sam badacz mówi, że nie o to chodziło, i to dalej nie jest prawdziwe AI, bo musi potrafić zrobić y. Gdy osiąga y, badacz mówi, że nie o to chodziło, i prawdziwe AI powinno potrafić

[AntyKuc]

@JamesJoyce:

Wydaje mi się, że wszystkie najważniejsze laby osiągnęły lub zaczynają widzieć na horyzoncie granicę w trenowaniu llmów. Tą granicą są oczywiście dane i dostępność GPU

A co z tą informacją, że Open AI znalazło sposób żeby modele same się uczyły na podstawie danych, które stworzą. Jest w tym jakiś sens?

[JamesJoyce]

@AntyKuc no to jest właśnie przykład próby wdrożenia czegoś w stylu rule based (tutaj szukanie drogi po grafach przez wzmocnienie jak dobrze pamiętam) w llm. Wszyscy chcą teraz znaleźć sposób na polepszenie działania ai, bez konieczności dawnego zwiększania rozmiaru modelu/datasetu treningowego. Obecnie celem zaczyna być optymalizacja.