[JamesJoyce]

#sztucznainteligencja #programowanie #programista15k #it #kryzysit

Mordeczki, model dreyfusa pokazuje dlaczego “jeszcze trochę skalowania i mamy agi” to myślenie życzeniowe.

llm operuje na poziomie kompetentnym góra biegłym w wąskich domenach, i to tylko pozornie. nie dlatego że za mało parametrów czy za mało danych. dlatego że ekspertyza w sensie dreyfusowskim wymaga czegoś czego gradient descent nie kupuje: ucieleśnionego doświadczenia z konsekwencjami. pilot uczy się czuć samolot bo błąd go zabija. pielęgniarka uczy się czuć pacjenta bo widziała co się dzieje kiedy zignorowała przeczucie. emocja jako mechanizm kodowania doświadczenia, o którym pisze dreyfus, zakłada że masz ciało, stawkę i czas.

llm nie ma żadnego z tych trzech. każde zapytanie to reset, zero konsekwencji, zero ciągłości. może imitować język eksperta ale nie ma dostępu do tego co ekspertyzę tworzy. to jakby oceniać czy ktoś umie jeździć na rowerze na podstawie tego jak precyzyjnie opisuje równowagę.

skalowanie poprawia etap 1-3, czyli regułowe, wzorcowe, analityczne. na etapy 4-5 nie ma drogi przez więcej tokenów. tam potrzeba zupełnie innej architektury albo zupełnie innej definicji agi, co zresztą część ludzi w ciszy już robi, przesuwając słupki żeby ogłosić sukces.

https://www.leadingsapiens.com/dreyfus-model/

[JamesJoyce]

@JamesJoyce: swoją drogą ja też jakieś swoje pomysły mam. Miałem opublikować repo ale na razie się wstrzymam. Jutro podeślę wyniki wstępne. Jak nie zapomnę ;)

[mathmed]

@JamesJoyce: Ja myślę z kolei, że sam model to tylko baza wiedzy, a jego zastosowanie ma sens w interakcji z fizycznym światem, długim nieresetowalnym kontekstem i może komponentą fine-tuningu. Żeby to miało sens powinny istnieć warstwy - podstawowa sprzętowa, może jakaś niewielka sieć neuronowa ale umożliwiająca szybkie reagowanie i ustawiczną pracę oraz zapytania do wyższych ośrodków (duży LLM). Podobnie działają nasze mózgi biologiczne, gdzie mamy ośrodki niskiego i wyższych rzędów

[gnijacy_wypok]

llm operuje na poziomie kompetentnym góra biegłym w wąskich domenach

@JamesJoyce: O ile było trochę materiałów wsadowych do nauki. Jak nie było, to taki z niego kompetentny pomocnik jak z koziej d--y trąbka. ( ͡° ͜ʖ ͡°)