[SkyrFan2000]

Dużo osób mówi o tym że AI się będzie rozwijać wykładniczo i zaraz będzie AGI i ASI.
Ale teraz takie szczere pytanie. Widzieliście kiedykolwiek jakąkolwiek technologię która rozwijałaby się wykładniczo?
Zazwyczaj jest dokładnie na odwrót, i większość technologii podąża drogą logarytmiczną, gdzie początkowe "łatwe problemy" są stosunkowo szybko rozwiązywane, co daje bardzo szybki początkowy progress, a później jest coraz trudniej.

Dlaczego AI miałoby podążać inną drogą? Już nawet rzucanie mocy obliczeniowej nie daje takich rezultatów jak na początku, i mniejsze modele nie odstają, a czasem nawet są lepsze, od większych.

#pracait #ai #progamowanie #chatgpt

[wicherq]

@SkyrFan2000 moc obliczeniowa komputerów w latach <2000 ?

[nad__czlowiek]

@SkyrFan2000: telefon komórkowy w 2005 roku miał 64mb pamięci wbudowanej, procesor 1 rdzeń i pewnie 512kb ramu (o ile w ogóle miał RAM) i mógł tylko dzownić i wysyłać SMS. Zdjęcia 1px tragiczna jakość

Telefon w 2023 roku ma 8GB RAMU, procesory 8 rdzeni-16 wątków, 512gb pamięci wbudowanej. Telefon z 3-4 aparatami, główny 50-100MP z zoomem 50x, w topowych modelach mają podobną jakość co tańsza/starsza lustrzanka

Nie no wcale nie ma

[SkyrFan2000]

@wicherq: No właśnie to jest przykład logarytmicznego wzrostu? Póki dało się łatwo zmniejszać tranzystory i zwiększać częstotliwość to progress był szybki i łatwy, teraz trzeba uciekać się do wielowątkowości, "branch prediction", SIMD, i wielu innych trików które wcale proste nie są.
Jakby był to wzrost wykładniczy to byśmy tylko przyśpieszali.

[SkyrFan2000]

@nad__czlowiek: Przepaść pomiędzy telefonem z 2005 a 2015 jest wielokrotnie większa, od telefonu z 2015 a dzisiejszym.
Chyba nie rozumiesz co to wzrost wykładniczy.

[Saly]

Widzieliście kiedykolwiek jakąkolwiek technologię która rozwijałaby się wykładniczo?

@SkyrFan2000: prawo Moore. Tylko w tamtych czasach było wiadomo, że nie ma żadnych fizycznych przeciwskazań, żeby robić mniejsze trazystory a nawet i w dzisiejszych czasach mamy dobry wzrost, bo jest duże parcie na rozwój i rynek wydał mnóstwo hacków, które pozwalają na zwiększenie liczby trazystorów pomimo problemu ze zmniejszeniem rozdzielczości litografi

W przypadku AI nikt nie wie jak to będzie więc to takie

[nad__czlowiek]

@SkyrFan2000: rozumiem doskonale, telefony w 2015 dopiero miały 512mb/1gb RAMU i aparaty 4-8MP

[SkyrFan2000]

@nad__czlowiek: 512MB Ramu to miał HTC HD2 w 2009 roku. W 2015 miałeś takie telefony jak Galaxy S6 z 3GB.
Zresztą to nie ma aż takiego znaczenia, bo pchanie więcej RAMu nie daje aż takich zmian w końcowym produkcie.
Tak samo więcej MP nie daje lepszych zdjęć. Progress kamer w telefonach to też głównie AI/post-processing, a nie faktycznie lepszy hardware.

[nad__czlowiek]

@SkyrFan2000: porównujemy modele ze średniej półki, flagowce a nie topowe

[Saly]

zwiększać częstotliwość to progress był szybki i łatwy, teraz trzeba uciekać się do wielowątkowości, "branch prediction", SIMD, i wielu innych trików które wcale proste nie są.

@SkyrFan2000: myślę, że z AI też to nie będzie więcej kart i danych tylko ktoś będzie kminił jakieś lepsze podejścia z tym co mamy

Zwiększenie liczby tranzystorów to nie tylko mniejsza litografia. Dzisiejsze procery wykorzystują dużo tricków np. kiedyś tranzystory były płaskie a teraz są

[SkyrFan2000]

@Saly: No właśnie, tylko te triki kosztują. Często żeby je wykorzystać musisz wiedzieć co robisz. Ludzie którzy te triki projektowali musieli wiedzieć co robią.
O to mi chodzi między innymi, mimo że nawet "na papierze" wzrost się trzyma, to użyteczny progres jest coraz mniejszy.
Bo co z tego że procesor jest wstanie zrobić x razy tyle co wcześniej, skoro i tak musi czekać na dane z RAMu.
Co z tego że

[Saly]

a przejście z AGI -> ASI będzie trwało dużo dłużej niż dojście do AGI.

@SkyrFan2000: w przypadku litografii wiemy, że dla skali, którą mamy teraz każdy kolejny wzrost to wykładniczy wzrost trudności, bo każdy aspekt (drukowanie, efekty kwantowe, korekcja błędów, źródło światła) jest coraz trudniejszy do pokonania. W przypadku ASI nie wiemy czy np. zwiększenie pamięci 10x nie sprawi, że będzie sukces

[getin]

@SkyrFan2000: tak jest byczku, ale kto zarobił ten zarobił

[Bejro]

@SkyrFan2000: Rozwój czegokolwiek to sigmoida - na początku jest wzrost eksponencjalny a póżniej logarytmiczny. W dziedzinie AI na razie widzę wzrost wykładniczy. Po prostu tak wiele się wydarzyło, że ma się wrażenie, że więcej już się zdarzyć nie może, a to był tylko rok 2023, poczekajmy na 2024. Mam wrażenie, że jesteś tak przytłoczony tym co dostaliśmy, że nie wierzysz, że coś więcej zostało do zrobienia. W 2023 co miesiąc działo

[Hieronim_Berelek]

@SkyrFan2000: ale AI możesz wykorzystać do zaprojektowanie jeszcze lepszego AI, a telefonu nie.

[SkyrFan2000]

@Hieronim_Berelek: Procesor możesz użyć do zaprojektowania jeszcze lepszego procesora.
A mimo wszystko koszt zaprojektowania lepszego procesora rośnie, a nie maleje.

[nairamk]

@SkyrFan2000:

Pojemność dysków twardych w latach ~1990-2005

Pamiętam wtedy tekst jak ktos chciał kupic dysk i sie pytał jaki.

odpowiedź była: "Poczekaj miesiąc, kupisz 2x większą pojemność jak jest obecnie max za tą samą cenę" :)

[Fytyny93]

@SkyrFan2000: Różnica jest taka, że gdy uda się stworzyć AGI, to nad ASI nie będą pracować już tylko ludzie, ale także AGI niezależnie od ludzi. ASI zgodnie z definicją jest to inteligencja przewyższająca człowieka, biorąc pod uwagę, że już chatowi GPT na niektóre pytania zdarza się odpowiedzieć w sposób wykraczający poza rozumowanie przeciętnego człowieka to ASI najprawdopodobniej zostanie osiągnięte w ten sam dzień co AGI. Następnie ASI przejmie rolę rozwijania AI

[SkyrFan2000]

@Fytyny93: Spoko artykuł, tylko to jest typowa gatka że progress w AI będzie przyśpieszać. I że wystarczy rzucić więcej mocy obliczeniowej żeby osiągnąć AGI. A samo AGI będzie zdolne do przyśpieszenia prac nad AI od samego początku swojego istnienia, a problemy techniczne nie będą narastać spowalniając progres, nawet z bardziej inteligentną AI.

chatowi GPT na niektóre pytania zdarza się odpowiedzieć w sposób wykraczający poza rozumowanie przeciętnego człowieka

Masz jakiś przykład. Bo

[Fytyny93]

@SkyrFan2000: Jeśli AGI nie będzie w stanie przyspieszyć prac nad AI to wg. mnie nie będzie to prawdziwe AGI. Prawdziwe AGI nie powinno się dużo różnić od człowieka inteligencją, a szybkością i konsekwencją pracy już powinno go znacznie przewyższać, w końcu maszyna będzie w stanie pracować 24/7 bez przerwy.

Co do drugiego to Dragan rzucał w niego różnymi zagadkami i niektóre rozwiązywania były dosyć ciekawe, a na które nie wpadł żaden

[Fytyny93]

@SkyrFan2000: Jeśli są jakieś limity technologiczne przy rozwoju AI to ja raczej obstawiam, że to nie my na nie natrafimy, tylko właśnie ASI. Stworzenie czegoś co kompletnie zasymuluje ludzki mózg z tych klocków, które już mamy powinno być możliwe. Kwestia umożliwienia AI zapamiętywania rzeczy bez treningu.