[JamesJoyce]

#programowanie #programista15k #programista25k #it #sztucznainteligencja #chatgpt

[CamusVevo]

@JamesJoyce: inhaluj dalej to copium, na razie skala okazała się metodą na pokonanie wszystkich trudności xD

[JamesJoyce]

@CamusVevo jakie copium byku, ja czekam na agi od wielu, wielu lat.

[niegramwwowa]

@JamesJoyce niedługo będzie

[Bejro]

@CamusVevo: No nie, model o rozmiarze 34B pokonuje GPT-3.5 o rozmiarze 175B. Model o rozmiarze 7B jest całkiem porównywalny. Zestawy treningowe z 10 tysiącami wybitnych próbek są lepsze niż zestawy 10 milionów bardzo dobrych próbek. Teraz nadzieja w danych syntetycznych i RL. Skalowanie rozmiaru sieci i ilości ludzkich danych dalej niż poziom GPT-4 raczej nas nie zaprowadzi.

[JamesJoyce]

@niegramwwowa: słyszę to od 10 lat.

[MilionoweMultikonto]

@JamesJoyce: dlaczego czekasz zamiast je zaprogramować? ( ͡° ʖ̯ ͡°)

[SamBeliar]

@JamesJoyce: AGI za 5 lat mordo

[nad__czlowiek]

@JamesJoyce: człowiek ok 80 miliardów neuronów, pytanie czy te AI mają chociaż z 1 miliard sztucznych neuronów? 100 milionów? Jak myślisz

Podobno jak takie AI osiągnie 160-240 miliardów neuronów (ifów hehe) to dopiero przewyższy człowieka. Ciekawy jestem jak szybko dobiją do takiej liczby

[JamesJoyce]

@MilionoweMultikonto: chodzę na konferencję od wielu lat, mam swoje side projekty, których nie zliczę. Aktualnie inwestuję spore środki w hardware. Mam bardzo mocne wykształcenie logiczne, lata zajmowałem się logikami niemonotonicznymi, temporalnymi itd. Przez to, czasu do czasu miewam nadzieję, że to jest furtka, którą przeoczają wielkie koncerny. No a zawodowo rozwijam AI, ale nie takie. Tam jestem inżynierem. Tam rozwiązanie ma działać stabilnie.

Ale poza pracą, po części też uczelnianie,

[JamesJoyce]

@nad__czlowiek: wiesz co, to jest trochę taki współczesny scjentyzm filozoficzny, to co mówisz. I wydaje mi się, że pytanie tego typu, jak twoje zakłada coś, co nazywa się obliczeniową teorią umusłu, tzn. że umysł jest rodzajem komputera, wiec jeśli stworzymy odpowiednio podobny komputer, to będzie działał podobnie. Dlatego skalujemy te wielkie modele, bo wydaje nam się, że jak zbliżymy się wielkością sieci neuronowych sztucznych do ludzkich, to coś się nagle

[MilionoweMultikonto]

No a zawodowo rozwijam AI, ale nie takie. Tam jestem inżynierem. Tam rozwiązanie ma działać stabilnie.

@JamesJoyce: super że to poruszyłeś, ponieważ uważam że AGI także powinno działać stabilnie, a z modeli typu LLM korzystać jedynie do komunikacji ze światem zewnętrznym, ale sam proces decyzyjny powinien być w 100% przejrzysty.

Uważam też że kluczową umiejętnością AGI jest umiejętność rozwoju własnego kodu i kodu swoich pluginów. Jeżeli AI będzie w stanie

[MilionoweMultikonto]

Dlatego skalujemy te wielkie modele, bo wydaje nam się, że jak zbliżymy się wielkością sieci neuronowych sztucznych do ludzkich, to coś się nagle stanie i w maszynę wstąpi duch. Ja niestety w to nie wierzę. AGI,

@JamesJoyce: skalujemy modele ponieważ chcemy wiedzieć jakie to przyniesie efekty i zdobyć doświadczenie które pomoże nam podejmować decyzje przy dalszym rozwoju AI. Jednak co do ducha to trzeba by bylo najpierw udowodnić że ludzie

[JamesJoyce]

@MilionoweMultikonto: Nie wiem czy widziałeś ostatni świetny wykład Karpathiego o llmach. Podaje on tam na końcu swoje predykcje dotyczące tego, w którą stronę pójdzie AI. I jego zdaniem LLMy (te duże, bazowe modele) przestaną być używane powszechnie a staną się jądrem systemów operacyjnych nowej generacji, odpowiadającym za orchiestracje wszystkich innych modułów. Problemem jest oczywiście tylko to, że Twój warunek "sam proces decyzyjny powinien być w 100% przejrzysty" jest niestety w

[JamesJoyce]

@MilionoweMultikonto: otoż nie mam zielonego pojęcia. Nie mam problemu z przyznaniem tego. Zdaję sobie sprawę, z tego jak mało wiem.

[JamesJoyce]

@MilionoweMultikonto skalujemy modele bo to działało do tej pory a nie mamy innego rozwiązania. Liczymy na emergencję, która nie nadchodzi.