[czlowiek_z_lisciem_na_glowie]

Jak potężny musiałby posiadać komputer robot, aby zmieścił cały model chatGPT 4 i jeszcze mógł pracować na nim OFFLINE z pełną prędkością bez zacięć i czy będzie to kiedyś możliwe, aby cały chatGPT zmieścić w jednym małym komputerze i żeby mógł pracować bez chmury obliczeniowej?

#technologia #sztucznainteligencja #chatgpt #uczeniemaszynowe #deeplearning #programowanie #pytaniedoeksperta

[gysnde]

@czlowiek_z_lisciem_na_glowie: trening wymaga wielkich klastrów obliczeniowych, ale inferencja (wykonanie) już nie. Specyfikacja Chat GPT-4 nie jest znana, ale GPT-3 wymagał kilku kart graficznych 20GB. Tutaj masz przykład modelu opartego o LLAMA od Facebooka, który działa nawet na telefonie: https://github.com/ggerganov/llama.cpp

[kolekcjoner_szekli]

@czlowiek_z_lisciem_na_glowie: @gysnde
W przypadku GPT-4 jest gorzej niż w przypadku poprzednika i można snuć domysły jak bardzo. Sam model określany jest jako wolniejszy i ma limit wiadomości na płatnej wersji

[czlowiek_z_lisciem_na_glowie]

@gysnde
Aha, więc technicznie jest w zasadzie możliwe aby taki robot Boston Dynamics miał zainstalowany model GPT3 i wykonywał go offline, tylko niczego nie mógł by się uczyć nowego

[gysnde]

@czlowiek_z_lisciem_na_glowie: Tak. Google od lat ma układy TPU Coral dla tego typu zastosowań ("Edge Computing"). Microsoft niedawno ogłosił prace nad własnym chipsetem.

Boston Dynamics raczej sam tego nie zrobi, dlatego będą dostarczać robotykę (ciało), a Microsoft / Google krzem (mózg) i soft z modelem ("umysł"), ew. któryś z większych graczy ich kupi. Obecnie tylko Tesla dostarcza pełny produkt: samochód oraz FSD.

[Bejro]

@czlowiek_z_lisciem_na_glowie: Chyba jeszcze nie znamy specyfikacji GPT-4 ale zakładałbym, że to GPT-3.5 wytrenowany do przetwarzania dłuższych sentencji wejściowych więc jego teoretyczne wymagania mogą nie być dużo większy niż te dla 3.5 - ale jest za to wolniejszy. Jeśli jednak o GPT-3.5 chodzi, to ostatnio był fajny papier gdzie naukowcy ze Stanforda wytrenowali model LLaMA-7B tworząc Alpaca-7B który jest o rząd wielkości mniejszy od GPT-3.5 ale oferuje porównywalną lub lepszą jakość. Alpaca