[Rustyyyy]

Nareszcie, ogólnodostępny model językowy oparty o AI!
Ale uwaga, nie jest to dla każdego (╯︵╰,)

#ai #opensource #it #ciekawostki #antysemityzm #chatgpt

[Boreas_Linvail]

Taktyk coby do tego wrócić, please ignore

[dj_mysz]

@Rustyyyy: 48 GB RAM, RTX 4070 i i7-12700K wystarczy aby to odpalić u siebie bez chmury obliczeniowej?

[Seif]

@dj_mysz: Może być za mało, z tego co widzę, chłopu 40 GB RAM brało podczas działania, ale że GPU masz w miarę spoko, to spróbuj, a nuż się uda.

[DarnoQ]

@dj_mysz: daj znać jak poszło

[Rustyyyy]

@dj_mysz: Wrzuciłem to jako ciekawostkę, sam się tym nie bawiłem.

[Rebbe_Kcewasch_Hajs]

@Rustyyyy: nareszcie. Pytanie totalnego nooba: da się do jakoś w miarę prosto uruchomić na AWS bo mój komp jest z poprzedniej epoki.

[Rustyyyy]

@Rebbe_Kcewasch_Hajs: Mając topowy komputer gamingowy było by ciężko.

[AlexAndR]

hmm

[zarroc]

@dj_mysz: liczy się tylko gpu vram: Ty masz tylko 12gb więc ogólnie mniejsze modele wczytasz, ale większe potrzebują 16-24gb

[sl0w0rm]

@Rustyyyy: przecież ogólnodostępne modele językowe open source są od dawna ¯\(ツ)/¯

[Kraxen7312]

@zarroc zależy może być że model jest przystosowany do alokacji części potrzebnego miejsca na siebie w ram dlatego mu tyle zjadło, ale wiadomo wolniej będzie chodziło

[Geronimos]

@sl0w0rm odkrywają koło na nowo

[sl0w0rm]

@Geronimos: w sumie czego się spodziewać gdy ktoś pisze "model językowy oparty o AI" ;)

[Rustyyyy]

@sl0w0rm: Nie każdy chce korzystać z tora

[proweniencja]

Stawiał ktokolwiek to cudo i trenował na lokalu?

[sl0w0rm]

@Rustyyyy: jakiego tora, przecież są już tysiące otwartych modeli dostępnych chociażby na huggingface. Właśnie odkryłem kolejny który ma tylko 10B parametrów zamiast 7 * 8B jak mixtral i wymaga 4 razy mniej ramu, a w testach wypada lepiej od tego mixtrala.

https://huggingface.co/upstage/SOLAR-10.7B-Instruct-v1.0

[sameowoce]

@Rustyyyy czy ja widzę delfina z cyckami ?

[Rustyyyy]

@sameowoce:

[Nemetiisto]

Skoro to jest dla nikogo to nie warto sobie głowy zawracać. ????

[jozinzbazin_bozy]

@dj_mysz ja mam RTX 3090 i i5 13600kf i 32 RAMu, cusz, chyba spróbuję zobaczymy