Koszt działania ChatGPT to oszałamiające 700 000 USD... dziennie

Utrzymanie 3617 serwerów HGX A100 wyposażonych w 28936 procesorów graficznych to część kosztów, które sięgają 700 000 USD każdego dnia. Tyle kosztuje działanie ChatGPT. Każda wygenerowana odpowiedź to około 0,36 USD. Microsoft pracuje nad własnym chipem, który będzie tańszy w utrzymaniu od NVIDII.

[Indoktrynator]

Kwestia czasu jak znajdą sposób na obniżenie kosztów.. Poza tym ta inwestycja i tak im się zapewne zwróci w niewyobrażalnym stopniu.

[Shem_UK]

Ciekawe, kiedy chatgpt stanie się w pełni płatny.

oh wait! zaraz go zapytam

[karma-zyn]

widać i tak się opłaca

[starnak]

Według badań przeprowadzonych przez SemiAnalysis, utrzymanie ChatBota OpenAI pochłania dziennie ogromne pieniądze. Firma szacuje, że system składa się z około 3617 serwerów HGX A100 wyposażonych w 28936 procesorów graficznych, a koszt zapytania wynosi około 1,50 PLN. W szoku jestem że to aż tyle kasy kosztuje kosztowna inwestycja.

[LITWIN]

@Kroledyp całe szczęście wyszukiwarka Google nic ich nie kosztuje.

[Kroledyp]

@LITWIN: Przecież Google też nie działa charytatywnie, nie rozumiem czemu mi to napisałeś.

[KingaM]

A z dachu jaki % energi jest w stanie wyciągnąć?

[Pawery1]

@KingaM: zadaj to pytanie Chat GPT :)

[slapdash]

Tyle co koszt produkcji duzego filmu. No faktycznie, niebywała kwota xD

[chlopiec_kucyk]

@slapdash: Takie filmy nie wychodzą codziennie

[Sababukin]

@chlopiec_kucyk: Koszt produkcji to nie jest całkowity koszt jaki się wydaje na film. Śledzę trochę kanałów o tej tematyce i wszyscy twierdzę że drugie tyle dla dużych produkcji idzie jeszcze na marketing i "dodatkowe" wydatki, więc jak zakładają 350mln to możesz spokojnie założyć że film tak naprawdę kosztował te 700.

[Insion]

Dużo pieniędzy. Nigdy takich nie widziałem i pewnie nie zobaczę.

[tos-1_buratino]

Koszt działania tej infrastruktury. Koszt jej utworzenia x razy więcej a za rok będzie przestarzała bo tyle firm teraz stawia własne centra trenowania modeli.
Największym wygranym jest nvidia która znalazła jeszcze większych idiotów do dojenia niż gracze, ludzi przeświadczonych o tym, że model językowy dodający algorytmem kolejne pasujące słowo do zdania jest jakąś rewolucją.

[AdireQ]

Największym wygranym jest nvidia która znalazła jeszcze większych idiotów do dojenia niż gracze, ludzi przeświadczonych o tym, że model językowy dodający algorytmem kolejne pasujące słowo do zdania jest jakąś rewolucją.

@tos-1_buratino: Najwyraźniej jest rewolucją, biorąc pod uwagę fakt, że te algorytmicznie generowane zdania mają sens w kontekście pytania.

@tos-1_buratino: Jak mam traktować poważnie człowieka którego jedynym argumentem jest to czy coś jest algorytmiczne czy nie? Czy ktoś już niezaprzeczalnie udowodnił

[tos-1_buratino]

@AdireQ:
Nie napisałem, że te chatboty są do niczego. Tylko nie są taką rewolucją za jaką je się uważa i nie są tyle warte biznesowo.
Firma inwestuje miliardy w trenowanie modelu, potem model(dokładniej jego wagi) wycieka jak llama z mety i każdy może tego używać na swoim kompie. Sam Open AI leci na fali mody i popularności teraz ale to się skończy wtedy gdy szeroka publika pozna ograniczenia modeli językowych.
Ludzie

[Tytanowy_Lucjan]

Przecież za tym stoi jeden, bardzo zdolny człowiek ( ͡° ͜ʖ ͡°)

[GratisLPG]

Gdzie są aktywiści broniący klimat? ( ͡° ͜ʖ ͡°)

[Gohagohatrzyzlote]

@GratisLPG: przecież klimat się ociepla tylko w Europie XD

[billuscher]

@GratisLPG: niech umiera może AI wtedy przejmie władzę i nas zniewoli ( ͡° ͜ʖ ͡°)