[JamesJoyce]

#programista15k #datascience #artificialintelligence #sztucznainteligencja

Ciekawe w jaki sposób Microsoft będzie redukował koszty, do momentu rozwoju AI, które będzie generowało większe przychody. Zarabiają na innych rzeczach, więc nie jest to pewnie jakiś wielki problem, ale jeśli rentowność nie zacznie rosnąć, może się nim stać. Ciekawe czy pójdą np. w reklamy, albo transfer kosztów obliczeniowych na klienta. Nie wiem jak to ostatnie mogłoby wyglądać.

[tos-1_buratino]

@JamesJoyce:
Bo to #!$%@? bruteforce który żre zasoby przy każdym zadaniu. Gdzieś w tych wytrenowanych wagach są zaszyte optymalne modele językowe ale nie wiadomo jak je wyodrębnić.

[JamesJoyce]

@tos-1_buratino: Może nie całkiem brute force, ale zgadzam się. Jest tam bardzo widoczny efekt skali.

[zibizz1]

@JamesJoyce narazie jest proces uzależnia użytkowników. Jak już nie będą mogli sobie pozwolić na dokładanie do interesu to ustala takie ceny żeby to się spinalo. Ci których nie będzie stać zrezygnują, ale do tego czasu złowią sporo osób których będzie stać.

[ZyfiDynock]

@JamesJoyce: To się niedługo zmieni. Za dwie-trzy generacje procesorów, zoptymalizowanych pod obliczenia AI koszty znacząco spadną i zacznie się opłacać. Teraz trwa proces, jak napisał @zibizz1, uzależniania użytkowników.

Mnie np. Chat Bing złapał na swój lep. Proste wyszukiwania może nie są czasowo efektywne, bo jednak na odpowiedź trzeba poczekać, a nie dostać od razu jak w zwykłej wyszukiwarce, ale już zapytania złożone, to ogromna oszczędność czasu, szczególnie, że dostaje się

[JamesJoyce]

@ZyfiDynock: od kilku lat procesory graficzne są tworzone pod AI. Problem polega na tym, że jest ich za mało i są niewystarczająco wydajne. Generalnie zgadzam się, że przyszłość przyniesie lepsze GPU, ale wciąż, będą one bardzo drogie. Zwykła 4090 kosztuje ~10k, a gdzie 4090 do poważnych zastosowań na poziomie llmów.

Ja korzystam z ChatuGPT w plusie i jestem zadowolony. Ale to dlatego, że przyjmuję na klatę jego ograniczenia i nie oczekuję

[JamesJoyce]

@zibizz1: ok, ale do tego czasu powstanie tyle opensourców, że może okazać się, że ludzie nie chcą płacić. Plus wielkie korpo zrobią swoje własne platformy.

[zibizz1]

@JamesJoyce: Jak to nie chcą płacić? Za hosting tez nie chcą płacić i hostują sobie na opensourcowych serwerach? ( ͡° ͜ʖ ͡°) LLM a właściwie pewnie za chwile będzie to ELLM(E od extra) to jest jak budowa rakiety. Ciężko to zrobić w domu, trzeba miec zasoby. Oczywiście może sie zdarzyć jakaś inowacja w budowie i trenowaniu sieci która spowoduje że ktoś na tym się wybije i rozwinie

[ZyfiDynock]

@JamesJoyce: Tak dynamiczny rozwój nie będzie trwał wiecznie. Może 3-4 lata, potem nastąpi proces optymalizacji kosztów i spowolnienie.

Z ChatGPT korzystałem, ale teraz korzystam z czatu binga. W niektórych zastosowaniach jest lepszy, w innych gorszy, ale generalnie w moje potrzeby wpisuje się znakomicie.

[JamesJoyce]

@zibizz1: Nie, ale np. korzystają z modeli lokalnie. Ktoś go trenuje, np. HuggingFace, a ktoś inny z niego korzysta, ściągając 70gb binarki. Nie twierdzę, że ktoś będzie robił opensourcową alternatywę dla MS czy OpenAI w kwestii tworzenia tych podstawowych modeli, jak GPT3 czy 4, ale że po tym jak ktoś to wytrenuje, ktoś inny ściąga sobie binarki i robi na nich produkt, który może być opensource.

[zibizz1]

@JamesJoyce: Zawsze tak było i mimo że taki Tesseract OCR jest opensource i jest to wytrenowany model(kiedys najlepszy opensource) to jednak ludzie uzywają płatnych zamkniętych rozwiazań za które płacą bo są lepsze. Takie ABBYY nadal nie zbankrutowało i ludzie to kupują

ktoś inny ściąga sobie binarki i robi na nich produkt, który może być opensource.

Albo MUSI być opensource( ͡° ͜ʖ ͡°)

[mrocznapszczola]

@JamesJoyce: Uber istnieje od tylu lat i dopiero w tym roku osiągnął zysk. Tak jak ktoś wcześniej napisał, nie chodzi o koszty tylko o skalę i uzależnienie użytkowników + twoje dane. Więcej prawidłowo rozwiązanych rzeczywistych zadań, więcej danych, wyższa skuteczność, mniejsze koszty. Z czasem pojawią się bardziej efektywne architektury, tańsze procesory obliczeniowe i lepsze metody optymalizacji.

[JamesJoyce]

@mrocznapszczola: Oczywiście. Ale to opiera się na założeniu, że nowa architektura pojawi się odpowiednio szybko. A wydaje mi się, że nic tego nie dowodzi na ten moment. Ja się oczywiście z wami zgadzam. Ciekawi mnie tylko co zrobią "w międzyczasie".

[JamesJoyce]

@zibizz1: MS chce jednak maksymalizować zysk (a przynajmniej wydaje mi się, że chce). Wieloletnie czekanie, na tak zmiennym rynku jest bardzo ryzykowne. Być może jednak liczą na to, że llmy do programowania przejdą jakiś przełom w szybkim czasie.