[JamesJoyce]

#programowanie #programista15k #sztucznainteligencja #chatgpt #openai

Czyli szachy 4d Microsoftu i wszystko w ich rękach, w ramach Azure. Jeśli to się spełni i MS dostanie wagi i architekturę GPT-4, to nie będzie miał żadnej konkurencji.

Korporacja Arasaka wygrywa. Game over.

[nocny-mirek]

@JamesJoyce: co to są wagi?

[markaron]

@JamesJoyce: Przecież w Azure juz od dawna jest dostępny OpenAI Service z dostepem do wielu modeli, nie tylko GPT i można sobie samemu trenować swoje własne modele. https://azure.microsoft.com/en-us/products/ai-services/openai-service

[JamesJoyce]

@markaron: oczywiście, że jest i co z tego? Nie chodzi o dostęp a o architekturę, która dla zewnętrznego badacza jest blackboxem. Nie ma informacji, że OpenAI w dealu z MS przekazało MS informacje dot. architektury gpt4, ilości parametrów, treningu czy czegokolwiek innego. A te informacje są w tej chwili najważniejsze.

[JamesJoyce]

@nocny-mirek: żargonowo, "wagi" odnoszą się do parametrów, które determinują sposób przetwarzania i interpretacji danych przez model. Są one analogiczne do nabytej wiedzy i doświadczenia, kształtując proces myślenia oraz reagowania na zapytania.

Wagi są kluczowe, gdyż umożliwiają modelowi zrozumienie kontekstu, znaczenia słów oraz ich wzajemnych relacji, co przekłada się na adekwatność i sensowność generowanych odpowiedzi. Stanowią one wynik procesu uczenia na bazie obszernej ilości danych, co bezpośrednio wpływa na zdolność modelu

[markaron]

@JamesJoyce: Coś tam ci dzwoni ale nie wiadomo w którym kościele. Gdyby MS nie znał architektury o której piszesz to nie mógłby uruchamiać swoich modeli językowych bazujących na OpenAI. To są dokładnie te same modele, z kompatybilnymi API i jedyna różnica jest taka, że modele uruchomione w Azure spełniają wymogi bezpieczeństwa i poufności danych oraz integrują się pozostałymi usługami chmurowymi, dzięki czemu firmy mogą budować swoje rozwiązania oparte o te

[JamesJoyce]

@markaron: dlaczego nie mógłby? Nie mówię o modelach, mówią o jednym, konkretnym modelu -gpt4. Architektura gpt3 jest podana nawet w pracy Language Models are Few-Shot Learners

[markaron]

@JamesJoyce: Bo żeby wiedzieć jak coś uruchomić czy dostosować pod siebie musisz znać architekturę tego czegoś. Pytanie jest tylko na jakim poziomie MS ma tą wiedzę, ale patrząc po tym, że są największym inwestorem w OpenAI, do tego zbudowali dla nich w Azure superkomputer na którym OpenAI trenuje modele https://news.microsoft.com/source/features/ai/openai-azure-supercomputer/ to mają bardzo dużą wiedzę o tym jak LLM-y ( w tym GPT-4) od OpenAI działają.

[JamesJoyce]

@markaron: Ależ to mogą być dwie kompletnie różne kwestie. MS może posiadać odpowiednią wiedzę nt. architektury gpt-4, która pozwoli im na hostowanie, udostępnienie i dostosowanie gpt-4 do swojej infrastruktury cloudowej, ale jednocześnie nie posiadać istotnej wiedzy nt. pewnych aspekttów trenowania modelu, wag czy jeszcze innych kwestii, które sprawiają, że gpt-4 jest takie dobre. Oczywiście pytanie brzmi, czy Open AI zastrzegło to w dealu z ms, czy sprzedali wszystko w zamian

[markaron]

@JamesJoyce: No tego się nigdy nie dowiemy.