[JamesJoyce]

#sztucznainteligencja #programowanie #it #programista15k

Hej, dla zainteresowanych: zarządzam teraz projektem z 15 programistami. Projekt jest ambitny. Próbujemy zrobić małą wersję tego, o czym mówił na jednym z filmów Karpaty. System operacyjny, w którym mózgiem jest llm. Czyli mamy jakieś zadania, które robią małe modele i agenci a llm to orkiestruje i daje nam feedback.

[polskie-k0rpo]

@JamesJoyce: xd co. a z jakiego powodu nazywasz ten projekt systemem operacyjnym? będzie się bootowac zamiast Windowsa?

[przemax]

@JamesJoyce: Odpalę na tym cyberpunka?

[fujiyama]

@JamesJoyce: Programiści już nie są potrzebni! Skąd pomysł, żeby 2025 roku zatrudniać klepaczy???

[JamesJoyce]

@polskie-k0rpo: system operacyjny używałem w innym sensie. Nie zastępstwo Windowsa. Zastępstwo ludzi koordynujących różne zadania, które wykonują lmy. System operacyjny modeli. Czyli jeden ogromny model podstawowy zarządający mniejszymi modelami.

[Ksiega_dusz]

@fujiyama @przemax @polskie-k0rpo @JamesJoyce: Takie projekty Hindusy już na YouTube pokazują więc nie wiem czym się szczycić.

[polskie-k0rpo]

@JamesJoyce: mój komentarz nie miał na celu umniejszeniu twojemu projektowi i nie miał być żadnym atakiem. jedynie zwracam uwagę, że sformułowanie "system operacyjny" w informatyce określa mocno zdefiniowany rodzaj softu, którym napewno nie jest żadna aplikacja na warstwie aplikacji, tylko jest to warstwa pośrednicząca pomiędzy architekturą maszyny (konkretniej ISA), hardware'm a warstwą aplikacji użytkownika, gdzie programiści aplikacyjni piszą kod. dlatego nazywanie jakiegokolwiek softu z warstwy aplikacyjnej (nad systemem operacyjnym) systemem

[biggle]

System operacyjny

@JamesJoyce: Gdyby tylko słowa miały jakieś przypisane znaczenia.

[Dragonan]

@JamesJoyce: W jaki sposób doszliście do wniosku, że zlecanie zadań kognitywnych małym modelom ma jakikolwiek sens? Co przez to osiągniecie?
Jakiej klasy macie wielki model? Taki jak Claude Sonnet czy Opus?
Macie jakieś wymagania co do interakcji w czasie rzeczywistym?
Czy system ma przetwarzać jako wejście lub wyjście dane dźwiękowe, obrazy, wideo lub inne?

[JamesJoyce]

@Ksiega_dusz: czy ja się szczycę? Poza tym raczej nie masz pojęcia o czym mówisz

[JamesJoyce]

@polskie-k0rpo: ma konkretne znaczenie, który Karpathy proponował zmodyfikować i użyć do innego rozwiazania

https://huggingface.co/blog/shivance/illustrated-llm-os

[JamesJoyce]

@biggle: gdyby tylko znaczenia się zmieniały wraz z czasem.

https://huggingface.co/blog/shivance/illustrated-llm-os

[JamesJoyce]

@polskie-k0rpo: ja go tak nie nazwalem. Karpathy w swoim wykladzie to zrobił

[JamesJoyce]

@polskie-k0rpo:

[polskie-k0rpo]

@JamesJoyce: a ten diagram systemu to nie jest architektura AI serwisu typu ChatGPT, gemini? Trochę tak wygląda. Czym to się różni?

[JamesJoyce]

@polskie-k0rpo: obejrzyj w wolnej chwili wyklad Karpathiego w którym o tym mówi

https://youtu.be/zjkBMFhNj_g?si=20U9-8suEQGt0PiQ

W skrócie foundational model steruje mniejszymi

[JamesJoyce]

@polskie-k0rpo: nie działa to jak serwis typu ChatGpt bo ChatGPT jest jednym z jego “serwisow”. Na dole zdjęcia sa zalozenia, które zdaniem autora niedługo się spelnia. W cześć szczerze watpie np. szybkie powstanie modeli modelu bedacego przykladem systemu 2, ale spójrz ile się spełnilo z tej listy. I teraz niektorzy klienci, podchodzacy ambitnie do projektow zaczynają rozumowac podobnie tylko w mniejszej skali. Nie centralny futurystyczny model fundamentalny tylko jakiś opus,

[polskie-k0rpo]

@JamesJoyce: rozumiem ideę że ma to być OS „drugiego poziomu” ale ciekawe jest przyrównania LLM do CPU. w praktyce każdy orkiestrator/moduł wykonujący jakieś obliczenia i decyzje można by w podobny schemat wpisać. w sensie że jest CPU a reszta to jego I/O a inne moduły to jakieś perfyferia. dla mnie to system orkiestracji LLM żeby być technicznie precyzyjnym.

[JamesJoyce]

@polskie-k0rpo:

Moje zrozumienie:

W tej analogii sam model pełni funkcję procesora. Wykonuje instrukcje, tyle że wyrażone w języku naturalnym zamiast w kodzie maszynowym. Okno kontekstowe odpowiada pamięci RAM — określa ilość informacji, którą system może aktywnie przetwarzać w danym momencie. Systemy retrieval (RAG, bazy wektorowe) działają jako pamięć trwała, z której model pobiera dane wykraczające poza jego bezpośredni