JamesJoyce
#sztucznainteligencja #programowanie #it #programista15k

Hej, dla zainteresowanych: zarządzam teraz projektem z 15 programistami. Projekt jest ambitny. Próbujemy zrobić małą wersję tego, o czym mówił na jednym z filmów Karpaty. System operacyjny, w którym mózgiem jest llm. Czyli mamy jakieś zadania, które robią małe modele i agenci a llm to orkiestruje i daje nam feedback.
  • Najlepsze
  • Wszystkie komentarze
polskie-k0rpo
@JamesJoyce: xd co. a z jakiego powodu nazywasz ten projekt systemem operacyjnym? będzie się bootowac zamiast Windowsa?
polskie-k0rpo
@JamesJoyce: mój komentarz nie miał na celu umniejszeniu twojemu projektowi i nie miał być żadnym atakiem. jedynie zwracam uwagę, że sformułowanie "system operacyjny" w informatyce określa mocno zdefiniowany rodzaj softu, którym napewno nie jest żadna aplikacja na warstwie aplikacji, tylko jest to warstwa pośrednicząca pomiędzy architekturą maszyny (konkretniej ISA), hardware'm a warstwą aplikacji użytkownika, gdzie programiści aplikacyjni piszą kod. dlatego nazywanie jakiegokolwiek softu z warstwy aplikacyjnej (nad systemem operacyjnym) systemem
przemax
@JamesJoyce: Odpalę na tym cyberpunka?
fujiyama
@JamesJoyce: Programiści już nie są potrzebni! Skąd pomysł, żeby 2025 roku zatrudniać klepaczy???
biggle
System operacyjny


@JamesJoyce: Gdyby tylko słowa miały jakieś przypisane znaczenia.
polskie-k0rpo
@JamesJoyce: a ten diagram systemu to nie jest architektura AI serwisu typu ChatGPT, gemini? Trochę tak wygląda. Czym to się różni?
polskie-k0rpo
@JamesJoyce: rozumiem ideę że ma to być OS „drugiego poziomu” ale ciekawe jest przyrównania LLM do CPU. w praktyce każdy orkiestrator/moduł wykonujący jakieś obliczenia i decyzje można by w podobny schemat wpisać. w sensie że jest CPU a reszta to jego I/O a inne moduły to jakieś perfyferia. dla mnie to system orkiestracji LLM żeby być technicznie precyzyjnym.
JamesJoyce
JamesJoyce Autor
1
@polskie-k0rpo:

Moje zrozumienie:

W tej analogii sam model pełni funkcję procesora. Wykonuje instrukcje, tyle że wyrażone w języku naturalnym zamiast w kodzie maszynowym. Okno kontekstowe odpowiada pamięci RAM — określa ilość informacji, którą system może aktywnie przetwarzać w danym momencie. Systemy retrieval (RAG, bazy wektorowe) działają jako pamięć trwała, z której model pobiera dane wykraczające poza jego bezpośredni
JamesJoyce
JamesJoyce Autor
0
@polskie-k0rpo: system operacyjny używałem w innym sensie. Nie zastępstwo Windowsa. Zastępstwo ludzi koordynujących różne zadania, które wykonują lmy. System operacyjny modeli. Czyli jeden ogromny model podstawowy zarządający mniejszymi modelami.
K.....z
K.....z
@fujiyama @przemax @polskie-k0rpo @JamesJoyce: Takie projekty Hindusy już na YouTube pokazują więc nie wiem czym się szczycić.
Dragonan
Dragonan
@JamesJoyce: W jaki sposób doszliście do wniosku, że zlecanie zadań kognitywnych małym modelom ma jakikolwiek sens? Co przez to osiągniecie?
Jakiej klasy macie wielki model? Taki jak Claude Sonnet czy Opus?
Macie jakieś wymagania co do interakcji w czasie rzeczywistym?
Czy system ma przetwarzać jako wejście lub wyjście dane dźwiękowe, obrazy, wideo lub inne?
JamesJoyce
JamesJoyce Autor
0
@Ksiega_dusz: czy ja się szczycę? Poza tym raczej nie masz pojęcia o czym mówisz
JamesJoyce
JamesJoyce Autor
0
@polskie-k0rpo: ma konkretne znaczenie, który Karpathy proponował zmodyfikować i użyć do innego rozwiazania

https://huggingface.co/blog/shivance/illustrated-llm-os
JamesJoyce
JamesJoyce Autor
0
@biggle: gdyby tylko znaczenia się zmieniały wraz z czasem.

https://huggingface.co/blog/shivance/illustrated-llm-os