[kacpervfr]

Istnieje ryzyko że na magisterkę będę trenował jakiś model (pewnie jakiś mały i banalny) i mam taktyczne pytanie co począć
a) Kupić 32gb ramu do kompa (obecnie ma bieda 16)
b) kupić egpu i podpiąć 5070 do laptopa który ma 32gb ramu i AMD Ryzen 7 8845HS xd
Rozważam też wymianę 5070 na cośco ma wincyj vramu
#ai #machinelearning #pcmasterrace #programowanie

[hyperlink]

@kacpervfr: Nie lepiej kupić np. Gemini AI Plus (pierwsze dwa miesiące po 17 zł miesięcznie, potem po 35 zł/mies.) następnie wrzucić wszystko co potrzebujesz do NotebookLM? Albo analogicznie Claude Pro i Projects?

IMO lepiej na tym wyjdziesz niż trenowanie modelu.

[newseo]

Zastanowiłbym się raczej nad wypożyczeniem mocy obliczeniowej zamiast wydawaniem paru tysięcy na sprzęt do jednego projektu (chyba, że potem rzeczywiście będzie czynnie używany). Na Google Colab czy Kaggle da się zrobić sporo za darmo, a jak potrzeba więcej mocy, to Vast.ai wychodzi całkiem tanio na godziny. Do magisterki zwykle i tak robisz fine-tuning, a nie trening od zera, więc własna machina ai to (dla mnie) zbyt dużo.

[maniel]

@kacpervfr: llmy działają na gpu, także tu jest ram potrzebny, 5070 ma 12GB, lepszy model wejdzie na co prawda do igpu w tym 8845HS możesz teoretycznie przypisać ram systemowy ale nie wiem ile max, no i wydajność słaba, jak to integra

[newseo]

@hyperlink: To chyba jednak w tym rzecz, że taki projekt zaliczeniowy na magisterkę trzeba będzie opisać i opowiedzieć. Sedno w tym treningu właśnie.

[kontodotestowania]

@newseo: Kartę możesz wymienić na jedną albo dwie (jak ci płyta obsłuży) 3090 z 24GB VRAMu, 3090 ma obecnie najlepszy stosunek ceny do VRAMu. Ile Mhz ma Twój RAM? Możesz też zamienić na jakiś wolniejszy, do AI potrzebujesz ilość, nie prędkość.
Na YouTube masz kanał 'Digital spaceport' pokazuje różne ciekawe buildy do local AI w tym np. 512GB na CPU

[msea940]

@kacpervfr: koledzy wyżej piszą czy opłaca się kupować hardware do ai i popieram ich, natomiast ja pójdę o krok dalej i zapytam czy tak naprawdę jeszcze warto iść w ai z takim przesytem na rynku i sytuacja w IT aktualnie xD

[HammerWZZN]

czy tak naprawdę jeszcze warto iść w ai

@msea940: do póki nie pojawi sie kolejna technologia to warto. Jak sie pojawiła wirtualizacja to trzeba bylo uczyć sie tego, kolejna technologia były kontenery i znowu nauka, zaraz szybko wszedł cloud i trzeba było sie AWSa uczyć, teraz mamy AI który jest marketingowo mocno przerysowany, ale z punktu widzenia kogoś z IT to po prostu kolejne narzedzie do nauki ktore trzeba znać