@majsterV2: Na dobrą sprawę nie musisz w pamięci trzymać nawet całego modelu tylko podzielić go na segmenty i żonglować nimi między pamięcią grafiki i zwykłą.

@Darkus777: Ogarniasz coś w kwestii przydzielenia pamięci z płyty głównej do obliczeń na GPU?

@majsterV2: Jaki jest sens zabawy w ML jak się google nie chce użyć?
https://timdettmers.com/2018/12/16/deep-learning-hardware-guide/

Jeśli chodzi o trening sieci neuronowych to musisz cały model zmieścić na pamięć karty, RAMu trzeba mieć tyle żeby swobodnie przetwarzać dane przy użyciu procesora, czyli niemniej niż masz pamięci na karcie + jakiś zapas.
Pamiętaj że na GPU nie musisz mieć całej bazy danych, tylko cały model + miejsce na przeprowadzenie propagacji dla rozsądnej wielkości miniPokaż całość

miejsce na przeprowadzenie propagacji dla rozsądnej wielkości mini batcha.

@Poziokat: @majsterV2: Tego też w sumie nie trzeba, bo np. pytorch ma utils.checkpoint i wtedy backprop jest robiony jakby osobno. Wychodzi drożej obliczeniowo, ale wymaga trzymania gradientu tylko dla jednej warstwy na raz.

@skrzacik320: Czyli że jest do zoptymalizowania?

@majsterV2: Pytorch chyba nie ma wersji dla GPU innej niż pod CUDA+CuDNN więc karta od Nvidia jest konieczna.

@skrzacik320: Dzięki!