Jeśli chodzi o trening sieci neuronowych to musisz cały model zmieścić na pamięć karty, RAMu trzeba mieć tyle żeby swobodnie przetwarzać dane przy użyciu procesora, czyli niemniej niż masz pamięci na karcie + jakiś zapas. Pamiętaj że na GPU nie musisz mieć całej bazy danych, tylko cały model + miejsce na przeprowadzenie propagacji dla rozsądnej wielkości mini
miejsce na przeprowadzenie propagacji dla rozsądnej wielkości mini batcha.
@Poziokat: @majsterV2: Tego też w sumie nie trzeba, bo np. pytorch ma utils.checkpoint i wtedy backprop jest robiony jakby osobno. Wychodzi drożej obliczeniowo, ale wymaga trzymania gradientu tylko dla jednej warstwy na raz.
@majsterV2: Na dobrą sprawę nie musisz w pamięci trzymać nawet całego modelu tylko podzielić go na segmenty i żonglować nimi między pamięcią grafiki i zwykłą.
vs
https://www.techpowerup.com/gpu-specs/radeon-hd-7950.c307
Jedna karta kosztuje 50-80zł a druga 150-300zł, lecz oba są tak samo efektowne w #machinelearning przy użyciu OpenCLa.
Tylko czy da się pamięć ram z płyty przydzielić do tych obliczeń na GPU w OpenCLu?
W końcu zawsze mam wolne 40gb ddr2 w zapasie ( ͡° ͜ʖ ͡°)
https://timdettmers.com/2018/12/16/deep-learning-hardware-guide/
Jeśli chodzi o trening sieci neuronowych to musisz cały model zmieścić na pamięć karty, RAMu trzeba mieć tyle żeby swobodnie przetwarzać dane przy użyciu procesora, czyli niemniej niż masz pamięci na karcie + jakiś zapas.
Pamiętaj że na GPU nie musisz mieć całej bazy danych, tylko cały model + miejsce na przeprowadzenie propagacji dla rozsądnej wielkości mini
@Poziokat: @majsterV2: Tego też w sumie nie trzeba, bo np. pytorch ma utils.checkpoint i wtedy backprop jest robiony jakby osobno. Wychodzi drożej obliczeniowo, ale wymaga trzymania gradientu tylko dla jednej warstwy na raz.