Niedługo czat dżipiti nie będzie potrzebny, wszystko będzie lokalnie ( ͡° ͜ʖ ͡°)
#llamacpp #mcp #sztucznainteligencja #ai #selfhosted
#llamacpp #mcp #sztucznainteligencja #ai #selfhosted
Wszystko
Najnowsze
Archiwum
#sztucznainteligencja #llamacpp #nvidia #llm #ai
RTX 3090 szybszy od RTX 4090? To możliwe pod pewnymi warunkami ( ͡° ͜ʖ ͡°)
RTX 4090 jest na tyle wydajniejszy od RTX 3090 w przypadku inferencji małych modeli, że ze względu na różnie nieefektywności karta nie przechodzi do pełnych zegarów boost - jednostki obliczeniowe nie są w stanie być wykarmione danymi na tyle szybko aby pracować na pełnych
RTX 3090 szybszy od RTX 4090? To możliwe pod pewnymi warunkami ( ͡° ͜ʖ ͡°)
RTX 4090 jest na tyle wydajniejszy od RTX 3090 w przypadku inferencji małych modeli, że ze względu na różnie nieefektywności karta nie przechodzi do pełnych zegarów boost - jednostki obliczeniowe nie są w stanie być wykarmione danymi na tyle szybko aby pracować na pełnych
źródło: Generated Image March 07, 2026 - 3_56PM
Pobierz
@FLAC: Przy większych modelach - np. 9 miliardów parametrów - 4090 przechodzi już w maksymalną prędkość zegarów i łatwo pokonuje 3090.
Taka sytuacja ma miejsce oczywiście tylko przy pojedynczych requestach. Jeśli model 0.8B odpowiadałby na 20 requestów równolegle - wtedy 4090 byłby szybszy od 3090.
Taka sytuacja ma miejsce oczywiście tylko przy pojedynczych requestach. Jeśli model 0.8B odpowiadałby na 20 requestów równolegle - wtedy 4090 byłby szybszy od 3090.
źródło: Generated Image March 07, 2026 - 4_52PM
Pobierz
@kwanty: tak, ale 4090 ma 72 MB pamięci L2, a 3090 ma tylko 6 MB. To robi różnicę dla bardzo małych kontekstów (i tylko małych modeli) co widać po tym jakie jest TG na początku a jakie chwilę później.
@kwanty: to prawda. 3090
Tam jest jeszcze kwestia optymalizacji pod konkretne karty. Być może konkretny backend dla konkretnych model jest lepiej zoptymalizowany pod jedną kartę a gorzej pod drugą.
@kwanty: to prawda. 3090
Jeśli nie wiedzieliście, to trwają zaawansowane prace nad (w końcu) dodaniem MTP do llama.cpp https://github.com/ggml-org/llama.cpp/pull/22673
Powinno to w modelach z MTP zwiększyć generowanie od ~30% do nawet dwukrotnego przyspieszenia.