Wszystko

Najnowsze

Archiwum

FLAC
  • 3
#sztucznainteligencja #llamacpp #nvidia #llm #ai

RTX 3090 szybszy od RTX 4090? To możliwe pod pewnymi warunkami ( ͡° ͜ʖ ͡°)

RTX 4090 jest na tyle wydajniejszy od RTX 3090 w przypadku inferencji małych modeli, że ze względu na różnie nieefektywności karta nie przechodzi do pełnych zegarów boost - jednostki obliczeniowe nie są w stanie być wykarmione danymi na tyle szybko aby pracować na pełnych
FLAC - #sztucznainteligencja #llamacpp #nvidia #llm #ai RTX 3090 szybszy od RTX 4090...

źródło: Generated Image March 07, 2026 - 3_56PM

Pobierz
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
FLAC
FLAC
via Wykop
  • 2
@FLAC: Przy większych modelach - np. 9 miliardów parametrów - 4090 przechodzi już w maksymalną prędkość zegarów i łatwo pokonuje 3090.

Taka sytuacja ma miejsce oczywiście tylko przy pojedynczych requestach. Jeśli model 0.8B odpowiadałby na 20 requestów równolegle - wtedy 4090 byłby szybszy od 3090.
FLAC - @FLAC: Przy większych modelach - np. 9 miliardów parametrów - 4090 przechodzi ...

źródło: Generated Image March 07, 2026 - 4_52PM

Pobierz
  • Odpowiedz
FLAC
FLAC
via Wykop
  • 1
@kwanty: tak, ale 4090 ma 72 MB pamięci L2, a 3090 ma tylko 6 MB. To robi różnicę dla bardzo małych kontekstów (i tylko małych modeli) co widać po tym jakie jest TG na początku a jakie chwilę później.

Tam jest jeszcze kwestia optymalizacji pod konkretne karty. Być może konkretny backend dla konkretnych model jest lepiej zoptymalizowany pod jedną kartę a gorzej pod drugą.


@kwanty: to prawda. 3090
  • Odpowiedz

Powiązane tagi