#llamacpp

1

#sztucznainteligencja #selfhosted #llamacpp #ai #llm

Jeśli nie wiedzieliście, to trwają zaawansowane prace nad (w końcu) dodaniem MTP do llama.cpp https://github.com/ggml-org/llama.cpp/pull/22673

Powinno to w modelach z MTP zwiększyć generowanie od ~30% do nawet dwukrotnego przyspieszenia.

FLAC

FLAC 6 mies.

0

Niedługo czat dżipiti nie będzie potrzebny, wszystko będzie lokalnie ( ͡° ͜ʖ ͡°)

#llamacpp #mcp #sztucznainteligencja #ai #selfhosted

Najlepsze
Wszystkie komentarze

FLAC

FLAC Autor 6 mies.

1

@PopeLeon: chyba to był qwen 3.5 9B.

PopeLeon

PopeLeon 6 mies.

0

@FLAC: jaki model mordo

FLAC

FLAC 7 mies.

3

#sztucznainteligencja #llamacpp #nvidia #llm #ai

RTX 3090 szybszy od RTX 4090? To możliwe pod pewnymi warunkami ( ͡° ͜ʖ ͡°)

RTX 4090 jest na tyle wydajniejszy od RTX 3090 w przypadku inferencji małych modeli, że ze względu na różnie nieefektywności karta nie przechodzi do pełnych zegarów boost - jednostki obliczeniowe nie są w stanie być wykarmione danymi na tyle szybko aby pracować na pełnych

Najlepsze
Wszystkie komentarze

FLAC

FLAC Autor 7 mies.

2

@FLAC: Przy większych modelach - np. 9 miliardów parametrów - 4090 przechodzi już w maksymalną prędkość zegarów i łatwo pokonuje 3090.

Taka sytuacja ma miejsce oczywiście tylko przy pojedynczych requestach. Jeśli model 0.8B odpowiadałby na 20 requestów równolegle - wtedy 4090 byłby szybszy od 3090.

FLAC

FLAC Autor 7 mies.

1

@kwanty: tak, ale 4090 ma 72 MB pamięci L2, a 3090 ma tylko 6 MB. To robi różnicę dla bardzo małych kontekstów (i tylko małych modeli) co widać po tym jakie jest TG na początku a jakie chwilę później.

Tam jest jeszcze kwestia optymalizacji pod konkretne karty. Być może konkretny backend dla konkretnych model jest lepiej zoptymalizowany pod jedną kartę a gorzej pod drugą.

@kwanty: to prawda. 3090