Kwantyzację można porównać do hmmm...kompresji obrazka, model jest mniejszy i potrzebuje mniej pamięci do uruchomienia, ale kosztem jakości odpowiedzi.

Na szczęście coraz mniejsze modele działają coraz lepiej.

Typ modelu, a wielkość:

@kartofel: 1,2 - Reprezentuje 20% narzut związany z ładowaniem dodatkowych rzeczy w pamięci GPU.

wujek AI mówi, że: "Nie do końca. Wielkość modelu, np. 70B (70 miliardów parametrów), odnosi się do liczby parametrów w modelu, a nie bezpośrednio do liczby połączeń między "neuronami".

Co oznaczają te 70 miliardów parametrów?
Parametry w modelu to wagi i przesunięcia (bias), które są dostosowywane podczas procesu trenowania sieci neuronowej. W przypadku dużych modeli językowych, takich jak GPT,Pokaż całość

@heban_dev: Jak dla mnie ta zajawka Suno V4 faktycznie brzmi gorzej w kwestii wokalu, ale nie dlatego że jest nie naturalna, a po prostu jest inny styl muzyczny. W każdym razie nie byłbym w stanie odróżnić od jakiegoś "hitu" w radiu. Być może po prostu jak wziął się za to zawodowy muzyk i wiedział że ma być to na poważnie a nie zabawa, to po prostu zrobił to konkretnie iPokaż całość

@waydack dzięki wielkie za odpowiedź