Kwantyzację można porównać do hmmm...kompresji obrazka, model jest mniejszy i potrzebuje mniej pamięci do uruchomienia, ale kosztem jakości odpowiedzi.

Na szczęście coraz mniejsze modele działają coraz lepiej.

Typ modelu, a wielkość:

@kartofel: 1,2 - Reprezentuje 20% narzut związany z ładowaniem dodatkowych rzeczy w pamięci GPU.

wujek AI mówi, że: "Nie do końca. Wielkość modelu, np. 70B (70 miliardów parametrów), odnosi się do liczby parametrów w modelu, a nie bezpośrednio do liczby połączeń między "neuronami".

Co oznaczają te 70 miliardów parametrów?
Parametry w modelu to wagi i przesunięcia (bias), które są dostosowywane podczas procesu trenowania sieci neuronowej. W przypadku dużych modeli językowych, takich jak GPT,Pokaż całość

@peetee dlaczego? Bo przyszłość jest nieprzewidywalna?

@kkecaj Trynkiewicz zapewne jest bardziej atrakcyjny od tego faceta ze zdjęcia. No i jest coś takiego jak hybristofilia. A AI mogłaby mieć jakieś opinie na temat wyglądu, skoro obiektywnie np. Brad Pitt jest atrakcyjny dla kobiet i AI też by mogła napisać że on jest atrakcyjny. A tego nie robi. Zdziwiło mnie to bo mam wrażenie że w początkach boomu na ChatGPT (pod koniec 2022) takie opinie ze strony AI sięPokaż całość

@JamesJoyce cóż, przeglądając rozdział o wpływie AI na pracę brak obaw o to, że ai zabierze pracę programistom. Ciekawe.

@MacronT1000: kling

@jestemtakizmeczony: jaki model napędza Twoją partnerkę? o1?