[6.....D]

Jest tu ktoś kto używa dużych modeli językowych (LLM, typu LLaMA) na własnym sprzęcie? Udało wam się tego dokonać na jakichś dostępnych cenowo dla przeciętnego człowieka GPU?

Chciałbym przetworzyć zbiór dokumentów i zdjęć do postaci wektorowej, żeby móc potem wyciągać z nich informacje odpytując model językiem naturalnym. Sposób na takie wyszukiwanie całkiem dobrze na stacku typu "LangChain+ jakiś Vector store + API OpenAI", ale nie chcę przesyłać tego wszystkiego do API bo cholera wie co się z tymi danym potem dzieje ( ͡° ʖ̯ ͡°)

#programowanie #gpt #sztucznainteligencja #machinelearning

[FLAC]

@638F3D: tak, sam tego nie robiłem ale trochę czytałem. Spokojnie uruchomisz LLM na GPU z 8 GB pamięci czyli GTX 1070, RTX 2070, RTX 3070 i tak dalej. Tylko że modele z niższą liczbą parametrów i mocną kwantyzacją czyli np 7 miliardów i 4bit.

Na RTX 3090 (24 GB ram) uruchomisz już >30 miliardów parametrów 4bit, może 8bit.

Generalnie potrzebujesz te 24 gb ramu żeby zacząć się bawić większymi modelami, licz

[6.....D]

@FLAC: a ta kwantyzacja dużo pogarsza osiągi modelu? Różnica jest gołym okiem zauważalna? Ewentualnie dająca się zneutralizować jakimś fine tuningiem?

[FLAC]

@638F3D: podobno większy model z mocniejszą kwantyzacją wypada lepiej niż mniejszy model ze słabszą kwantyzacją.