ChatGPT lokalnie? Pierwsze kroki z modelami AI na twoim komputerze

Jak uruchomić swojego własnego ChataGPT lokalnie? W tym filmie przedstawiam pierwsze kroki z wielkimi modelami językowymi dostępnymi w ramach Open Source.

[CyberMonoPlexer]

Nie uruchomisz ChatGPT lokalnie z bardzo prostej przyczyny - nie masz kilkuset gigabajtów pamięci GPU. Uruchomisz namiastkę LLM na okrojonych do absolutnego minimum parametrach i na CPU.

Można to zrobić dla zabawy tylko nie bardzo wiem po co.

[przeprogramowany]

@CyberMonoPlexer: Czym to się różni od zabawy każdą inną technologią, która lokalnie nie dorasta do możliwości aplikacji produkcyjnych? Bez "zabawy" i eksperymentowania trudno o szerszą perspektywę na to, co robi się dla biznesu.

[CyberMonoPlexer]

@kobrys13: Nie No jasne, jak się ktoś chce pobawić modelami czy poeksperymentować to droga wolna, można nawet własny transforner napisać - fun i nauka w jednym. Natomiast znalezisko twierdzi postaw własny ChatGPT - co jest niemożliwe bez grubego portfela i niepraktyczne w warunkach domowych.