[JamesJoyce]

Denerwuje mnie hype na llmy. Mam u klienta random forest, który ma skuteczność praktycznie 100%. Dataset jest niewielki i mało zróżnicowany. Po klikunastu rozmowach managerowie zdecydowali, że chcą zmienić dotychczasowe modele, które są przestarzałe na llmy. Nie ma znaczenia, że działają świetnie. Nie ma znaczenia, że llmy będą pewnie działać gorzej i nie ma znaczenia to, że klient to bank, więc żadne gotowe api nie wchodzą w grę. Co więcej, menagerowie wyobrażają sobie, że napiszemy (czytaj skopiujemy) gpt4 i wytrenujemy od zera na danych bankowych. Tłumaczenie nic nie daje. Pozostaje mieć nadzieję na jaką spektakularną katastrofę któregoś modelu, żeby ostudzić zapał. Czuję się jak w startupie od krypto.

#chatgpt #sztucznainteligencja #datascience #programista15k

[heniek_8]

@JamesJoyce: ale jak chcą to robić? wysyłać prompty z tekstami z firmy do gpt?

[JamesJoyce]

@heniek_8: nie chcą czata, tzn frontentu do gpt3 czy 4. Mają własną platformę AI, w której są predefiniowane taski, typu klasyfikacja, regresja itd. Biznes wrzuca sobie wypełnione templatki i dostaje predykcje. Pod spodem są różne modele. To co chcą zrobić, to zamienić je na llmy.

[radio_dalmacija]

@JamesJoyce: hype driven development

[heniek_8]

@JamesJoyce: a można tak to zrogranizować na miesiąc czy kwartał, w którym biznes dostaje dwie odpowiedzi, starą i nową i daje feedback która lepsza?

potem patrzysz że jednak stare dobre drzewa wygrały, to informujesz kierownictwo że wprowadzasz ver 2 systemu opartą na AI a w środku xgboost :)

[NieBendePrasowac]

Denerwuje mnie hype na llmy.

@JamesJoyce: ja który pierwszy raz słyszę takie pojęcie

[JamesJoyce]

@heniek_8: można, ale najpierw trzeba napisać nową ( ͡° ͜ʖ ͡°)

[JamesJoyce]

@NieBendePrasowac: https://en.wikipedia.org/wiki/Large_language_model

[NieBendePrasowac]

@JamesJoyce: jasne, wygooglałem sobie ale wcześniej nie znałem pojęcia

[heniek_8]

ale najpierw trzeba napisać nową ( ͡° ͜ʖ ͡°)

@JamesJoyce:
no to piszcie tam, ale co macie? jakiś pretrained dostaliście? wsparcie od google albo microsoft?
jak to ma wyglądać?

[JamesJoyce]

@heniek_8: Otóż nic. Dotychczasowe rzeczy napisane są w Kerasie/TF. Żadnego wsparcia. Tylko wizja :D

[Bejro]

@JamesJoyce: No to zróbcie knowledge distillation z random foresta i po robocie, pora na CSa ( ͡° ͜ʖ ͡°) Może i jakość będzie taka sama, ale za to inferencja jakoś 100x droższa.

[heniek_8]

@JamesJoyce: no to powiedz im, że zamiast pisać od początku, to wezmy do współpracy MS, oni mają swój duży model, podepniemy nasz mały zasób i będzie wszystko hulało jak złoto, zobaczmy ile to trwa i kosztuje ( ͡° ͜ʖ ͡°)

[JamesJoyce]

@heniek_8: wydaje mi się, że nie ma szans. Banki nie są takie skore do udzielania dostępów do danych komukolwiek. Nie posiadają nawet chmury, wszystko na flat files.

[JamesJoyce]

@Bejro: xd pewnie tak sie to skończy

[heniek_8]

@JamesJoyce: ms może zainstalować swój model on prem a potem jeszcze zintegrować to wszystko
podsuń im to dla porównania ile powinna kosztować twoja praca :)

[zrobmy_sobie_rewolucje]

@JamesJoyce:
Powiedz że się da, ale to nie jest tania robota.