[JamesJoyce]

#programowanie #programista15k #pasjonat15k #it #pracait #sztucznainteligencja #chatgpt

Stosujecie jakieś sztuczki, żeby korzystać z llmów w pracy, gdy firma nie wyraża na nie zgody i są zablokowane? Remote wiadomo. Ale w biurze. Ja mam tak, że mam tych llmów juz do porzygu, ale słyszałem parę anegdot.

Np. na rozmowie sprzedażowej klient mówił, że jakość pracy juniorów po pandemii tak spadła, że dano im 2 dni remote. I jakoś tak zawsze wychodziło, że w dni remote pisali kod a w biurowe dokumentacje ( ͡° ͜ʖ ͡°).

Tylko na dłuższą metę tak się nie da, więc zaczęli ich sprawdzać w biurze. Inb4 chatgp w telefonie. Ale co, gdy ktoś koło Ciebie siedzi? Podobno to sprawdzanie trwało jakieś 2 tyg i wyglądało jak kartkówki w zawodówce: jeden chował tel pod zeszytem, inny słuchawki i tryb głosowy itd. W końcu dali im spokój. I dobrze. No chyba, że to jakieś badania, finanse albo coś w tym stylu. Wówczas będzie zonk jak prywatne dane wpadną do chatagiepete.

[JamesJoyce]

@Nighthuntero xd

[JamesJoyce]

@wstanczyk z 495b parametrów lokalnie?

[KurczakGangBango]

@wstanczyk DeepSeek ma kilka wersji. Odpalić lokalnie możesz tylko te małe, które są beznadziejne w analizie/pisaniu kodu.

[LisMulder]

@JamesJoyce: domyslam sie, dlatego jakby pokazac gorze wzrost produktywnosci dzieki temu, to zamiast kombinowac z self hostem od razu podpieliby karte kredytowa pod openai ( ͡° ͜ʖ ͡°)

[wstanczyk]

Odpalić lokalnie możesz tylko te małe,

@KurczakGangBango: A to już zalezy, jaki sprzęt masz dostępny lokalnie ( ͡° ͜ʖ ͡°)

[KurczakGangBango]

@wstanczyk Jak bujasz się z kilkoma H100 to faktycznie dasz radę. Ja to bardziej przyziemnie myślę.

[wstanczyk]

@KurczakGangBango: Oni przynajmniej oficjalnie, to też bez H100 nawet trenowali :P A tu tylko o inferencji mówimy

[KurczakGangBango]

@wstanczyk Za to użyli dwa tysiące h800 do trenowania. Mi to się raczej o vram rozchodzi, bo pełny model wymaga sporo ponad terabajt. Nawet taki szczawik 70b ponad 30 giga.