[JamesJoyce]

#programista15k #programowanie #chatgpt #sztucznainteligencja #llmy

Jak ktoś próbował pracować produkcyjnie z llmami, ten wie, że jest to mordęga. Trochę jak na poniższym
fragmencie dokumentacji. Obawiam się, że minie sporo czasu, zanim wytworzą się jakieś sensowne standardy deployu i utrzymywania
aplikacji opartych na llmach, chociaż biorąc pod uwagę to, jak wiele tego wychodzi codziennie, to nie jestem tego taki pewien.

[odysjestem]

@JamesJoyce: A czy llmy nie mogą pisać dokumentacji o samych sobie?

[lionbest]

@odysjestem: Tu nie chodzi o dokumentacje ale o niekompatybilne wersje bibliotek.

[JamesJoyce]

@odysjestem: jak pisał @lionbest. Problemem jest kompatybilność. Dziś coś wychodzi, co opiera się na jakimś lanchainie czy replciate, a jutro langchain zmienia metody lub funkcje i cała apka się wywala. Koszmar.

[LazyInitializationException]

@lionbest: @JamesJoyce No to niech sobie przeczytają nową wersję dokumentacji i poprawią kod biliotek, w czym problem ( ͡° ͜ʖ ͡°)

[Bejro]

@JamesJoyce raczej nie spotkałem się z takim problemem, najnowsza wersja 2 bibliotek i cluster A100 wykluczają możliwość chyba 99% niezgodnosci ze strony sterowników CUDA, reszta wymaga tylko zrozumienia z czym się pracuje. Skarżenie się na złe wymiary tensorów to tak jakby programista C skarżył się, że np. pointery mu się mylą albo typy danych.

[nad__czlowiek]

@JamesJoyce: CRUD developerzy odetchneli z uglą, że mają kolejny rok-dwa lata zanim zostaną zastąpieni ( ͡°( ͡° ͜ʖ( ͡° ͜ʖ ͡°)ʖ ͡°) ͡°)

[JamesJoyce]

@nad__czlowiek: tak, ale zegar tyka tik-tak-tik-tak ( ͡° ͜ʖ ͡°)

[JamesJoyce]

@Bejro: wydaje mi się, że to zależy czego używasz. Czy jest to vanilla api OpenAI, które działa fajnie, czy jakieś wynalazki. Ja np. mam przypadek, w którym klient nie zgadza się na dostęp zewnętrznych firm do niczego, a jednocześnie zgadza się na Open-Source. I trzeba babrać się w obudowie llamy.

[Bejro]

@JamesJoyce pracuję też z llamami no a teraz mistralem, nie mam zastrzeżeń do stabilność działania a chyba na 4 różnych maszynach robiłem testy i treningi

[JamesJoyce]

@Bejro: Rozumiem. Ale mi nie chodzi o finetuning modeli, tylko o używanie deployowanych aplikacji opartych na llmach w produkcji, w dużym biznesowym środowisku.

[Bejro]

@JamesJoyce: Tym się nie zajmuję ale inni ludzie z firmy już tak. Nie spotkałem się aby ktoś narzekał, że jest to trudniejsze niż deployment innych technologii.