a5f5c1
a5f5c1
  • 1
Niektóre lokalne LLMy mają tendencję do zapętlania się w pewnym momencie, na przykład: Michał to bardzo porządny #programista15k i umie programować w Pythonie i umie programować w Pythonie i umie programować w Pythonie i umie programować w Pythonie i umie programować w Pythonie i umie programować w Pythonie...

Czy da się skutecznie zapobiec takim sytuacjom? Jeśli nie, to jak sobie z takimi sytuacjami radzicie? Może je jakoś wykrywacie i w
  • 9
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
kwanty
  • 2
Niektóre lokalne LLMy mają tendencję do zapętlania się w pewnym momencie, na przykład


@a5f5c1: Zdarza się, że wpadają w pętlę - zwłaszcza stare i małe LLMy albo takie które są głównie trenowane pod EN ale używasz ich z innym językiem. Jest na to techniczny sposób ale raczej mało praktyczny i trudny (trzeba użyć contrastive sampling), wątpię żeby było obsługiwane przez typowe lmstudio/ollama.

Potrzebujesz nowszego i większego modelu.
  • Odpowiedz
kwanty
  • 1
masz na myśli wykorzystanie contrastive sampling podczas generowania odpowiedzi i gdy zostanie wychwycone zapętlenie modelu to na przykład wymuszenie zatrzymania generowania?


@a5f5c1: LLMy to są modele statystyczne - na wyjściu dostajesz dystrybucję (prawdopodobieństwa) dla każdego tokenu ze słownika i możesz sobie wybrać. Jest wiele technik wybierania - najprostsza to losujesz z dystrybucji albo wybierasz najbardziej prawdopodobny. Ale są też bardziej zaawansowane (je się używa) np. beam searching i są też
  • Odpowiedz
a5f5c1
a5f5c1
  • 1
Otwieram dyskusję: czy spopularyzowanie się LLMów i ogólnej AI nie było tak na prawdę efektem ubocznym rozwoju technologicznego na przestrzeni ostatnich lat? Czy gdyby nie głośna premiera ChatGPT, to i tak w podobnym czasie pojawiłoby się coś podobnego, bo po prostu technologia (przepustowość pamięci, rozwój GPU/CUDA) umożliwiała już osiąganie fajnych efektów w obszarze AI?

#ai #sztucznainteligencja #gruparatowaniapoziomu #programista15k #programowanie #pracait
  • 6
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
crazy_wolf
  • 5
@a5f5c1: I tak, i nie. Bo można powiedzieć, że smartfony (czyli w sumie takie super mikro komputerki) to pokłosie rozwoju technologicznego i miniaturyzacji (dzisiejszy smartfon ma większą moc obliczeniową niż pierwszy superkomputer Cray). Z drugiej strony, rozwój technologiczny jest napędzany przez producentów takich rozwiązań (gry potrzebują akceleracji 3D, więc producenci starają się zrobić wszystko by to ich produkt nadał się do użytku i został wydany jako pierwszy). Nad sieciami neuronowymi
  • Odpowiedz
a5f5c1
a5f5c1
  • 4
Kupiłem dzisiaj ukośnicę DeWalt DWS780 za ostatki oszczędności odłożonych z IT i uczę się robić schody drewniane na wymiar. Spójrzmy prawdzie w oczy, AI wygryzie wszystkich nerdów siedzących w IT, a ja w tym samym czasie z uśmiechem będę przyjmował kolejne zlecenia na schody drewniane od osób niepracujących w IT ( ͡° ͜ʖ ͡°)

#programista15k #pasjonat15k #stolarstwo #gruparatowaniapoziomu #chwalesie
  • 11
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Smarek37
  • 7
@a5f5c1: czyli mówisz, że będziesz tą ukośnicą robił schody. No to mogą cię tu też wygryźć spece od schodów, bo teraz to wygląda tak, że przyjeżdza gość z komputerem, laserami i innymi ujami, robi pełny pomiar i potem wpada ekipa z gotowymi schodami do poskładania jak klocki, zero syfu, parę godzin i ich nie ma. Pozmieniało się tu trochę też niestety.
( ͡° ͜ʖ ͡°)
  • Odpowiedz
Przypomnienie
  • 0
@a5f5c1: Niestety nie mogę odnaleźć czasu przypomnienia.

Aby dodać przypomnienie, użyj formatu:
@Przypomnienie kiedy lub @Przypomnienie kiedy "co"
• kiedy – po jakim czasie chcesz otrzymać powiadomienie, np. za rok.
• "co" – w cudzysłowie wpisz treść przypomnienia, którą
  • Odpowiedz
Przypomnienie
  • 0
@a5f5c1: Niestety nie mogę odnaleźć czasu przypomnienia.

Aby dodać przypomnienie, użyj formatu:
@Przypomnienie kiedy lub @Przypomnienie kiedy "co"
• kiedy – po jakim czasie chcesz otrzymać powiadomienie, np. za rok.
• "co" – w cudzysłowie wpisz treść przypomnienia, którą
  • Odpowiedz
czwartafaza
czwartafaza
  • 9
@a5f5c1 Musisz pajacować na linkedinie, pisać posty jak to przez X lat się męczyłeś z czymś i nagle odkryłeś Y co zmieniło twoje życie i od teraz budzisz się w uśmiechem na twarzy. Oczywiście nie zapomnij pod koniec posta zapytać innych czy też tak mają, bo komentarze muszą ci podbić zasięgi. No i cały post obowiązkowo wrzuć w GPT żeby dodał zje***e emoji i typowe dla AI zwroty.
  • Odpowiedz
Zupa2255
  • 5
@a5f5c1 Nie mają po co wysylać ofert osobiście bo na każde ogloszenie setki chętncyh wysylają swoje CV. Wystarczy, że trzymają takie ogloszenie miesiącami, odświeżają i sobie gromadzą tysiące CV. Przynajmniej ja to tak widzę bo już z rok są te same ogloszenia odśiweżane co dwa tyg.
  • Odpowiedz
AtlantyQ
  • 5
@andr11u: Doświadczenia z IT niczego go nie nauczyły, więc teraz pod znienienionym imieniem założył kanał na YT MarkoBudowlaniec i dalej dzieli się za friko wiedzą z innymi ( ͡° ͜ʖ ͡°)
  • Odpowiedz
twoj_starrry
  • 6
@a5f5c1: jest 17 godzina teraz w Kaliforni, więc pewnie na jakimś spotkaniu z Key Stakeholderami prezentuje dla nich demo produktu ( ͡° ͜ʖ ͡°), potem darmowe nadgodziny całą noc
  • Odpowiedz

Osiągnięcia