Niektóre lokalne LLMy mają tendencję do zapętlania się w pewnym momencie, na przykład: Michał to bardzo porządny #programista15k i umie programować w Pythonie i umie programować w Pythonie i umie programować w Pythonie i umie programować w Pythonie i umie programować w Pythonie i umie programować w Pythonie...
Czy da się skutecznie zapobiec takim sytuacjom? Jeśli nie, to jak sobie z takimi sytuacjami radzicie? Może je jakoś wykrywacie i w
Czy da się skutecznie zapobiec takim sytuacjom? Jeśli nie, to jak sobie z takimi sytuacjami radzicie? Może je jakoś wykrywacie i w
@a5f5c1: Zdarza się, że wpadają w pętlę - zwłaszcza stare i małe LLMy albo takie które są głównie trenowane pod EN ale używasz ich z innym językiem. Jest na to techniczny sposób ale raczej mało praktyczny i trudny (trzeba użyć contrastive sampling), wątpię żeby było obsługiwane przez typowe lmstudio/ollama.
Potrzebujesz nowszego i większego modelu.
używam llm od końca 2022 i nigdy mi się takie coś nie zdarzyło, na lokalnej llamie też nie