Użytkownik reddita WolframRavenwolf twierdzi, że uzyskał open-sourcowy model, który w benchmarkach plasuje się na poziomie GPT-4, tzn. uzyskuje wyniki podobne do GPT-4. Jest to połączenie (wygląda na to, że zwyczajny merge) dwóch Llam 70b.
Wprawdzie jestem nieco sceptycznie nastawiony do określania modelu "będącym na tym samym poziomie, co GPT-4" tylko na podstawie podobieństwa wyników w testach, ale to i tak imponujące. Co ciekawe, llmy są ponoć dość podatne na mergowanie. Poniżej link do posta i testów:
@LazyInitializationException: Tak, np Llama-rephraser. Problem ma jednak polegać na tym, że wysokie wyniki w benchmarkach takich modeli mają wynikać nie z architektury modelu, tylko z zanieczyszczenia, którego benchmarki nie wykrywają za dobrze.
Użytkownik reddita WolframRavenwolf twierdzi, że uzyskał open-sourcowy model, który w benchmarkach plasuje się na poziomie GPT-4, tzn. uzyskuje wyniki podobne do GPT-4. Jest to połączenie (wygląda na to, że zwyczajny merge) dwóch Llam 70b.
Wprawdzie jestem nieco sceptycznie nastawiony do określania modelu "będącym na tym samym poziomie, co GPT-4" tylko na podstawie podobieństwa wyników w testach, ale to i tak imponujące. Co ciekawe, llmy są ponoć dość podatne na mergowanie. Poniżej link do posta i testów:
https://www.reddit.com/r/LocalLLaMA/comments/17vcr9d/llm_comparisontest_2x_34b_yi_dolphin_nous/
@LazyInitializationException: Tak, np Llama-rephraser. Problem ma jednak polegać na tym, że wysokie wyniki w benchmarkach takich modeli mają wynikać nie z architektury modelu, tylko z zanieczyszczenia, którego benchmarki nie wykrywają za dobrze.
https://lmsys.org/blog/2023-11-14-llm-decontaminator/