[zmarnowany_czas]

Czyli całe te tygodnie hajpowania OpenAI w związku z GPT-5 dotyczyły tego, że wyniki SWEBench wzrosły o 5 p.p. w stosunku do o3 z włączonym "myśleniem".

XD

A załącxony "wykres" wygląda jak desperacja z ich strony, żeby wyglądało to jak wielki skok, a nie zatrzymanie w miejscu.

#sztucznainteligencja #openai #gpt5 #ai

[Snowdr0p]

@zmarnowany_czas: to jest dość duży skok, patrząc na to, że wzrost nie powinien być liniowy. Trudniej jest przejść z 69.1% na 74.9% niż z 10% na 40%. Dodatkowo patrząc na wydajność o3 i jego cenę za uruchomienie, to jest to przepaść

[kkecaj]

@zmarnowany_czas: Zobacz jaki potężny skok GPT 5 zrobił w moim zdaniem jednym z najbardziej uciążliwych elementów, czyli halucynacji. Dla mnie to jest zdecydowanie ważniejsze niż te inne benchmarki, w których i tak jest niezły postęp, bo halucynacje bardzo burzą zaufanie do AI i wprowadzają ludzi w błąd

[LM317K]

@kkecaj halucynacje to jest to w jaki sposób działa llm
100% zawsze halucynuje pytanie w ile % pokryje się z prawdą

[JamesJoyce]

@zmarnowany_czas wiesz, to jak wyniki biegu na 100. Niewielkie skoki są ważne

[JamesJoyce]

@zmarnowany_czas ano

[clubcard]

@Snowdr0p: cope

[zmarnowany_czas]

@Snowdr0p: @JamesJoyce: spoko, tylko budowali hajp jakby pokonali inne modele z 50 razy, a oni ledwo zrównali się z Claude Opus i chyba nawet są gorsi od Grok 4 Heavy.

I benchmarki to jedno, a realne użycie to drugie. I może widziałem wybiórcze opinie, ale ludzie twierdzą, że 4o i o3 były lepsze

[SmugglerFan]

@Snowdr0p: przeciez ai mialo sie rozwijac w tempie wykladniczym. juz sie wypieracie tego?