[nilfheimsan]

Ile to razy słyszeliście "głupi nie wie że jest głupi"?
A jak fajnie znaleźć się w tej grupie która może powiedzieć "wiem że nic nie wiem"?

Szczególnie w dyskusjach w internecie popularne jest przywoływanie efektu Dunninga-Krugera który pokazuje że osoby o niskich umiejetnosciach w danej dziedzinie przeceniaja swoje mozliwosci, a osoby wykwalifikowane niedoceniaja swoich mozliwosci? I do tego wszystkiego wstawi sie fajny wykres i voila OP zniszczony.

What if I told you, efekt duninga krugera to tylko blad w analizie danych statystycznych? I mozna go odtworzyc z losowymi liczbami?

Już w 1999 roku zespół pod kierunkiem dr Ed Nuhfera opublikował własne badania pokazujące że efekt DK można odtworzyć na liczbach losowych. Wyniki potwierdzili także w badaniach na ludziach. Ich badania pokazały, że i laicy i eksperci źle oceniają swoje możliwości w podobnej częstotliwości (5-6%), a różnica polega na tym że zakres błędu laików jest większy, ale to czy przeceniają czy niedoceniają swoich możliwości jest już całkiem losowe!

Weźmy losową populację 100 wyników testów w zakresie 0-100
Następnie załóżmy że każda osoba myli się w zakresie +/- 50 punktów w wyniku swojego testu.
Oczywiście nie można mieć -45 ani +125 punktów. Więc ktoś kto ma faktyczną umiejętność na poziomie 10 punktów, jeśli losowo pomyli się w ocenie o -40 punktów to i tak swoją wiedzę oceni na 0 punktów. Jaki to ma skutek? Średnia przewidywań w okolicy najniższych wartości będzie podlegać "regression to the mean" czyli podciągać w górę, a w okolicy najwyższych wartości w dół.

Co ciekawe im wyższy margines błędu oceny założymy tym efekt bardziej widoczny!
Co ważne jeśli nie podzielimy na jakąś liczbę kwartyli to też efektu nie zauważymy.

I otrzymamy ten sam wykres co sławny wykres Dunninga Krugera.
W załączeniu daję google sheets gdzie można to samemu sprawdzić (zróbcie sobie kopie to bedziecie mogli edytowac)
-> https://docs.google.com/spreadsheets/d/13pM1Hstf_3uStHqVMkpSFybuHULPSyanU3A7wjxMG-o/edit?usp=sharing

Wpis inspirowany wczorajszym wykopem w ktorym znowu wszyscy zachwycaja sie "efektem DK" oraz artykulem https://www.mcgill.ca/oss/article/critical-thinking/dunning-kruger-effect-probably-not-real a także rozmową na grupie "Statystyczne Świry" na FB

#ciekawostki #gruparatowaniapoziomu #efektdunningakrugera #nauka #statystyka #psychologia #socjologia #datascience

[Nemayu]

@Trevize: Ten eksperyment nic takiego nie wyjaśnia i niczego takiego nie udowadnia. Próbuję mu się to przypisać, mimo że tego nie robi.

Osoby mądrzące się to po prostu osoby mądrzące się. Mądrzą się na temat, który znają i na temat, którego nie znają. Po prostu, zwyczajnie. Badanie nie dotyczy mądrzenia się, a oceny swoich umiejętności w skali, a ty próbujesz rozszerzyć wyniki badani i same wnioski z badania też rozszerzają

[Trevize]

Osoby mądrzące się to po prostu osoby mądrzące się. Mądrzą się na temat, który znają i na temat, którego nie znają.

@Nemayu: a że tematów których nie znają jest więcej, to częściej mądrzą się, gdy nie maja pojęcia o temacie. ;-)

[Nemayu]

@Trevize: Tak, ale nie dotyczy to w żaden sposób badania Duninga-Krugera.

[nilfheimsan]

@nilfheimsan: jeszcze tutaj jest super wyjasnione, i jest jeszcze wiecej zrodel https://skepchick.org/2020/10/the-dunning-kruger-effect-misunderstood-misrepresented-overused-and-non-existent/

[scroller]

Ile razy wydawało ci sie, że coś jest proste, a kiedy sie zagłębiłeś straciłeś włosy i dume i poczułeś się za głupi?

@zydownik: Ja mam często odwrotnie. Wydaje mi się, że coś jest nie do ogarnięcia, ale jak już się za to wezmę, to często jest to bułka z masłem, a wynik mam za pierwszym podejściem.

[takijakislogin]

Podobnie jest z oceną bólu. Lekarz się pyta jak bardzo cię boli w skali 1-10. Niby proste pytanie, ale jeden oceni ten sam ból na 2, a drugi na 5. Obaj oceniają poprawnie, mimo że to taki sam ból. Wg teorii Duninga Krugera można ocenić jak bardzo obiektywnie ich boli i stwierdzić jak bardzo się mylą. Tak na prawdę się nie da i po prostu porównuje się to jak osoba ocenia swój

[Nemayu]

@takijakislogin: Można oceniać, ale twoja skala nigdy nie będzie obiektywna i zgodna ze skalą innych osób. Ból może być identyczny, a jednak dwie osoby ocenią go różnie.
Można jeszcze dodać to co napisałeś, że bodziec ten sam, a odczucia inne. Tu(badanie Duninga Krugera) też ocena niby wg tej samej skali, a jednak każdy tą skalę uznaje inaczej, bo tak to odczuwa i tak uznaje. Dla jednego 50/100, a dla drugiego

[Strupzdup]

efekt KD to nie tylko błąd w analizie.

[nilfheimsan]

@crystalmethh: ale to ty dzwonisz

[angor86]

@nilfheimsan: co to za głupoty xD

Weźmy losową populację 100 wyników testów w zakresie 0-100

Następnie załóżmy że każda osoba myli się w zakresie +/- 50 punktów w wyniku swojego testu.

Oczywiście nie można mieć -45 ani +125 punktów. Więc ktoś kto ma faktyczną umiejętność na poziomie 10 punktów, jeśli losowo pomyli się w ocenie o -40 punktów to i tak swoją wiedzę oceni na 0 punktów. Jaki to ma skutek? Średnia przewidywań w okolicy najniższych wartości będzie podlegać "regression to the mean" czyli podciągać w górę, a w okolicy najwyższych wartości w dół.

Co ciekawe im wyższy margines błędu oceny założymy tym efekt

[nilfheimsan]

@angor86: a czytales zalinkowany artykul?

[angor86]

@nilfheimsan: czytałem i też mam swoje uwagi. Przy czym nie ma to żadnego związku bo nie komentuję artykułu tylko to, co ty popełniłeś. Jeśli nie rozumiesz o czym piszesz to nie pisz takich rzeczy, jedynie zostaw sam link do artykułu.

[JimNH777]

@nilfheimsan: w sumie to bardzo ciekawy argument.

Tylko, że efekt DK bierze się z niekompletnych danych. Jeżeli ktoś pomazał się sokiem z cytryny bo był pewny, że atrament sympatyczny na bazie soku z cytryny czyni niewidzialnym to jego rozumowanei było prawidłowe. Tylko dane bazowe kompletnie błędne. Ludzie przeceniają/niedoceniają swoje możliwości bo nie mają dostatecznych danych bazowych by właściwie się ocenić. Z dwóch powodów: albo mają zbyt małą wiedzę na dany

[szaolny]

@nilfheimsan: Zakładając że to nie jest jakiś bait, typu że za tydzień zrobisz znalezisko jak tutaj ludzie się spinali, a Ty tak naprawdę walnąłeś ściemę w postaci badań pseudonaukowca...

To no muszę przyznać że w branży takiej jak np. IT jeżeli to jest losowe to chyba muszę zacząć grać w totka, tak jak i wielu ludzi których poznałem którzy mają jakieś tam już większe doświadczenie, bo takie osoby na początku tego wykresu są tutaj bardzo często spotykane, mało tego szybko sobie to uświadamiają i lecą jak im wykres zagra, tracąc jakąkolwiek pewność siebie z począku - albo zatrzymują się na początku przeceniają swoje możliwości, wbijają w projekt "zabójcę" i wylatują z hukiem zwalając na głupi projekt.

Większość programistów jakich znam przez to przechodziła:
-początek tj. wiem wszystko ze studiów, task zajmie kilka h, dawać

[nilfheimsan]

Nie rozumiesz czym jest efekt DK. Według krzywej laik nie ocenia swoich możliwości wysoko. Chodzi o to, że ludzie mający relatywnie niewielką wiedzę w danym temacie (czyli nie laicy) oceniają swój stopień wiedzy w dziedzinie dużo wyżej, niż eksperci.

@angor86: No właśnie nie... w internecie krazy wiele b lednych wykresow, a prawdziwy jest ten z prawej

[szaolny]

@nilfheimsan: Owszem te krążące po necie są wyolbrzymione ale swoje mówią i się potwierdzają, poniżej są z oryginalnej pracy. Wykresy są różne bo tak jak pisałem wyżej uważam że są dziedziny w których ten efekt jest bardzo widoczny, a są takie gdzie jest na granicy błędu statystycznego, ale no potrzeba by badań.

Wrzucanie jednego wykresu i mówienie że to błąd statystyczny to jak dla mnie troche naginanie prawdy :P

Dlatego

[nilfheimsan]

@rad_kop: nic, dla mnie spoko