[nilfheimsan]

Ile to razy słyszeliście "głupi nie wie że jest głupi"?
A jak fajnie znaleźć się w tej grupie która może powiedzieć "wiem że nic nie wiem"?

Szczególnie w dyskusjach w internecie popularne jest przywoływanie efektu Dunninga-Krugera który pokazuje że osoby o niskich umiejetnosciach w danej dziedzinie przeceniaja swoje mozliwosci, a osoby wykwalifikowane niedoceniaja swoich mozliwosci? I do tego wszystkiego wstawi sie fajny wykres i voila OP zniszczony.

What if I told you, efekt duninga krugera to tylko blad w analizie danych statystycznych? I mozna go odtworzyc z losowymi liczbami?

Już w 1999 roku zespół pod kierunkiem dr Ed Nuhfera opublikował własne badania pokazujące że efekt DK można odtworzyć na liczbach losowych. Wyniki potwierdzili także w badaniach na ludziach. Ich badania pokazały, że i laicy i eksperci źle oceniają swoje możliwości w podobnej częstotliwości (5-6%), a różnica polega na tym że zakres błędu laików jest większy, ale to czy przeceniają czy niedoceniają swoich możliwości jest już całkiem losowe!

Weźmy losową populację 100 wyników testów w zakresie 0-100
Następnie załóżmy że każda osoba myli się w zakresie +/- 50 punktów w wyniku swojego testu.
Oczywiście nie można mieć -45 ani +125 punktów. Więc ktoś kto ma faktyczną umiejętność na poziomie 10 punktów, jeśli losowo pomyli się w ocenie o -40 punktów to i tak swoją wiedzę oceni na 0 punktów. Jaki to ma skutek? Średnia przewidywań w okolicy najniższych wartości będzie podlegać "regression to the mean" czyli podciągać w górę, a w okolicy najwyższych wartości w dół.

Co ciekawe im wyższy margines błędu oceny założymy tym efekt bardziej widoczny!
Co ważne jeśli nie podzielimy na jakąś liczbę kwartyli to też efektu nie zauważymy.

I otrzymamy ten sam wykres co sławny wykres Dunninga Krugera.
W załączeniu daję google sheets gdzie można to samemu sprawdzić (zróbcie sobie kopie to bedziecie mogli edytowac)
-> https://docs.google.com/spreadsheets/d/13pM1Hstf_3uStHqVMkpSFybuHULPSyanU3A7wjxMG-o/edit?usp=sharing

Wpis inspirowany wczorajszym wykopem w ktorym znowu wszyscy zachwycaja sie "efektem DK" oraz artykulem https://www.mcgill.ca/oss/article/critical-thinking/dunning-kruger-effect-probably-not-real a także rozmową na grupie "Statystyczne Świry" na FB

#ciekawostki #gruparatowaniapoziomu #efektdunningakrugera #nauka #statystyka #psychologia #socjologia #datascience

[nilfheimsan]

@karer: @zydownik: @Trevize: @bibsz: serio polecam artykuł oraz dwie oryginalne publikacje Nuhfera. zalaczam fragment wnioskow z artykulu:

Nuhfer et al.: Using Random Numbers to Understand Self-Assessed Competence

Construction of line charts drawn in the Kruger-Dunning convention does not
require directly calculating

[z.....k]

@nilfheimsan:

What if I told you, efekt duninga krugera to tylko blad w analizie danych statystycznych?

Hm?

[bibsz]

@nilfheimsan:
ale to niczego nie zmienia w świadomości poszczególnych ludzi i ich samoocenie.

[nilfheimsan]

@zydownik: No i?

[karer]

W skrócie osoby u góry skali nie mogą za bardzo przeszacować, mogą tylko niedoszacować lub trafić

Osoby na dole skali mogą tylko niedoszacować lub trafić

@nilfheimsan: no niebardzo. Skala musi byc ZNANA osobie ktora sie nia posluguje. Zalozmy ze pytam cie o twoja wiedze z fizyki w skali 0-100. W ktorym miejscu bys sie postawil jesli chodzi o ocene kompetencji? Ja bym dal sobie 0 pktow mimo ze najpewniej (tak

[Trevize]

Czy to mówi że tego efektu nie ma? Nie

Ale mówi że takie badanie efektu nie dowodzi, a liczby generowane sztucznie służą zrozumieniu dlaczego

@nilfheimsan: wręcz przeciwnie. To dowodzi, że efekt istnieje i wyjaśnia go w bardzo prosty sposób.

[vanitydomain]

@nilfheimsan: ciekawe

[tezeten]

Dziś jest gorzej. Ktoś kto jest powiedzmy osobą docenioną w jednej dziedzinie stara się być ekspertem od wszystkiego.
Nagle celebryci czy aktorzy mówią na kogo mamy głosować. A ja się zastanawiam, dlaczego np wybitny budowlaniec, albo tokarz nie miałby być mądrzejszy w tej materii?

[karer]

@tezeten: osoba doceniona to nie to samo co ekspert. Ekspert potrafi obronic swoje twierdzenia a osoba doceniona niekoniecznie.

[Nemayu]

@Trevize: Wynik istnieje i jest prawidłowy, ale to co wokół niego zbudowano to zwykłe #!$%@?. Może istnieć jako prawo, że oceniając się w jakiejś skali to ta skala powoduje ten efekt, ale nie można ocenić, że ktoś się ocenia wyżej lub niżej z powodu efektu psychologicznego, bo badanie tego nie udowodniło w żaden sposób. Jest polecenie i jest skala, i to te wytyczne powodują efekt. Nie oznacza to, że ludzie

[nilfheimsan]

@Nemayu: ładnie ujęte w słowa, czego u mnie zabrakło

[Trevize]

@Nemayu: ja ten efekt interpretuję zupełnie inaczej. Nie chodzi o to dlaczego ktoś się ocenia powyżej swoich umiejętności, bo to można przypisać właśnie efektowi Krugera-Dunnninga, a jego wyjaśnienie może być matematyczne. Chodzi o to, co się dzieje, gdy już się tak ocenia - dodaje mu to pewności siebie w sprawach, w których jego wiedza jest nikła. Statystycznie coś takiego zdarza się częściej u ignorantów niż u ludzi zaznajomionych ze sprawą,

[tezeten]

@karer: uwierz mi że każdy celebryta myśli, że potrafi obronić tezę, że tusk był zbawcą narodu a kaczyński jest szatanem

[Nemayu]

@Trevize: Tyle, że efekt Duninga Krugera zakłada, że przyczyną jest psychologia człowieka, a nie że taki wynik jest spowodowany błędnym badaniem: co ludzie o sobie myślą i bezsensownym zestawieniem tego na jednym wykresie. Mogłoby to być badanie jak przydatna i rzetelna jest ocena w skali np. 1-100, ale nie dotyczy ono w żadnym stopniu człowieka i jego oceny. Ludzie oceniają się raczej w porównaniu do innych z ich otoczenia, a

[Trevize]

@Nemayu: to nie jest w ogóle kwestia oceny w skali 1-100, tylko ogólnie oceny w jakiekolwiek skali, która ma jakiś dolny zakres. Nikt nie ocenia swojej wiedzy na mniej niż 0, bo to jest bez sensu, a ludzie nie chcą się przyznawać, że nie mają kompletnie żadnego pojęcia w temacie i zawsze twierdzą, że coś tam słyszeli. Efekt jest taki, że średnia ocena swojej wiedzy przez ignorantów (w dowolnej abstrakcyjnej

[nilfheimsan]

@Trevize: no tak, i to wlasnie jest zaprezentowane na przykladzie losowych liczb, ze to nie musi wynikac ze zjawiska psychologicznego, a jedynie ze z gory ustalonych maematycznych aspektow eksperymentu

[Nemayu]

@Trevize: @nilfheimsan: Tak jak napisał nilfheimsan. Zgadzasz się z nim, ale piszesz, że się nie zgadzasz, a zaraz piszesz, że ma rację, ale wg ciebie oznacza to, że on nie ma racji, mimo że jednak się z nim zgadzasz.

[Trevize]

@nilfheimsan: dla mnie, jako obserwatora świata, nie ma znaczenia przyczyna, a to że spotykam mądrzących się ignorantów. :( Efekt Dunninga-Krugera wyjaśnia, że tak musi być. Przypominam, że to jest efekt, a więc opisuje on występujące zjawisko, a nie jest teorią wyjaśniającą je od podstaw.

[Trevize]

@Nemayu: @nilfheimsan: nie, Wy się upieracie, że efekt DK to tylko błąd w analizie danych, a ja twierdzę, że to jest istniejące zjawisko. Zgadzam się z Wami jedynie co do podstaw efektu DK.