Wpis z mikrobloga

Tu masz link: https://trackingai.org/home
Dla mnie znaczenie mają testy offline, gdzie AI nie znajduje podobnych przykładów na Necie, i nie posiłkuje się nimi.
Co kilka dni testy są wymieniane, i modele AI ponownie testowane, gdzie na dole strony można znaleźć poprzednie wyniki.
  • Odpowiedz
@Arkass: kto zaprojektował te testy? Kognitywista? Jakaś instytucja? Jakie ma credentiale do tworzenia faktycznych testów IQ, a nie jakiegoś internetowego bullshitu? Jakiś Jurij. Kto to jest ten Jurij i skąd mam wiedzieć, że potrafi tworzyć poprawne testy?
  • Odpowiedz
@4pietrowydrapaczchmur: IMO:

W ciągu ostatnich kilku miesięcy przeszliśmy ze stanu "AI jest głupsze od większości z nas", tzn. taki pomocny idiota, do stanu "AI jest mądrzejsze od większości z nas". Poniżej wyniki testu na inteligencje aktualnych modeli.


To wciąż nie jest AGI, przez co AI wciąż jest nierówna w rozumowaniu, gdzie z jednymi rzeczami sobie radzi lepiej a z innymi gorzej, gdzie z jednymi zadaniami sobie radzie lepiej, a z
  • Odpowiedz
@Arkass: od kiedy przynależność do mensy potwierdza umiejętności projektowania poprawnych testów IQ?
Na jakiej próbce testy offline był pilotowane / kalibrowane? Patrzył na nie ktoś z ekspertyzą w psychometrii? Z czym te wyniki są skorelowane? Z innymi testami, życiorysami grupy pilotażowej?
  • Odpowiedz
od kiedy przynależność do mensy potwierdza umiejętności projektowania poprawnych testów IQ?


@fukinloner: Z tego co zrozumiałem, są to przerobione oryginalne testy z norweskiej Mensy, przez kogoś z Mensy. Chyba że coś źle zrozumiałem.
  • Odpowiedz
@Arkass: odpowiedzi do pytań testu mensy norway są publicznie dostępne, w dużych ilościach, na przestrzeni wielu lat, z postami uzasadniającymi odpowiedzi. Więc model można traktować jako wyszukiwarkę odpowiedzi do tego testu. Dlatego skupiłem się na "testach" offline.
  • Odpowiedz
Dlatego skupiłem się na "testach" offline.


@fukinloner: IMO:
Tam jest też i testowanie na tych publicznych testach norweskiej Mensy. Testy oflline, to prawdopodobnie przerobione takie testy.
Te testy uważam za umiarkowanie prawdopodobne, bo dostrzegam korelację z benchmarkami, jakimi się poddaje takie modele AI: https://artificialanalysis.ai/models
Gdzie inteligencja modeli AI ma bezpośredni wpływ na wyniki w
  • Odpowiedz
@Arkass: |

Ale ręki se nie dam uciąć za te testy offline z IQ

to zapytaj dowolny model, czy wyszukiwarkę, jaka jest opinia o takich "testach" stworzonych przez anonimowych amatorów.
  • Odpowiedz