Język polski najlepszy w testach sztucznej inteligencji

Język polski najlepiej działającym językiem w długokonktekstowych (64K-128K tokenów) zadaniach NIAH, angielski dopiero na miejscu 6.

[IluzjaWIBORu]

Język polski, podobnie jak spokrewniony z nim sanskryt, wyróżnia się wśród innych języków wyjątkowo precyzyjną gramatyką, bogactwem fonetycznym i i złożonym systemem fleksji, który umożliwia tworzenie bardzo precyzyjnych znaczeń. Np takie języki germańskie, nawet w swoich najstarszych formach (a więc i bardziej skomplikowanych, bowiem języki europejskie mocno uprościły się w ostatnich tysiącleciach - pytanie za 100 punktów "dlaczego?" ) nigdy nie miały tylu przypadków ile zachował nasz język do dzisiejszego dnia. Prawda

[jak_ta_lala]

@IluzjaWIBORu: Idąc tym tropem powinni w tych testach uwzględnić łacinę...

[Manah]

@IluzjaWIBORu: nikt nie ukrywa historii języków indoeuropejskich, nie twórz spisku.

[noHuman]

Dość rozbudowana ale przy tym precyzyjna gramatyka... no to jest trudne do nauki przez człowieka ale dla maszyny po prostu gęstsze informacyjnie.
Swoją drogą słucham czasem opowiadań sci-fi na YT i te tłumaczone z ang. mają ciekawą cechę mylą you z thou czyli Wy z Ty :P bardziej złożony 'gender' pomaga na przykład w określeniu z kontekstu podmiotu wypowiedzi

[noHuman]

ps. czy gramatyka, fleksja/ składnia są niezbędne do posługiwania się polskim ? nie sądzę, jestem dyslektykiem, a mało który polak składa zdania w poprawne formy.

@martw: też jestem dyslektykiem. AI łatwiej sobie radzi z błędami w informacji niż z wnioskowaniem informacji z kontekstu. dalej jest lepiej jak napiszesz po polsku "Twuj" i "Wszasze" niż You i You ;)

[alexmich]

@noHuman: @martw Jestem 3 x Dys z czasów gdzie aby uzyskać papier na to należało zdać egzamin państwowy ( a przynajmniej ja to tak odbierałem jako coś odgórnego z kuratorium). Musiałem wykazać że znam całą gramatykę i wszystkie zasady. To jest małą książeczka. Sam test to było 22 strony A4. Były nawet pytania o zasady pisowni sów zapożyczonych z francuskiego ( ja wkułem je jako wyjątki, nawet nie wiedziałem,

[Majkel2008]

Oczywiście tekst przeszukiwany liczony jest w tokenach. Czyli w przypadku języka polskiego, tekst był krótszy, a w przypadku chińskiego był o wiele dłuższy.

A wynika to z tego, że język polski marnuje więcej tokenów niż chiński. Słowo, które po chińsku ma jeden token, po polsku ma:
- token na temat
- token na końcówkę fleksyjną (odmiana przez przypadki, czasy)
- token na przedrostek jeżeli to tryb dokonany

[dejvo]

@Majkel2008: Przeprowadzili także testy na podstawie ilości informacji w kontekscie i wyszło na to samo.

Similar findings hold despite dramatic differences in tokenized lengths: As seen in

Figure 25, when controlling for amount of context information, Slavic languages (Russian,

Ukrainian, Polish) perform highly, surpassing the performance of Romance languages like Italian, French, and Spanish. English performance is even lower, typically 8th

[marcinst]

bym im zaliczył tą inżynierkę.

@Majkel2008: za to ja bym Ci nie zaliczył matury z polskiego ( ͡° ͜ʖ ͡°)

[munioman]

TLDR: ten ejaj wymyślił co się stało z jeziorem kiedy je obszedłem?

[tdv26]

@munioman: jezioro zostało obszędłnięte

[FejsFak]

co się stało z jeziorem kiedy je obszedłem?

@munioman:

[jak_ta_lala]

To zapewne przez możliwość treningu na danych z wykop'u... Tak precyzyjnego myślenia jak tutaj nie uświadczysz nigdzie indziej ( ͡° ͜ʖ ͡°)

[LUXer]

Nie umniejszajmy językowi rosyjskiemu. Zajął drugie miejsce. Angielski jest bezużytecznym językiem, na świecie powinno się mówić tylko po polsku i rosyjsku.

[motylbezskrzydel]

@LUXer: Przy czym po rusku tylko w Rosji

[fervi]

@motylbezskrzydel: albo w piekle

[maaaaaaaarcin]

wniosek jest taki, że ważne teksty powinny być przechowywane w języku polskim :)

[Manah]

Polska gurom

[dict]

No ogólnie język polski jest p------y.
Napisałem kiedyś biblioteke w pythonie do generowania pseudorandomowych wyrazów.
Wziąłem linuksowe słowniki różnych języków, angielski, niemiecki, fiński i jakieś inne, łącznie bodajże 6. Dla każdego z nich wykonałem taką operację:
Podzieliłem każdy wyraz na przeplatające się ze sobą grupy samogłoswoe i spółgłoskowe, a następnie skatalogowałem parametry każdego wyrazu - ilość grup, "parzystość", i prawdopodobiestwo wystąpienia każdej grupy na danej pozycji w wyrazie.
Okazało się, że składając nowe wyrazy ze

[lookcipher]

@dict: Dokładnie, stąd powtarzane przez wszystkich naszych rodziców do swoich dzieci "Po Polsku nie rozumiesz?!" :D

[lookcipher]

@krykoz: A z szacunku do naszego języka :) Coś się stało?

[m_77]

Najzwyklejsze "ku..wa" można powiedzieć na wiele sposobów i chyba każdy odbiorca będzie wiedział, jakie emocje nadawca chciał zawrzeć w przekazie. Łącząc wspomniany wyraz z podobnymi znaczeniowo znacząco wzbogaca to kominukat i mozna tak "pie...dolić" cały dzień.

[Kraina_Wiecznej_Saszety]

@m_77: klasyka :-)