[produktdotestow]

Mam jeden długi tekst z czego na początku jest jego treść po polsku, a niżej (w nieznanym mi momencie) jeszcze raz to samo, ale przetłumaczone na obcy język (przyjmijmy, że zawsze jest to angielski). Algorytm dzieli taką treść na części (dla uproszczenia przyjmijmy, że każde zdanie = 1 element arraya). Macie jakieś pomysły jak obciąć z końca tak powstałej tablicy zdania, które są w języku obcym?

#programowanie #algorytmy #nlp #machinelearning #deeplearning (najlepiej #javascript, ale rozważę wszystkie opcje)

[produktdotestow]

Próbowałem użyć https://github.com/wooorm/franc i wszystko byłoby spoko (natykam się na pierwszy element tablicy, który zostanie rozpoznany jako eng) i wszystko łącznie z nim wycinam. Niestety lib za często się myli więc jest to zbyt prymitywne rozwiązanie.

[dziobaki_sa_jadowite]

Policz prawdopodobieństwo pochodzenia słów, połącz w zdania, tnij przy zmianie prawdopodobieństwa. Lub też policz prawdopodobieństwo dla całych zdań, a nie tylko dla słów.
Co to znaczy że lib się myli?

[sokytsinolop]

@produktdotestow: googluj Language Detection

[produktdotestow]

Co to znaczy że lib się myli?

@dziobaki_sa_jadowite: błędnie rozpoznaje język, nie mogę po takim jednym false positive rozpocząć usuwania całej reszty :/

googluj Language Detection

@sokytsinolop: zastanawiam się też nad użyciem jakiegoś gotowego API gdyby było w rozsądnej cenie

[dziobaki_sa_jadowite]

@produktdotestow: Z ciekawości, i zachęty do debugowania, mogę poprosić o przykłady zdań/prawdopodobieństwo?
Rozumiem że lib mógłby sobie pomylić pojedyncze słowa, ale żeby całe zdanie?

[produktdotestow]

@dziobaki_sa_jadowite: zobacz sobie jaki ten lib jest prosty w środku, działa na zasadzie najczęstszego występowania obok siebie liter w różnych językach albo jakieś inne cuda https://github.com/wooorm/franc/blob/master/packages/franc-min/data.json. Nie ma tu żadnego AI, modeli i trenowania ich, nie ma co wymagać cudów.

Weźmy sobie na warsztat taki ciąg:

Opłata za prąd według zużycia

Wydawać by się mogło, że nie ma szans pomylić tego z żadnym innym językiem niż polski, ale jednak :P Oto

[dziobaki_sa_jadowite]

@produktdotestow: Oooo bracie, to słaby ten lib. Podoba mi się wyzawnie :p Spróbuje zobaczyć jak rozwiązać podobny problem w pythonie, czas start.

[produktdotestow]

@dziobaki_sa_jadowite: myślałem nad użyciem naive bayes albo logistic regression, a potem karmieniu modeli artykułami z wikipedii, ale nie mam na to zbytnio czasu :P

[dziobaki_sa_jadowite]

Opłata za prąd według zużycia

@produktdotestow:
In [4]: st='Opłata za prd według zużycia'

In [5]: detect_langs(st)
Out[5]: [pl:0.9999962187285703]

[dziobaki_sa_jadowite]

@produktdotestow: https://pypi.python.org/pypi/langdetect

[produktdotestow]

@dziobaki_sa_jadowite: dzięki, sprawdzę. Coś za łatwo poszło ( ͡° ͜ʖ ͡°)

[dziobaki_sa_jadowite]

@produktdotestow: Możesz mi PM-nąć listę zdań, odeśle Ci wyniki, jeśli chcesz sprawdzić czy warto po to instalować Pythona.

[produktdotestow]

@dziobaki_sa_jadowite: spoko, już ogarnąłem port do javascript. https://detectlanguage.com/ ma nieco lepszy performance, ale ta paczka działa zadziwiająco dobrze :)