[throwyn]

#programowanie #ruby #python (chociaż niekoniecznie)
Mireczki, czy istnieją gotowe słowniki do normalizacji słów/tekstu? Mam dane, w których są różne odmiany słów ["3 jajka", "jajko", "7 jajek"] i potrzebuje zamienić to do jednej formy "jajka".

[nesti32]

@throwyn: Szukaj pod stemming/lemmatizing

[throwyn]

@nesti32: to jest właśnie to czego szukałem, dzięki!

[cxnmlhuipwetr]

@nesti32: stemming to zupełnie nie to, po stemmingu słowo zwykle nie ma poprawnej formy gramatycznej.

[czlowiekboruta]

@throwyn: Szukaj jeszcze pod hasłem 'pluralize'. Ruby on Rails ma do tego wbudowany helper
http://api.rubyonrails.org/classes/ActiveSupport/Inflector.html#method-i-pluralize
Ale nie wiem na ile dobrze to działa w językach innych niż angielski

[11001100110O11]

@throwyn: a nie możesz ich zaindeksować po prostu w ElasticSearch i potem z niego szukać?