throwyn
#programowanie #ruby #python (chociaż niekoniecznie)
Mireczki, czy istnieją gotowe słowniki do normalizacji słów/tekstu? Mam dane, w których są różne odmiany słów ["3 jajka", "jajko", "7 jajek"] i potrzebuje zamienić to do jednej formy "jajka".
  • Najlepsze
  • Wszystkie komentarze
nesti32
@throwyn: Szukaj pod stemming/lemmatizing
throwyn
throwyn Autor
0
@nesti32: to jest właśnie to czego szukałem, dzięki!
cxnmlhuipwetr
cxnmlhuipwetr
@nesti32: stemming to zupełnie nie to, po stemmingu słowo zwykle nie ma poprawnej formy gramatycznej.
czlowiekboruta
czlowiekboruta
@throwyn: Szukaj jeszcze pod hasłem 'pluralize'. Ruby on Rails ma do tego wbudowany helper
http://api.rubyonrails.org/classes/ActiveSupport/Inflector.html#method-i-pluralize
Ale nie wiem na ile dobrze to działa w językach innych niż angielski
11001100110O11
11001100110O11
@throwyn: a nie możesz ich zaindeksować po prostu w ElasticSearch i potem z niego szukać?