[wafel93]

Czy ktoś może mi wyjaśnić różnicę pomiędzy:
1) keras.layers.Embedding layer
2) modelami vec2vec, glove

Próbuję to zrozumieć w kontekście NLP, ale szersze naprowadzenie bardzo mile widziane :)
#python #machinelearning #keras #tensorflow #nlp

[mrocznapszczola]

Może to pomoże Mireczku https://machinelearningmastery.com/use-word-embedding-layers-deep-learning-keras/

[Poczmistrz_z_Tczewa]

@wafel93: Przeczytaj A Primer on Neural Network Models for Natural Language Processing Goldberga (s. 20-25).

[skrzacik320]

@wafel93: Embedding layer to jest lookup table. Dla tokena k zwraca v = emb[k] czyli k-ty wiersz z macierzy. vec3vec i glove są modelami. Odwzorowują token k na wektor v = enc(k, c), gdzie c to kontekst czyli inne tokeny występujące w zdaniu.

[Poczmistrz_z_Tczewa]

@skrzacik320: Dla ścisłości: embedingi word2vecowe i glovowe nie są kontekstowe. One są (pre)trenowane na podstawie kontekstów w dużym korpusie, ale ich użycie też sprowadza do lookupu do macierzy, bez kontekstu. Różnica jest taka, że embedding layer jest trenowany razem z innymi parametrami sieci w sposób nadzorowany, na downstreamowym tasku, natomiast wspomniane statyczne embedingi, przygotowaje się w sposób nienadzorowany, np. faktoryzując macierz współwystępowania słów w dużym korpusie. Można ich potem użyć do

[blasted]

@wafel93 co