@wafel93: Przeczytaj _A Primer on Neural Network Models for Natural Language Processing_ Goldberga (s. 20-25).

@skrzacik320: Dla ścisłości: embedingi word2vecowe i glovowe nie są kontekstowe. One są (pre)trenowane na podstawie kontekstów w dużym korpusie, ale ich użycie też sprowadza do lookupu do macierzy, bez kontekstu. Różnica jest taka, że embedding layer jest trenowany razem z innymi parametrami sieci w sposób nadzorowany, na downstreamowym tasku, natomiast wspomniane statyczne embedingi, przygotowaje się w sposób nienadzorowany, np. faktoryzując macierz współwystępowania słów w dużym korpusie. Można ich potem użyćPokaż całość

@RicoElectrico: przecież to nie ma sensu

@majsterV2: Na dobrą sprawę nie musisz w pamięci trzymać nawet całego modelu tylko podzielić go na segmenty i żonglować nimi między pamięcią grafiki i zwykłą.

@Darkus777: Ogarniasz coś w kwestii przydzielenia pamięci z płyty głównej do obliczeń na GPU?

Nie bardzo rozumiem. Dowiązujesz kontekst do autora gdzie to są odrębne rzeczy. Żeby sieć się nauczyła pisać/mówić/cokolwiek jak ktoś konkretny to musisz w nią pakować dane z tego kogoś konkretnego. Żeby coś takiego osiągnąć to ja bym przepuścił trenowanie raz na danych z Shakespeara, zapisał stan sieci, drugi raz na danych z nietzshego i zapisał do odrębnego pliku. Wczytanie stanu sieci to nie jest jakieś drogie zadanie. A flagowanie to właśnie doPokaż całość

Generowanie tekstu to nie trywialny problem. Nie siedzę w tym temacie ale z tego co się orientuję będzie ciężko zrobić jeden model który generuje tekst wielu autorów opierając się na znaczniku, chyba że będzie to jakiś model łączony. Zobacz czy tutaj nie ma nic co może pomóc:
paperwithcode
OpenML
Github

@konik_polanowy: o, fajne

Taktyk