@wafel93: Przeczytaj A Primer on Neural Network Models for Natural Language Processing Goldberga (s. 20-25).

@skrzacik320: Dla ścisłości: embedingi word2vecowe i glovowe nie są kontekstowe. One są (pre)trenowane na podstawie kontekstów w dużym korpusie, ale ich użycie też sprowadza do lookupu do macierzy, bez kontekstu. Różnica jest taka, że embedding layer jest trenowany razem z innymi parametrami sieci w sposób nadzorowany, na downstreamowym tasku, natomiast wspomniane statyczne embedingi, przygotowaje się w sposób nienadzorowany, np. faktoryzując macierz współwystępowania słów w dużym korpusie. Można ich potem użyćPokaż całość

@Izanagi013: wiesz, pobór prądu podejrzewam jest zupełnie inny tu i tu + jak jest jakieś grubsze rozpoznawanie mowy z pomocą internetu to transfer do tego leci. A tak można by zrobić jakieś Arduino reagujące na słowo kluczowe, które aktywuje raspberry, które od wtedy będzie przejmować cały proces. Brzmi sensownie chyba

@michal1358: chyba nie, bo raspberry też moze robić to co arduino, bez połączenia z netem. A pobór prądu w większości wypadków nie ma znaczenia, choć raspberry pobiera mniej więcej tyle, co telefon i też może lecieć z baterii

@majsterV2: Na dobrą sprawę nie musisz w pamięci trzymać nawet całego modelu tylko podzielić go na segmenty i żonglować nimi między pamięcią grafiki i zwykłą.

@wafel93: Możesz mi gdzieś wrzucić te dane i wysłać w prywatnej wiadomości link do pobrania? xD

@konik_polanowy: dziekuje :)

@konik_polanowy: Jestem prostym człowiekiem, widzę dobry content, daję plusa.

@majsterV2: ogólnie na starszym sprzęcie. Szczerze nie pamiętam teraz jak wygląda użycie ram karty przy odpalonym modelu rcnn ale przy uczeniu na gtx 1060 6gb to 99% ram zajęte. To raczej jest ciekawostka gdzie można by dla testów odpalić prostsze modele. To będzie "przełom" raczej jak wyjdzie karta graficzna intela i intel kupił ta firmę co tego plainML robi. Po prostu intel chce mieć pewnie na start stack do ML,Pokaż całość

@majsterV2: nie kumasz. Jak uczysz taką sieć to jedziesz mocno vram karty i jego gpu. Z kolei np. przy testowaniu nauczonych sieci rcnn do wykrywania obrazów gpu obserwowałem do około 25-30% na gtx 1060 6gb ale nie pamiętam ile vram. Dwa sam ram przy uczeniu to nie problem zajechać wystarczy wrzucić jedno dwa zdjęcia w jpg o rozmiarze 1 mb i dużej rozdzielczości i ram w komie się kończy przyPokaż całość

@majsterV2: mam Intel hd3000

@majsterV2: ktoś w ogóle jeszcze kopie kryptowaluty? xD

@majsterV2: uwielbiam twoje hypowanie wioskowe ( ͡° ͜ʖ ͡°)
Kisne z postow o wioskowym internecie. Tesknoscie za 60mbitami a nagle jeb 'mam siec gigabitową do przepychania tych danych' xD
Jestes najlepszym #techpatostreamerem

@North_Central_Positronics: rzekłbym: wielojaźń ( ͡° ͜ʖ ͡°)

@karololo: ale w czym masz problem? gpu ci nie wykrywa?

@karololo: mozesz sprovowac na google colaborate na poczatku

@majsterV2 są planowane karty z AMD na ten rok
Nawet wspominali coś o raytracingu

@majsterV2: Nie

@Luk_1mex: scikit będzie łatwiejszy na początek. To nie jest typowe rozpoznawanie znaków jak mnist z convnet, ale w sumie i lepiej (łatwiej). Wielowarstwowy perceptron i ogień. MLPClassifier szukaj.