Zaczynam korzystac z #nlp, na razie troche sceptycznie podchodzę do tematu (choć coś tam możliwe, że działa).

Wcześniej już zgłebiałem temat ale nie praktykując. Wczoraj wróciłem po dłuższej przerwie do tematu i wiele kwestii zacząłem odbierać trochę inaczej, niektóre rzeczy staly się jaśniejsze.

Ciekaw jestem czy uda mi się samemu jakoś fajnie dostroić ( ͡° ͜ʖ ͡°)

Czy znacie jakiś GODNYCH POLECENIA specjalistów w tej kwestii w
Pracuje nad swoim projektem na #studiabaza i trochę eksperymentuje z NLP i pegazusem od Google. Taki kwiatek mi wypluł pegazus "Sir Hyperloop founder Elon Musk has died at the age of 72.", ciekawe rzeczy z równoległego świata można się dowiedzieć ( ͡° ͜ʖ ͡°) #heheszki #datascience #nlp
#tensorflow #spacy #machinelearning #nlp #python

Po wielu walkach ze spacy i morfeuszem udało mi się wszystko wreszcie zainstalować.
Najpierw ogarnąłem, że spacy musi być 2.2.4, potem przy ładowaniu modelu tensorflowi nie podobało się numpy w wersji 1.2, więc downgrade do 1.9 i teraz przy próbie odpalenia przykładu z example wywala błąd...

poniżej kod ( ͡° ͜ʖ ͡°) i error
https://pastebin.pl/view/c1cf3bca
tracę powoli siły do tego

edit: dobra.. chyba
czy istnieją jakieś sensowne i działające w miare wysokopoziomowo biblioteki, wspierające word2vec/ogólnie NLP dla języka polskiego? szukałem chwile w internecie i znalazłem jedynie jakieś surowe dane do przetworzenia sobie samemu (chyba?), a chciałbym tak dla siebie się tylko chwile pobawić, więc niezbyt mi się chce bawić z jakimiś podmianami i konfiguracjami. jest coś, co działa out of box? #programowanie #python #lingwistyka #nlp
@florenceandthemachine2137: to właśnie udało mi się znaleźć wczoraj, ale w temacie NLP jestem zuuupełnie zielony, więc sama myśl tego, że będę musiał coś podmieniać i nie wiadomo jak długo konfigurować trochę mnie zniechęca (zwłaszcza, że do niczego mi to nie jest potrzebne, tylko tak chciałem sobie sprawdzić temat)
  • Odpowiedz
@botereq: Jeżeli zaczynasz przygodę z ML ze swojej strony polecam kurs na coursera: https://www.coursera.org/learn/machine-learning

Jest on prowadzony przez człowieka który doskonale tłumaczy podstawy ML, nie nauczy on Ciebie używania bibliotek ale teorii i praktyki działania ML "pod maską", czyli czym jest i jak działa np. gradient descent, learning rate, regularyzacja. Parę lat temu kurs ten był prowadzony w oparciu o Octave (otwarty odpowiednik matlab) ale teraz z tego co wiem zaktualizowali
  • Odpowiedz
@botereq: @CukrowyWykop: PyTorch nie jest żadną nakładką na tensorflow.
Używanie obu bibliotek nie jest żadnym rocket science, więc generalnie można skosztować i tej i tej, co polecam.
Największą różnicą jest/było to, że tensorflow tworzył grafy statyczne, które potem odpalał, a PyTorch działa dynamicznie.
W nowych wersjach TF wprowadzili eager execution, który również działa dynamicznie, niemniej to PyTorch wspiera dynamiczne grafy natywnie.

Na NLP nie znam się zbyt mocno, raczej siedzę
  • Odpowiedz
Cześć,
niedługo mam rozmowę w pewnym korpo na stanowisko nlp specialist. Generalnie robią chatbota dla finansów czy tam
hr i szukają kilku osób do pomocy. Nie myślałem nad zmianą pracy w najbliższym czasie (pracuję jako Data Scientist w innym miejscu od 4 msc) ale oferta wydaje się ciekawa i proponują 40% więcej niż zarabiam teraz.

Pytanie brzmi, o co mogą pytać na rozmowie? Bardziej Python, DL czy NLP, czy wszystkiego po trochę?
Ja myślę że jak Pani z HR chcę się Ciebie pytać o sortowanie to nawet bym się nie wybierał na taką rozmowę. Jeśli chcą Cię zatrudnić do projektu DS to powinni pytać o rzeczy związane z DS. To znaczy według mnie że ludzie Ci nie mają pojęcia kogo wysłać do zweryfikowania umiejętności i zadają pierwsze lepsze pytania z 'how to prepare programming interview".
  • Odpowiedz
@skrzacik320: Dla ścisłości: embedingi word2vecowe i glovowe nie są kontekstowe. One są (pre)trenowane na podstawie kontekstów w dużym korpusie, ale ich użycie też sprowadza do lookupu do macierzy, bez kontekstu. Różnica jest taka, że embedding layer jest trenowany razem z innymi parametrami sieci w sposób nadzorowany, na downstreamowym tasku, natomiast wspomniane statyczne embedingi, przygotowaje się w sposób nienadzorowany, np. faktoryzując macierz współwystępowania słów w dużym korpusie. Można ich potem użyć do
  • Odpowiedz
Chciałbym nauczyć się #python w celu #machinelearning, a dokładnie będę probował zrobić apke, która będzie czytała pismo ręczne więc #nlp i chciałbym wybrać do tego jakiś dobry framework, wszędzie piszą o Django ale to chyba dla webu ? Ktoś może mi coś doradzić ? Każda rada będzie dla mnie dobrą radą :) Chyba, że mam sobie soli do dupy nasypać to może jednak nie każda...
@ossj: kaggle.com do nauki ML: PyTorch lub Keras - dwie najpopularniejsze biblioteki do deep learningu, a jeśli to będzie zwykłe przetwarzanie obrazu to pewnie OpenCV.
A co do samej apki, to QT jeśli ma to być program desktopowy, Django/Flask przy webie.
  • Odpowiedz
@ossj: Nie wiem, czy w Pythonie da się w ogóle pisać mobilki. Jeśli nawet, to musi to być straszna proteza, niezdatna do niczego. Polecam Fluttera do takich spraw - świetnie się w tym pisze i jest super prosty do nauki.
  • Odpowiedz