[swlabr]

#tensorflow #keras #deeplearning #machinelearning #ml

Ktoś ogarnia sieci neuronowe oparte na tensorflow na tyle, żeby naprowadzić na właściwy model danych i typ warstw do celów poszukiwania użytkowników zainteresowanych zakupem? Input w stanie surowym jest różnej długości (url po urlu, każda sesja ma unikalny ID, każdy user również), część inputu ma w ogóle inny kształt (parametry usera - przeglądarka, region itd.)

Zakładam, że będą to dwa różne inputy o róznym kształcie i o tyle o ile ten drugi to prosta sprawa, to ten pierwszy nie wiem w ogóle jak obrobić, żeby sieć dalej rozumiała, że to jest ciąg w którym kolejność ma znaczenie, a jednocześnie, żeby działał (tj. każda sesja np. powyżej 5 odsłon miała ten sam znormalizowany kształt inputu). Opcja typu przerobienie pad_sequence na kolumny jest bez sensu bo model traci sporo dokładności z tego co rozumiem (chyba, że nie rozumiem dobrze jak działają sieci RNN).

Szukałem bardzo długo na necie przykładów i nic sensownego nie widzę.

[d.....f]

@swlabr co?

[swlabr]

@darkelf http://www.latlmes.com/world/tensorflow-webanalyticsmodels-1

[Pococitennozpyta]

@swlabr ile masz danych treningowych i czy to jest stricte klasyfikacja?

[swlabr]

@Pococitennozpyta: Tak, binarna klasyfikacja. Danych mam...hm za dużo;) ~ 10M userow, 4x sesji, 30x odsłon. Konwertuje ~1,5%. Unikalnych url'i mam dobrze ponad milion, można je teoretycznie jakoś poklasyfikować do kilkuset kategorii.

Jak model wybierze mi 80% userów, ale z tych wybranych tylko 15% skonwertuje to uznam to za zajebisty sukces.

Wynikiem modelu może być albo klasyfikacja binarna, albo prawdopodobieństwo konwersji (nie zagłębiałem się nawet teoretycznie w ten drugi temat)

[Pococitennozpyta]

@swlabr ja bym polecal najpierw sprobowac wybrac zmienne ktore maja jakakolwiek wartosc predykcyjna, np za pomoca woe(z tego information value) albo jak nie masz czasu to prostym algorytmem boruta albo randomforest.

Odfiltrujesz bezsensowne zmienne i bedziesz mogl sobie pozwolic na mniej neuronow w 1 warstwie

[swlabr]

@Pococitennozpyta: No to jest jeden z powodów, który mnie zepchnął na obszar sieci neuronowych. Nie chcę wybierać tych zmiennych, bo taki model już mam i działa z dupy, tak jak zresztą wygląda to na całym rynku. Wiem z dość ogólnych informacji, że firmy, których główną kompetencją jest poszukiwanie użytkowników klikających/kupujących mają całe modele oparte o brute-forceowe sieci neuronowe, które dużo lepiej działają niż jakikolwiek tradycyjny model, a data scientistów mają topowych.