[Bogdan191]

Mirki mam pomysł na prosty skrypt w #python ale nie wiem jak się do tego zabrać. Chciałbym wykorzystać jakąś sieć neuronową (albo coś w tym stylu) do kategoryzowania przelewów bankowych.

Prowadzę budżet domowy i bardzo by mi to ułatwiło spisywanie wydatków. Mam dostęp do sporej ilości przychodów/wydatków i wszystkie są w jakiś sposób skategoryzowane. Chciałbym żeby skrypt proponował kategorię przelewu w oparciu o historię. Coś tam z programowania wiem ale nie bardzo wiem czym to ugryźć

Jakieś sugestie?
#programowanie #siecineuronowe

[p.....a]

@Bogdan191 jak nie umiesz programowac, a do tego nie rozumiesz sieci neuronowych to moze byc zbyt ciezkie, a tez same sieci brzmia jak overkill

tutaj troche zalezy jakiego typu sa te dane i na jakiej podstawie chcesz predykowac kategorie

[Bogdan191]

@przepyszna_frytka napisalem że coś tam wiem, po prostu nie jestem zawodowym devem ;)
Dane mam w postaci plików csv i modyfikuje je przy użyciu pandas i numpy. Myślałem że użyje coś ze scikit - jeśli się nie mylę to są tam jakieś narzędzia do NLP a to chyba się przyda

[cohontes]

@Bogdan191: raczej nie masz takiej ilości danych by wytrenować. Dlaczego tworzyć koło na nowo jeśli wiele banków ma już wbudowane kategoryzacje? Podpowiem jeszcze, że jest to tam oparte głównie na regexach i w jakimś stopniu NLP :) no i oczywiście ogromnej ilości danych

[ProfesorBigos]

@Bogdan191: Sieć neuronowa to będzie overkill. Zacznij od zabawy z prostszymi modelami. https://scikit-learn.org będzie dla ciebie najlepszym miejscem na początek, bo mają bardzo dobrą dokumentację swoich algorytmów.

[Bogdan191]

@cohontes @ProfesorBigos
Tak sobie myślę że najprościej byłoby porównać opis przelewu z opisami historycznymi. Załóżmy że porównałbym stringa z listą stringów i szukał który historycznie był najbardziej podobny. Jak do czegoś takiego podejść?

[p.....a]

@Bogdan191 no jak chcesz analizowac tekst to NLP i pewnie bys musial znalezc slowa kluczowe, ktore wskazuja na dana kategorie, a pozniej przypisywac do danej kategorii przelewy na podstawie tego

no tez moglbys popatrzec na jakies inne dane, ktore masz w .csv np jesli przelewy z kategorii "Zakupy" wykonujesz zawsze miedzy 1700, a 2000 to wtedy godzina wykonania przelewu moglaby byc dla modelu przydatna informacja

[narowerzesamochodem]

@Bogdan191: chcesz rozwiązac problem klasyfikacji, czyli danym wejściowym przypisywać labelkę. Masz jakiś zbiór oznaczony, więc jakiś punkt startowy. Przy pracy z tekstem musisz go najpierw w jakiś sposób zamienić na wektor liczb (tokenizacja, itp.)
Zobacz sobie tutaj: https://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html
Tam masz przykład klasyfikatora na tekstach z gazet i przypisania im odpowiednich kategorii.
U siebie do treningu możesz oprócz samych opisów wykorzystać kwoty, daty, czy inne dane, które w tej CSV masz. Oczywiście,

[ProfesorBigos]

@Bogdan191: Tutaj masz film wyjaśniający prosty algorytm oznaczania maili jako spam na podstawie zawartych słów. Możesz spróbować zaimplementować go do swojego zadania jako wstęp do dalszej nauki. I przy okazji poznasz twierdzenia Bayesa.

[Bogdan191]

@ProfesorBigos dzięki za filmik. Szukałem czegoś o statystyce i ten kanał wygląda nieźle.

[iforgotmypass_]

@Bogdan191: nie za bardzo wiem jakie kategoryzowanie masz na myśli, bo jest wpół do drugiej i nie chce mi się za bardzo czytać komentarzy wyżej, ale wydaje mi się, że mógłbyś napisać jakiś banalny algorytm a la łańcuchy Markowa - zliczasz sobie na przykład, że 90% przelewów na dany numer konta to rachunki za prąd, potem tworzysz sobie z tego wszystkiego macierz, gdzie przechowujesz dane w stylu:

.......rachunki zakupy
nr konta