[NieJestemAgentemBialkova]

Hej, robię właśnie model regresji logistycznej i napotkałem pewien problem, więc pomyślałem że może tu ktoś będzie wiedział jak to rozwiązać. Mianowicie, zestaw danych, który służy mi za uczący i testowy (ofc separuję te części), zawiera małą ilość wyników należących do jednej kategorii (przykładowo - 3000 wyników dla kategorii pierwszej, 67000 wyników dla kategorii drugiej). Problem jest taki, że o ile model często ma ostateczną wydajność ok. 97%, to nie klasyfikuje poprawnie prawie żadnych wyników tej klasy z mniejszą ilością danych. Wymyśliłem, żeby ograniczyć rozmiar kategorii drugiej zbioru uczącego do rozmiaru pierwszej i rzeczywiście więcej wyników pada w mniejszej kategorii, ale też ogólna wydajność modelu spada do 70-80%. Znacie jakieś metody balansowania tych zbiorów?

#machinelearning #programowanie

[kiwis]

@NieJestemAgentemBialkova: I te 70-80% jest prawidłowe. Problem dla modelu jest taki, że w uproszczeniu jeżeli w ciemno bedziesz wybierał te przypadki z 67000 to będziesz miał większą skuteczność. Możesz pooglądać krzywe ROC i zobaczyć czy znajdziesz parametr, który będzie Cię satysfakcjonował i oczywiście dylemat błąd 1/2 rodzaju.

[skrzacik320]

@NieJestemAgentemBialkova: Możesz przypisywać przykładom wagi, przy liczeniu funkcji celu, w zależności, z którego zbioru są. Możesz losować przykłady do wsadu w inny sposób, żeby mały zbiór pojawiał się częściej.

[Kura_Wasylisa]

@NieJestemAgentemBialkova tak naprawde Null Accuracy w 1 przypadku wynosi 67/70 i mimo wysokiej wartosci model osiagajacy ja jest bezuyteczny.

Można stosowac wagi, można sprobowac SMOTE lub tak jak zrobiles - downsampling, polecam przejsc z metryka na AUC lub F1 i ustalac punkt odciecia na udziale liczniejszej klasy (czyli 67/70)