[varchar12]

Witam was Mirki, mam pilne pytanie.
Czy kategoria "melanocytic nevi" ze zbioru danych HAM10000 to ta sama kategoria, albo podkategoria podobnej zmiany skórnej "Nevus" ze zbioru danych ISIC2020?
Pytam, ponieważ próbuję stworzyć klasyfikator rozróżniający różne zmiany skórne i się zastanawiam, czy rozdzielanie "melanocytic nevi" i "Nevus" na dwie kategorie ma sens. Po dodaniu ósmej kategorii(Nevus), do modelu parametr "accuracy" mocno spadł. Bez kategorii "Nevus" po jednym przejściu(1 epochs, 150 steps) klasyfikator uzyskiwał taki wynik:
loss: 1.2670 - acc: 0.6281 - valloss: 1.4149 - valacc: 0.6510
Natomiast, gdy dodaje kategorie Nevus z 4000 zdjęć tej zmiany skórnej parametr "acc" nie wzrasta powyżej 0.4, albo czasem wręcz spada.
Nie znam się na dermatologii, ale podejrzewam, że mąci tu to, że "melaocytic nevi" jest podgrupą "nevus" i dlatego algorytm głupieje i nie wie jak klasyfikować danych. Jakiś mirek zna się na dermatologii i na maszynowym uczeniu aby wskazać kierunek?

#programowanie #programista15k #machinelearning #deeplearning #datascience #dermatologia

[masterix]

próbuję stworzyć klasyfikator rozróżniający różne zmiany skórne

@varchar12: jakiś własny pomysł czy w pracy?

[varchar12]

@masterix: Własny. Nie ma związku z pracą

[masterix]

@varchar12: a powiesz coś więcej? Tzn skąd akurat taki związany z dermatologią i czy planujesz z tym coś komeryjnego robić

[varchar12]

@masterix: Nie rozumiem. Zainteresowało mnie to, dlatego postanowiłem się wdrążyć w temat. Nie planuje nic z tym robić komercyjnego. A ty znasz odpowiedź na zadane pytanie, czy będziesz odpowiadał pytaniem na pytanie?

[masterix]

@varchar12: nie znam, po prostu mnie zaciekawiłeś tematyką projektu, więc co z tym złego/dziwnego, że zadaję pytania?

[varchar12]

@masterix: Oczywiście, że to nic złego. Myślałem, że chcesz mnie zjechać za pytanie, że jeśli to projekt komercyjny, to powinienem zapłacić za poradę czy coś. Nie takie rzeczy na polskich forach widziałem. Nie, żadna komercja. Zwykły projekt dla nauki własnej. Ogólnie interesuje mnie tematyka machine learningu, ale ciężki temat to jest i szybko tracę motywacje. Dlatego miałem nadzieję, że dobre wyniki w takim projekcie zmotywują mnie do dalszej pracy, a może

[masterix]

@varchar12: kompletnie obca mi dziedzina, a to co nieznane mnie zawsze interesuje. Sam siedzę w fintechach i e-commerce ciągle, więc taki projekt z totalnie innej i ciekawej branży wzbudził zainteresowanie, zwłaszcza, że sam badałem niedawno zmiany skórne :D
Życzę powodzenia i jak uda Ci się coś fajnego zrobić to wrzucaj na wykop i chwal się

[varchar12]

@masterix: Dzięki, zachęciłeś mnie aby wrzucić tutaj później ten projekt. Zamierzam we flasku dopisać do tego jakiś prosty interfejs i udostępnić w darmowej domenie, więc podeślę linka tutaj. Aktualnie mam spory problem z niezbalansowanymi danymi. W klasie liczącej najwięcej danych jest ich 6000 a w najmniejszej 100, co trochę psuje cały model. Poczytałem gdzieś, że dostosowanie wag mogło by w tej sytuacji pomóc. Ale nie pomaga. Zastosowałem tutaj automatyczne obliczenie wag,