[IsambardKingdomBrunel]

#datascience
#python

Uczę się data science i ML. Spotkałem się z czymś, czego nie do końca rozumiem. Do tej pory poprzez traintestsplit dzieliłem sobie zbiór na 2 grupy, wiadomo. Z kolei w jednej książce spotkałem się z pomysłem, aby dzielić nie na 2, ale na 3 grupy. Ta 3 miałaby być walidacyjną i miałaby służyć porównaniu z tą testową. Nie lepiej zrobić sobie pętlę z powiedzmy 30 iteracjami uzyskując różne grupy testowe i na nich od razu sprawdzać mając już gotowe jedno badanie?

[haka65]

@IsambardKingdomBrunel: Generalnie można myśleć o tym tak, że train/validation pochodzi ze zbioru uczącego a zbiór testowy to jest to co siedzi na produkcji. Poczytaj sobie jeszcze o k-fold cross-validation.

[IsambardKingdomBrunel]

@haka65: Co to znaczy 'na produkcji'? Do tej pory jak miałem dataset to był tylko jeden i to jego musiałem podzielić.

[haka65]

@IsambardKingdomBrunel: Przykładowo: trenujesz model na trainining secie, tuningujesz hiperparametry żeby zmaksymalizować wynik na zbiorze walidacyjnym. Potem sprawdzasz wyniki na testowym. Generalnie chodzi o to, że trening odbywa się bez żadnego udziału zbioru testowego.

[arysto2011]

@IsambardKingdomBrunel: Kazdy model jest tak dobry jak jego dane treningowe. To co widzisz w podziale na train i validate to zwykle "overfitting".

To znaczy, ze dane testowe maja inna dystrybucje niz danych, ktore modelujesz i jest w nich cos wiecej. Stad dane testowe, ktore nie mialy nigdy stycznosci z danymi treningowymi

[vossinho2]

@IsambardKingdomBrunel: chodzi o to, że jak wykorzystujesz 2 zbiory to dostarając parametry na 2 zbiorze to wynik przy testowaniu będą przekłamane.

[IsambardKingdomBrunel]

@arysto2011: @vossinho2:

Czyli podsumowując, kiedy robię sobie podział i staram się dostroić ML, to prawie na pewno będzie to przekłamane, ponieważ jest to dopasowane tylko do 1 zbioru testowego?

[vossinho2]

@IsambardKingdomBrunel: szczerze mówiąc to pisałem na podstawie deep learningu bo właśnie przerabiam książkę, ale skoro koledzy mieli podobne zdanie to postanowiłem się udzielić

[arysto2011]

@vossinho2: https://www.mlyearning.org

Ta ksiazka tlumaczy dlaczego.