[erwit]

Mireczki z #datascience #machinelearning #statystyka

Cross validation (np k-fold validation) przeprowadzam na calym dostepnym data secie, czy na wczesniej wydzielonym training secie?

[Kura_Wasylisa]

@erwit jezeli nie planujesz później testowac modelu to 1. Wpp ( na ogol ) 2.

[grajlord]

@erwit: To zależy od ciebie. Cross-validation wykorzystujesz do samego procesu uczenia i dobrania parametrów modelu. Jeżeli chcesz (musisz?) dostarczyć obiektywnych dowodów na to, że twój model jest dobry (uniwersalny), a nie przetrenowany tylko do konkretnych danych, to musisz losową próbę danych pozostawić na później.

[erwit]

@Kura_Wasylisa: @grajlord: dzieki! Poradzcie jeszcze prosze, jak po cross validation zostaje z kilkoma modelami, to score licze sobie jaki srednia scorow tych kilku modeli. A jak jest z hyperparameters? Tez srednia wyliczam?

[grajlord]

@erwit: jaki score?

[grajlord]

@erwit: Nie wiem jakiego rodzaju modeli używasz, ale generalnie wybiera się jeden i go używa, nie wiem jak w twojej dziedzinie wiedzy/aplikacji. Score to pewnie masz na myśli jakaś statystykę która jest miarą dopasowania modelu, nie widzę celu w uśrednieniu

[Kura_Wasylisa]

@erwit masz model X, k razy go uczysz i k razy walidujesz ( na każdym foldzie). Dostajesz k statystyk np auc, rmse itd. Na ogół finalna jest średnia z k miar. Robisz N takich modeli zazwyczaj każdy z innymi parametrami i wybierasz ten z najlepszym średnim wynikiem. Zadnych parametrów nie usredniasz

[erwit]

@grajlord: @Kura_Wasylisa: dzieki!

Calosc robie tak:

1. Zaczynam

[Kura_Wasylisa]

@erwit 3. Masz 5 modeli i kazdy z nich trenujesz na pelnym zbiorze treningowym uzywajac 5 foldowej CV.