Popularna biblioteka do ML usunie zbiór uczący bo prawda jest rasistowska

Scikit-learn chce usunąć zbiór uczący Boston Housing, gdyż jeden z sygnałów (feature) to stosunek populacji Murzynów do reszty. Matematycznie prawdziwe dane są rasistowskie.

[singollo]

Nie wiem, czy ktoś zadał sobie trud przeczytania artykułu, który zainspirował dyskusję. I choć jestem przeciwnikiem naiwnego usuwania słów "master", "slave", "black" i "white" z kodu i języka, to tutaj coś jest na rzeczy. Jeżeli do wyceny nieruchomości będziesz używał modelu, który został zbudowany w okresie niechęci do Polaków w USA (sąsiedztwo Polaka obniżało cenę nieruchomości), to model ten przeniesie matematycznie tą niechęć na czasy obecne, tzn: choć nie mamy nic do

[matcheek]

@singollo: Ermmm, a my że raczej nie sąsiedztwo polska obniżało cenę nieruchomości tylko Polacy mieszkaja w emigranckich dxielnicach,?? No i chyba o to chodzi w t całym ml? Pomysł że jeśli zaakceptuje SX swoją przesłankę, czyli arbitralne usuwanie cech, to kończysz w ten sposób że , dowolną inną cechą również może zostać usunieta i e skrajnym przypadku otrzymasz model gdzie wszystkie wyniki są rownoprawdopodobne . Jak ty sobie wyobrażasz ml

[kkthxbb]

@singollo: Przejrzałem dysksuję na GH jak i ten artykuł i jak dla mnie nadal jest to dość zabawna sytuacja.

1. Zacznijmy od tego, że ten "rasistowsi" zbiór danych to tzn. "toy dataset", który wykorzystywany jest praktycznie tylko i wyłącznie do benchmarków i został już wykorzystany w wielu publikacjach. Oznacza to teraz, że jak chcesz porównac metody/odtworzyć wyniki to musisz go po prostu... odnaleźć go na własną rękę. Nie fixuje to rasizmu, a tylko dokłada pracy. Nikt na jego podstawie nie tworzy modeli działających w realnym życiu.

2. Ta kolumna "B", mimo "rasistowskiej" opinii to nadal tylko liczby i nic więcej. To w rolii klasyfikatora jest ocena czy kolumna ta jest użyteczna czy nie. Jeżeli zbiór danych został dobrze opracowny (z reprezentatywnej próby) i nie koreluje ona z wynikiem predykcji to może po prostu zostać pominięta przez

[Pimpuslaw]

Nic dziwnego, wszak logika i matematyka podłóg lewicy to konstrukty społeczne

[jaboja]

@Pimpuslaw Ależ to SĄ konstrukty społeczne! Po prostu konstruktywizm nie działa w ten sposób, że możesz wymyślić cokolwiek i bedzie działać. Możesz opisać rzeczywistość różnymi logikami, ale to nie znaczy, że każda logika będzie równie wiernym modelem rzeczywistości.

[bartholomeous]

@Pimpuslaw: Logika i matematyka podłóg to podług mej skromnej opinii całkiem interesujące konstrukty ( ͡° ͜ʖ ͡°)

[Borok]

Tak mi się skojarzylo:
"zabili pana od przyrody
łobuzy od historii"

[il68]

o jeb. oni do wyceny nieruchomosci uzywali ilosci murzynow zamieszkajacych dany teren xD No grubo...

[Trevize]

@il68: tak działa wolny rynek, a wycena ma być rzetelna i odzwierciedlać jego realia. To ludzie są rasistowscy, nie wyceny, ani nie zbiory danych.

[Trevize]

@Sinity: nie, rzetelna wycena pasuje do rzeczywistości, a nie kreuje sztucznych wzrostów, ani spadków. Jak wycena będzie zaniżona to znajdzie się więcej chętnych i sprzedający podniesie cenę ponad wycenę, a kupujący zapłaci.

[d.....f]

Chiny i Rosja nadal będą używać prawdziwych zbiorów, Europa i USA będą używać politycznie poprawnych zbiorów, zgadnijcie kto wygra wojnę AI.

[MeetU]

@darkelf: No właśnie chodzi o to, że te dane nie są "prawdziwe", w tej kolumnie wcale nie ma stosunku czarnoskórych do reszty i o to cały rumor. Jak popatrzysz na tę kolumnę, to w niej będą wartości większe od 100, chyba dostateczny dowód. Największy zarzut wobec tej kolumny to funkcja, którą te wartości zostały obliczone - wyssana z palca, bo wydawało im się, że tak będzie dobrze. Jakby tam były

[Warwick]

@darkelf: R^2 (coefficient of determination) regression score function. Best possible score is 1.0 and it can be negative (because the model can be arbitrarily worse). A constant model that always predicts the expected value of y, disregarding the input features, would get a R^2 score of 0.0.
~ dokumentacja sklearn

[alkotron]

Ta cywilizacja sama siebie zaorze.. Prawami czlowieka, poprawnoscia polityczna i skupianiem sie na mniejszosciach...jak to mawial S.p. Prof. Boguslaw Wolniewicz .. Lewacka ideologia jest sprzeczna z natura czlowieka...

[MiKeyCo]

@alkotron: Dlatego wygrają społeczności, które zrobią forka na naszej cywilizacji i odrzucą lewackie ideolo.

Teraz jest taki dziwny czas, że nie wiadomo kto będzie dalszym nośnikiem cywilizacji białego człowieka wywodzącej się jeszcze z Grecji i Rzymu. Może się okazać, że "barbarzyńcy" tak jak to było na przełomie Antyku i Średniowiecza. Może się okazać, że wartości te przetrwają w relatywnie egzotycznych społecznościach (w stosunku do źródła) jak Europa Środkowo-Wschodnia. Z naszego

[arkadiusz-dudzik]

@MiKeyCo:

Wróg u bram, nie można go wpuścić. Można przegrać ale i można sporo wygrać.

IMO wróg już pożera ten kraj od środka :) Inny niż zachodnie neo-marksistowskie lewactwo, ale równie destrukcyjny. I tak naprawdę widać analogię do zachodniej ideologii fragmentaryzacji społeczeństwa poprzez ideologię kolektywnego tribalismu, taką samą mentalność plemienności jak obecnie na zachodzie. Nasz obecny, wewnętrzny wróg to neo-pogańscy pseudo-katolicy z zapędami absolutnej władzy totalitarnej, co zagraża idei silnego i niepodległego suwerena w postaci wolnego obywatela. Kiedy absolutna władza zostaje skupiona w rękach wąskiej grupy ludzi to nie możemy mówić o wolnym i niepodległym kraju. Zachód ma problemy, my mamy swoje problemy, a społeczeństwo niestety zbyt głupie, skorumpowane i chciwe by dostrzec co się dzieje poza czubkiem własnego

[e.....4]

mowie wam ze beda chcieli przepisac historie ze to niemcy byli dobrzy tylko im polska kazala zostac najechana

[ktosio]

@ever444: już jest
tu jest o tym
https://youtu.be/brtynfNzP4M?t=406
i 9:35
i od 12:35

[RoMaN_MiKLaS]

B - 1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town

to nie łatwiej by było usunąć kolumnę B z tabeli zamiast usuwać cały zbiór danych?

[kkthxbb]

@RoMaN_MiKLaS: Wtedy zbiór przestanie być reprezentatywny. Wprowadzi to dodatkowy bałagan, bo od tego momentu bez sensu będzie porównywanie publikacji korzystających z w/w zbioru przed datą usunięcia kolumny i po dacie jej usunięcia.

[Saburo]

@RoMaN_MiKLaS: albo zamienić na BOLAK i wszyscy zadowoleni

[plackojad]

Niezupełnie zgodzę się z opisem znaleziska. Wspomniana zmienna (B) nie oznacza udziału Murzynów wśród mieszkańców (Bk), ale jest szacunkiem opartym na tej wartości. I rzeczywiście - jest ona dosyć sugestywna, co widać na wykresie z artykułu w powiążanych.

[przekret512]

czy nie jest to poprostu normalizacja?

chyba nei bardzo, szczegolnie jesli udzial murzynow wsrod mieszkancow (x, albo jak w pracy Bk) jest podany w wartosciach procentowych, to normalizacje (0,1) jest w zasadzie z automatu.

Tak czy inaczej, jeżeli taka funkcja poprawia końcowy model to znaczy że dobrze odzwierciedla rzeczywistość?

Tak,

[Warwick]

@przekret512:, @plackojad: @k_suchy: Własnie sprawdziłem wpływ tej kolumny na bazowy DTR i usunięcie jej poprawiło ocenę r^2 z 74.56% do 77.25%. No czyli nie tak dobrze odzwierciedla rzeczywistość ten parametr xd