Mirki z #bigdata #datascience
Moglibyście może podrzucić jakiś temat, który by nadawał się na projekt końcowy na podyplomówce z Big Data?
Taki na 2-3 osoby i na kilka tygodni pracy. Może ktoś robił coś ciekawego i podzieli się pomysłem?
Technologicznie to R, Python i SQL, do tego chętnie coś z Hadoopem.
Najchętniej z jakimś dużym, ogólnodostępnym setem danych.
Oglądałem jakieś datasety z R ale jestem bardziej IT niż
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Malinozaur: w zasadzie tak, zawsze możesz zrobić lokalny klaster na jednej maszynie z małą próbką danych i później wrzucić finalnych skrypt np. na aws żeby pokazać że "to działa" na duży klaster. Przynajmniej ja bym tak zrobił ( ͡° ͜ʖ ͡°) Pamiętaj tylko Mirku żeby nie używać pythona do przetwarzania danych w spark, tam gdzie to możlwie używaj sql.
  • Odpowiedz
Siema, ostatnio czasem piszę sobie artykuły o #machinelearning i dzielę się nimi na blogu. Zbieram też ciekawostki i fajne artykuły z obszarów #datascience, #ml, #ai i rozsyłam w formie newslettera.

Gdyby ktoś chciał poczytać to zapraszam ;)

Tutaj ostatni artykuł o tym, jak stworzyć pierwszy model ML: https://uczymymaszyny.pl/moj-pierwszy-model-machine-learning/
Rzuciłem też na wykopalisko, może akurat ktoś zechce poczytać
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@kkthxbb: wiesz co z mojej perspektywy korzyści są takie, że
a) przypominam sobie podstawy ;)
b) gdzieś tam pojawiam się w sieci jako ten od machine learningów
c) lubię pisać takie rzeczy :)

A co do bardziej zaawansowanych treści
  • Odpowiedz
@kkthxbb: jako autor prokulski.science dla przykładu piszę bo w ten sposób utrwalam wiedzę i... mam później ściągi jak robię podobne zadania. Korzyści? Ludzie mnie kojarzą, czasem zapraszają na konferencje jako prelegent albo prowadzący warsztaty. Ale przede wszystkim kiedy będę szukał kiedyś nowej pracy to mam "portfolio" (chcę zrobić taki test - odpowiedzieć na ogłoszenie wysyłając po prostu link do bloga ;), wiem że HRy tego nie puszczą dalej ale do
  • Odpowiedz
Ebooki programistyczne - aktualne promocje

Dużo się dzieje! Poniżej aktualne promki. A już wkrótce akcja 2 za 1 Wielkanocna. Najlepsza akcja na ebooki w tym sezonie. Zapisz się na newsletter, żeby nie przegapić: PROMOCJE PROGRAMISTYCZNE

1. Przypominam, że dzisiaj kończy się akcja -30% na ebooka Angular. Programowanie z użyciem języka TypeScript. Wydanie II. Do końca dnia (02.04.2020) za 44,50 zł. #angular #typescript

tomaszs - Ebooki programistyczne - aktualne promocje

Dużo się dzieje! Poniżej aktu...

źródło: comment_1585858052iVuAH2t9MtVXIFhgo3jpeY.jpg

Pobierz
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Asarhaddon: jak nie lubie DT za ich brexitowe brednie to akurat artykul porzadny/naukowy. To obesity ratio na koncu powinno nastraszyc duza liczbe ludzi ktorzy sadzili ze "jak bedzie zle to ich NHS i tak uratuje" - nie w czasie pandemi:). Moze to skloni niektorych do lekkiej zmiany nawykow zywieniowych (mniej take-away'ow), jak grozba smierci nie wystraszy ludzi to juz chyba nie ma dla nich ratunku:)
  • Odpowiedz
#datascience #python
Od 15 marca zbieram statystyki o wpisach z tagu #koronawirus Wykorzystuję #python i #wykopapi
Zamierzam później zrobić z tego analizę wpisów, słów kluczowych, czasu publikacji, natężenia ilości wpisów i komentarzy pod wględem pory dnia itd.
Taka mała zapowiedź to lista największych spamerów tagu xD
Wołam spamerów @jaroty @JohnMaxwell @Kempes @56632 @Hejtel @rorf46 @Rabusek
PhoenixSoul - #datascience #python 
Od 15 marca zbieram statystyki o wpisach z tagu ...

źródło: comment_1585158621hU6uqcm65GFQvMmJ99XQip.jpg

Pobierz
  • 26
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via Wykop Mobilny (Android)
  • 2
@wioseneczka: nie słuchaj tych pierdół. Miałem ponad 20 kandydatów i każdemu githuba/gitlaba sprawdziłem. Najlepiej jak podasz link do strony na której masz wszystkie projekty opisane i zlinkowane
  • Odpowiedz
Social distancing i izolacja działają - wykresy z Wuhan i Szanghaju pokazują szczegóły

Wykresy z analizy naukowców (tutaj znalezisko) pokazują częstotliwość kontaktów w obu chińskich miastach między osobami w poszczególnych grupach wiekowych przed i po wprowadzeniu ograniczeń w związku z epidemią koronawirusa.

Dane liczbowe spadku kontaktów, statystki i źródło

#koronawirus #covid19 #infog #swiatnauki #liganauki #wirus #epidemia
cieliczka - Social distancing i izolacja działają - wykresy z Wuhan i Szanghaju pokaz...

źródło: comment_1584821726ZvdX92kmDj17qeyYUE0oNb.jpg

Pobierz
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Cześć! Mam pytanie początkującego związane z #datascience i #machinelearning

Jak czytałem wcześniej, to tworząc model, takiej dajmy na to regresji logistycznej, to z modelu powinienem eliminować zmienne,które nie mają wpływu na wynik, które są statystycznie nieistotne (p-value wywalone w kosmos).
Czy jak robię model korzystając w #python z biblioteki scikit learn to czy model takiej regresji logistycznej sam dba o to, żeby wywalić takie zmienne (albo
  • 6
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@wiecek3: matematyka czy modele znane od lat(jak svm, regresja liniowa) to się nie zmieniły. Ty szukasz książki do najnowszej wersji języka czy dokumentacji jakiegoś framework czy czegoś co nauczy cię podstaw ML? Na to musisz sobie odpowiedzieć :)
  • Odpowiedz
@jedzbudynie: tylko ze ta sytuacja jest zupełnie inna. Wtedy padł bank, ale wszystko mogło normalnie pracować, pomału wszystko się sypało. Teraz, wszystko walnęło praktycznie w ciągu 2-3 tygodni. I dopóki nie będzie jakiegoś lekarstwa/szczepionki to będzie leciało w dół.
  • Odpowiedz
Cześć Mirki (będzie trochę długo), do tej pory tylko przeglądałam tagi ale dzisiaj mam do Was kilka pytań. Skończyłam Automatykę i Robotykę na AGHu, pracuje jako inżynier ds. wsparcia i sprzedaży i szczerze mówiąc totalnie nie widzę się w tej branży.
Na studiach trochę programowałam i 2 miesiące temu wróciłam do Pythona, w szczególności pod kątem analizy danych.
Zawsze byłam dobra z matmy więc pomyślałam, że przypomnę sobie materiał z algebry liniowej
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

pytanie czy nie jestem już za stara


@wika95: Nie podałaś wieku, skąd mamy wiedzieć czy spełniasz swoje kryterium starości? Przekwalifikowanie będzie wymagało trochę więcej wysiłku w późniejszym wieku, ale nie powinno być niemożliwe. Ja obecnie próbuję zmierzać w kierunku przekwalifikowania, ale przychodzi mi to bardzo trudno gdy jestem ugruntowany w innym obszarze.
  • Odpowiedz
Nie wiem.
W sensie skoro jest napisane tylko Data Quality Analyst, to zakładam że to nie juniorskie. (Jak będę miał telefoniczną rozmowę to zweryfikuje). Miasto: Warszawa.
  • Odpowiedz