Hej.
W tym tygodniu powróciłem do problemu jakości powietrza i próby określenia gdzie było najlepiej i najgorzej w 2017 roku w Polsce. Wyszło tak sobie i nie za bardzo mam pomysł jak to ugryźć :D. Zasadniczym problemem jest mała ilość oficjalnych punktów pomiarowych. Ale o tym już w artykule ;)

https://www.jakbadacdane.pl/jakosc-powietrza-w-polsce-2-rok-2017-oczami-oddychajacego-polaka/

#jakbadacdane #datascience
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Avitus:
Wydaje mi się, że potrzebujesz tak naprawdę dwóch statystyk, które będziesz potem analizował we wzajemnym kontekście - jakość powietrza oraz jakość danych.
W kwestii modelowania jakości powietrza, to u siebie stosujesz dość prostą metodę średniej ważonej, ja bym się zastanowił nad jakimś modelem "przestrzennym", modelującym też korelacje, jakiś model mieszany.
Jeżeli chodzi o modelowanie jakości danych, to jakaś prosta statystyka wynikająca z liczby dostępnych punktów i odległości.
Albo można
  • Odpowiedz
@lekkonieobecny: Wow, fajnie to wyszło. W sumie też mi się ten temat przewija cały czas w tle, ale nie ogarnąłem jeszcze na tyle heat map w Pythonie żeby było warto o tym pisać. A widziałem że faktycznie Tableau nieźle sprawdza się w takich wizualizacjach. Zdecydowanie też coś takiego muszę przygotować w Pythonie i w R ;)
  • Odpowiedz
Ahoj #datascience i #machinelearning. Wy to pewnie mnożycie macierze w bazach danych i inne cuda robicie. Ale może jest wśród was #newbie który jeszcze nie miał do czynienia z bazami danych. I właśnie z myślą o osobach początkujących napisałem artykuł w którym dzielę się moimi przemyśleniami na temat używania baz danych w projektach data science. Od razu ostrzegam, że temat jest na poziomie bardzo początkującym.
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@ja_tu_czytam: Nie obrażam się ;). I mam pewien pomysł jak to ugryźć, ale jeszcze nie przetestowany - użyć modułu dask (https://dask.org/).
W samym artykule też piszę o tym, że możemy w ogóle nie zbudować ramki danych bo zabraknie nam pamięci ( ͡° ͜ʖ ͡°).

W sumie to jest to pomysł na artykuł na przyszłość. Może faktycznie w takiej sytuacji polegnę. Ale i tak będzie o
  • Odpowiedz
Czy to prawda że po #sgh specjalizacja #miesi można taki dobry hajs zarabiać/ Ciężko się na tą specjalizacje dostac? Jak z poziomem serio jest tak ciężko, jak ktoś ma mature z matmy rozszerzonej ok 70/80% procent da rade? I jakie średnie zarobki są po tym załóżmy mając 3 lata doświadczenia po tym? #studia #studbaza #datascience
  • 18
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Ahoj #machinelearning i #datascience!. Czy są tutaj osoby początkujące? Specjalnie z myślą o was napisałem artykuł, w którym wypisuję i omawiam elementy projektu machine learning, które warto sobie przemyśleć i wybrać jeszcze przed rozpoczęciem pracy. Idea jest taka, że dzięki podjęciu tych decyzji, nawet osoba początkująca będzie miała szansę doprowadzić taki projekt do końca. Miłej lektury:

https://www.jakbadacdane.pl/jak-zaczac-dzialac-w-uczeniu-maszynowym/

#jakbadacdane
  • 7
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Szukając prezentu dla data scientista trafiłem na dość ciekawą pozycję
https://www.empik.com/data-science-for-suicide-bombings-rasheed-sana,p1137318451,ksiazka-p?fbclid=IwAR3bI5H7NChZ07ana_m1EVi9SfRvvhFKY46d6BpXbLex4JBPHlUkHAUYt50

Suicide bombing has become one of the most lethal and favorite modus operandi of terrorist organizations worldwide. Information technology and artificial intelligence have seen some tremendous advancement in recent years, and this study is set to use the power of data sciences and predictive analytics for counterterrorism and suicide bombings. This multidisciplinary research work outlines a theoretical framework for personal traumatization
saif3r - Szukając prezentu dla data scientista trafiłem na dość ciekawą pozycję
http...

źródło: comment_EyYHewZCheoCzGJ9OqlJBEg2Inte5yr4.jpg

Pobierz
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@saif3r: Okładka i tytuł zalatuje trochę clickbaitem, ale kto wie, może coś sensownego piszą.

Zawsze mnie zastanawiało, jak statystycznie ugryźć taki temat. Ile jest rocznie bombiarzy samobójców? Czy kontekst za każdym razem jest inny, czy lecą taśmowo? Z chęcią przeczytał bym recenzję tej książki :)
  • Odpowiedz
Witajcie Mirki i Mirabelki

Pracujemy w branży IT i zajmujemy się #bigdata, analizując / przetwarzając duże bazy danych i wyciągając z nich wnioski, co nie jest takie łatwe jak się może wydawać :)
Na co dzień w każdej firmie istnieje jakaś baza danych która po prostu "puchnie" zwiększając swoje rozmiary przekraczające czasem kompetencje GoogleSheeta, czy mySQLa. Wtedy wkraczamy my!

Jako, że jesteśmy tutaj nowi i jest taki zwyczaj to chcielibyśmy zrobić akcję
  • 31
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • 3
Treść przeznaczona dla osób powyżej 18 roku życia...
  • 6
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

W jakis sposob najlepiej napisac klase, ktora by dzialala z modelami #machinelearning ?
Czy mozna stworzyc klase, ktora by dziedziczyla po danym modelu, czy lepiej zadeklarowac w srodku klasy zmienna ktora by przechowywala taki model?
np

class Klasa(Model):
...
  • 13
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

bo sam na razie nie wiem, jakie rozwiazanie bedzie najlepsze


@przepyszna_frytka:
No właśnie, bo najlepsze rozwiązanie to takie jakie sobie wymyślisz aby sensownie działało jako całość.

@przepyszna_frytka: > chce stworzyc „biblioteke” korzystajaca z scikit-opt by optymalizowac parametry modeli, czyli ta klasa, by posiadala metody optymalizujace parametry, zapisujace
  • Odpowiedz
Co bedzie szybsze?

SQL Server z kolumna XML i query z XPath
czy
MongoDB | RavenDB

XML

Co bedzie szybsze

  • SQL Server 58.3% (14)
  • MongoDB 41.7% (10)

Oddanych głosów: 24

  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Hej. W tym tygodniu nie mam ani samouczka, ani eseju. Mam natomiast coś równie ciekawego. Powracam do mojego projektu z roku 2017, w którym zajmowałem się analizą jakości powietrza w Polsce. Jako że na powietrzu się zupełnie nie znam, podchodzę do tematu do strony danych. A, że GIOŚ trochę tych danych udostępnia, myślę, że będę miał w czym dłubać. Tymczasem zapraszam do pierwszego artykułu z serii:

https://www.jakbadacdane.pl/jakosc-powietrza-w-polsce-1-restart/

Miłego czytania!
#datascience
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach