#python #programowanie #dataengineering Hej wszystkim, na codzień uży... (@smalbear)

#python #programowanie #dataengineering

Hej wszystkim, na codzień używam pythona ale do #datascience w pracy.

Chciałbym postawić sobie dwa dashbordy/raporty dla samego siebie. Z programistycznego punktu widzenia wiem dokładnie co chce zrobić i co ma być efektem końcowym. To czego nie wiem w to jaki sposób to zrobić bo w pracy dodaje nowe procesy na #airflow jednak nigdy nie stawiałem takiego czegoś u siebie (mam kompa z Windowsem więc nie wiem czy jest to możliwe) a może jakieś zamienniki Airflow.

Może ktoś umiałby doradzić w jaki sposób stworzyć taki proces? Dodatkowo czy mógłbym to hostować na swoim kompie czy potrzebuje jakieś zewnętrznej maszyny? W przyszłości chciałbym się pobawić z danymi z czujnikami temperatury, wilgotności ect. ( #arduino czy #raspberrypi).

Poproszę o każdą poradę jak to zrobić najbardziej sensownie.

Najlepsze
Wszystkie komentarze

arysto2011

arysto2011 2 l.

@smalbear: Streamlit, dashly, albo cos bardziej zlozonego typu kibana

c.....s

konto usunięte 2 l.

@smalbear: ale airflow to praktycznie narzędzie to schedulowania jobów. Napisałeś tak ogólnie, że nikt nie wie o co chodzi.

arysto2011

arysto2011 2 l.

ale nie wiem tylko w jaki sposób to hostować

@smalbear: https://discuss.streamlit.io/t/hosting-streamlit-with-aws-ec2/234

arysto2011

arysto2011 2 l.

Tak myślałem o Streamlit ale nie wiem tylko w jaki sposób to hostować (aby dashboard był dostępny cały czas online).

@smalbear: Maszyna wirtualna z dostepem do internetu z zewnatrz. Na AWS robilem tego dziesiatki. Koszt wirtualki na minimalnych ustawieniach to jakies 3$ miesiecznie.

arysto2011

arysto2011 2 l.

Dane będę pobierał z api i zapisywał do csv (taki format mi wystarczy) lub do SQLlite (innej bazy danych). Chciałbym je przetwarzać za pomocą procesu pythonowego. Dane te by zaciągał wtedy dashboard że miałbym najnowsze dane.

@smalbear: To potrzebujesz s3, albo rds do zapisu danych, lambdę do odczytu i przekazania do ec2, które będzie utrzymywało dashboard.

smalbear

smalbear Autor 2 l.

@cohontes: W sumie w skrócie zależy mi na postawieniu airflow (nie wiem czy na swoim komputerze czy na zewnętrznej maszynie) i odpalaniu procesów cyklicznie. Dodatkowo chciałbym móc gdzieś wyświetlać dashboard. Nie wiem czy jest to bardziej czytelne?

c.....s

konto usunięte 2 l.

@smalbear: a skąd dane? a co ja ma przetwarzać, gdzie dane mają być ładowane, co ma wyświetlać raport?

smalbear

smalbear Autor 2 l.

@cohontes: Dane będę pobierał z api i zapisywał do csv (taki format mi wystarczy) lub do SQLlite (innej bazy danych). Chciałbym je przetwarzać za pomocą procesu pythonowego. Dane te by zaciągał wtedy dashboard że miałbym najnowsze dane.

smalbear

smalbear Autor 2 l.

@arysto2011: Tak myślałem o Streamlit ale nie wiem tylko w jaki sposób to hostować (aby dashboard był dostępny cały czas online).

Musze poszukać informacji o tym

arysto2011

arysto2011 2 l.

@smalbear: potrzebujesz maszyny do uruchomienia airflow i publicznie dostepnej strony do wyswietlania danych wynikajacych z tego prcesu.Do ogarniecia u kazdego dostawcy chmury. Mozesz tez postawic takie cos lokalnie. Ale airflow nie bedzie banglc na windzie. WSL, albo linux obok.