[t.....r]

Mireczki, mam takie zapytanie.

Mam kilka komputerów z których pobieram regularnie pliki CSV przez Teamviewera. Dane z tych plików wrzucam sobie do PowerBI i robię z nich raporty.

Dane do tych plików CSV są generowane co kilka minut i najlepszym rozwiązaniem było by, gdybym mógł ustawić całość tak, aby pliki te leciały bezpośrednio do chmury, z której ja wówczas mógłbym sobie je pobrać automatycznie do PowerBI.

Nie mam niestety doświadczenia w ustawianiu takich rzeczy, bo głównie zajmuję się analizą ustawień pewnych maszyn i zmieniam ich ustawienia w zależności od tego co trzeba poprawić.
O wiele łatwiej by mi się pracowało, gdybym mógł sobie wszystko przejrzeć na żywo w jednym miejscu, np w takim dashboardzie w PowerBI, czy Tableau.

Czy ma ktoś może jakiś pomysł/wskazówkę jak najmądrzej możnaby to ustawić?
Będę wdzięczny za jakiekolwiek porady ( ͡° ͜ʖ ͡°)

#csv #sql #datascience #analizadanych

[m.....l]

@tytanowy_kalafior te pliki co generuje? Jakiś program?

[m.....l]

@tytanowy_kalafior: np. w nodejs napisać jakiś skrypt, który:
1. sprawdza czy jest nowy plik
2. jak jest to go otwiera, parsuje, ładuje do jakiejś bazy danych w chmurze,
3. jak już to zrobi to przenosi gdzies plik lub usuwa

potem tylko PBI łączysz z tą bazą.

[t.....r]

@malinowy_krol:

te pliki co generuje? Jakiś program?

ak, pliki są generowane przez program, który sczytuje dane z sensorów równo co 5 minut. Dane trafiają zawsze do tego samego pliku.

CSVki z komputera u klienta zrzucałem za pomocą Robocopy na Google Drive, a stamąd synchronizowałem je na swojego kompa i łączyłem moje PowerBI właśnie z tymi plikami.
Niestety całość działała trochę nieefektywnie, trzeba było czekać kilkanaście sekund, żeby wszystkie połączenia się uruchomiły.

[m.....l]

@tytanowy_kalafior: nie moge nistety polecić bo się nie znam, ale jak masz jakiś własny komp co działa w firmie 24h to można postawić na nim jakąś darmową bazę danych relacyjną: firebird, mysql czy mssqlserver

jak sobie to wystawisz to wtedy tylko ten skrypt trzeba uruchomić na wszystkich.

Ja tylko hobbystycznie pisałem takie skrypty

[obieq]

@tytanowy_kalafior: FreeFileSync na tych kompach albo jakiś *.bat dodany do harmonogramu na kopiowanie wszystkiego z folderu.

[t.....r]

@obieq: Mam właśnie .bat z Robocopy kopiujący wybrane pliki do dysku Google połączony z Task Schedulerem - spisuje się spoko, ale tu znowu problem będzie jak będę musiał ustawić to na 70 komputerach heh

Spróbuję z FreeFileSyncem.

Dzięki za rady! @obieq @malinowy_krol

[lemur_78]

Zmienić program, który generuje te pliczki. Zamiast pliczków (albo: oprócz pliczków) niech pisze do bazy danych postawionej na jakimś sieciowym (gdzie każdy z tych 70 komputerów ma dostęp) serwerze (czyli komputerze z zainstalowaną bazą danych, nie wyobrażaj sobie nie wiadomo czego)