[diego_gonzales]

siema mirki, macie jakieś rady w jaki sposób najlepiej pracować z wieloma plikami excelowymi w PowerQuery? Robię sobie prosty dashboard demograficzny korzystając z danych GUSowskich i moim źródłem danych są excele - jeden excel na jeden powiat, wychodzi więc jakieś 380 plików xlsx. Ta liczba nie jest raczej problemem jeśli chodzi o transformacje, bo wszystkie mają identyczny układ, więc ich przerobienie jest bardzo proste i przyjemne, problem w tym, że kiedy chce coś konkretnie wymodelować np. stworzyć tabelę z wymiarami geografii (podział na województwa, powiaty) to każda jedna transformacja zajmuje baaardzo dużo czasu, ponieważ wszystkie oryginalne pliki xlsx są odświeżane. Widać to dobrze na zdjęciu poniżej - doszedłem do postaci tabeli, gdzie mam 380 unikatowych regionów i przy próbie wyodrębnienia unikatowych województw (czyli zostawieniu 16 z 380 wierszy) muszę czekać jakieś 3-4 minuty, aż wszystkie 380 plików zostanie ponownie załadowanych (albo odświeżonych? ciężko mi powiedzieć jaka operacja tutaj zachodzi w tle, jestem dosyć świeży w temacie, w każdym razie chodzi o to co pokazuje ta strzałka w prawym dolnym rogu jeśli ktoś miałby wątpliwości, a ja nie umiem tego dobrze przekazać słowami ( ͡° ͜ʖ ͡°)). Będę wdzięczny za każdą pomoc!
#powerbi #powerquery #excel #businessintelligence #analizadanych

[Nerlo_ajcats]

@diego_gonzales: grunt to porzadek

[Supaplex]

@diego_gonzales: SQL lubi takie problemy

[jasha]

Ja bym zaczął od skonsolidowania tego wszystkiego i wrzucenia w bazę danych najlepiej accessa lub np darmowego postgresql, potem już można cudować w powerquery po połączeniu do bazy.
https://docs.devart.com/studio-for-postgresql/exporting-and-importing-data/excel-import.html
https://hevodata.com/learn/excel-to-postgresql/

[DwaNiedzwiedzie]

@diego_gonzales: Konsolidacja to jeden trop, ale do samego procesu tworzenia zapytań najlepiej przyciąć źródła do jakiejś niewielkiej próbki i na niej zbudować model, a później tylko przywrócić pierwotne źródło. Czasem upierdliwe jest stworzenie materiału uwzględniającego wszystkie niuanse pełnych danych, ale trzeba pamiętać, że wtedy każda najmniejsza modyfikacja kwerendy odbywa się w locie i ostatecznie oszczędza się masę czasu i nerwów.