[ramvohleckai]

Mam pytanko. Mam skoroszyt Excel, w którym jest duża ilość zapytań Power Query. Plik zajmuję 25MB. Jest w nim 26 tzw. innych zapytań (tabel, z których część jest załadowana do Excela). Dodatkowo jest 12 folderów z przekształceniami, w każdym około 5 zapytań/parametrów itp. Łącznie jest 74 zapytania. Jakbym chciał odświeżyć wszystkie razem, pewnie trwało by to z 25 minut. Wszystkie zapytania pobierają pliki z komputera. Nic nie jest z jakiś serwerów/źródeł internetowych.

Pojawił mi się problem, kiedy chce załadować dane (pliki) z folderu. Jeśli chce załadować jeden plik, wszystko jest dobrze. Natomiast kiedy chce załadować co najmniej 2 pliki, to PQ mieli (wczytuje) to w nieskończoność. I mowa tutaj o dosłownie dwóch plikach, które są w jednym folderze i zajmują łącznie poniżej 1MB.
Kombinowałem na bardzo różne sposoby, co może być problemem. Mam aktualnego Office 365. Usuwałem cache. Sprawdziłem też czy załadowanie tych dwóch plików z folderu zadziała na pustym Excelu i zadziałało normalnie, trwało to kilka sekund, więc z tymi plikami i folderem wszystko jest okej. Problemem musi być więc ten mój plik co zajmuje 25MB i ma mase zapytań. Z ciekawości usunąłem najważniejsze zapytania z PQ i arkusze z Excela i dzięki temu skoroszyt Excel zmniejszył się do 7MB. W tym przypadku udało się załadować wspomniane pliki z folderu. Na podstawie tego uznałem, że problemem jest wydajność. No, ale z drugiej strony 25mb to nie jest jakoś dużo. Największa tabela ma 120k wierszy. Więc czy rzeczywiście może to być problem z wydajnością? Jak myślicie, co może powodować błąd i jak go rozwiązać? Poniżej wrzucam screeny, etapu którego nie mogę przejść przy ładowaniu tych dwóch plików.

#excel #powerquery #powerbi

[Sad_poyato]

@ramvohleckai: Dziwna sprawa, ten volumen na jest w skali mikro w stosunku do tego co się często w pbi przetwarza, szczególnie, że całość jest procesowana lokalnie - powinno działać niemal natychmiast. Jako work-around proponuje zapisać pliki Excela jako CSV i spróbować przeprocesować w ten sposób.

[l.....o]

@ramvohleckai: sprawdź RAM

[ramvohleckai]

@Sad_poyato: Próbowałem - bez zmian. Ostatecznie na plikach Excela mi wczytało łącznie po 45 minutach mielenia. Czyli jako tako działa, ale nie jest to rozwiązanie problemu.

@lexico co masz konkretnie na myśli?

[Nalepiok]

@ramvohleckai masz gdzieś zbędne formatowania warunkowe? Mi kiedyś zjadło cały ram i mieliło niemiłosiernie w nieskończoność a było raptem kilkanaście formatowań

[l.....o]

@ramvohleckai: obciążenie procka i wykorzystanie pamięci w menedżerze zadań.
Zainstaluj Power BI i spróbuj tam.

[ramvohleckai]

@lexico tak to wyglada. Spróbuje w PBI, dzięki za rade moze to jakos pomoze

@Nalepiok nie mam nic zbędnego. Wszystko jest standardowo importowane do Excela w formie tabel i te tabele po prostu maja swój styl i tyle. Arkuszy jest z 20

[Belzebub]

@ramvohleckai: pewnie jest coś z zapytaniem nie tak albo źle zparametryzowane. Ja tak miałem w SQL że myślałem nad optymalizacja głowiłem się... A to bzdurne zapytanie zrobiłem.