[JamesJoyce]

Hej mirki,
mam zagwozdkę. Mam raport w Power Bi, który korzysta z dość dużego dataflow.
Dataflow wchodzi na sharepointa i bierze podzielone pliki excelowe, które są ekstraktem z sapa za każdy dzień i łączy je każdego dnia, później robiąc różne rzeczy. Pojawił się z tym problem. Mianowicie tych plików jest już stanowczo za dużo. Dataflow odświeża się 5-6h, czasem wywalając się.

Rozwiązanie, które chce wdrożyć (wynikające po części z biznesu) jest w teorii proste. 70-80 procent plików historycznych połączyć raz w coś dużego i jedynie je czytać,a resztę, czyli nowe pliki traktować dotychczasową metodą. Nie wiem jednak jak się zabrać za tę pierwszą część. W co spakować te dane? Nie zmieszczą się do excela, a nie chcę bawić się w stawianie bazy. Macie jakieś pomysły?

#businessintelligence #powerbi #analizadanych

[przecietnyczlowiek]

@JamesJoyce: w csv albo parqueta.

[Sad_poyato]

@JamesJoyce: zrób jedno osobne dataflow które poskłada dane historyczne i nie będzie odświeżane. Następnie dołącz je do normalnego dataflow które zbiera resztę plików na bieżąco.

[cohontes]

@JamesJoyce: ewentualnie niekorzystać z sharepointa.. przy dużej liczbie plików wydajnośc bardzo spada

[JamesJoyce]

@Sad_poyato: Myślałem o tym, ale dane historyczne musza być dostępne w raporcie

[Sad_poyato]

@JamesJoyce: ale dlaczego miały by nie być? Jedno dataflow tworzy dataset z zestawem historycznym (nie odświeżamy go), następnie robimy drugie dataflow które dokleja na bieżąco nowe pliki do pierwszego datasetu tworząc nowy dataset który będzie źródłem dla raportu. W ten sposób oszczędzasz czas potrzebny na procesowanie danych historycznych bo są już gotowe do dalszego rozszerzenia.

[JamesJoyce]

@Sad_poyato: Masz całkowitą rację. A w jaki sposób połączyć jeden df z drugim? Jakimś odniesieniem?

[Sad_poyato]

@JamesJoyce z czego pamiętam budując dataflow możesz wybrać inne dataflow jako źródło.