Hej mirki,
mam zagwozdkę. Mam raport w Power Bi, który korzysta z dość dużego dataflow.
Dataflow wchodzi na sharepointa i bierze podzielone pliki excelowe, które są ekstraktem z sapa za każdy dzień i łączy je każdego dnia, później robiąc różne rzeczy. Pojawił się z tym problem. Mianowicie tych plików jest już stanowczo za dużo. Dataflow odświeża się 5-6h, czasem wywalając się.

Rozwiązanie, które chce wdrożyć (wynikające po części z biznesu) jest w
  • 7
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@JamesJoyce: ale dlaczego miały by nie być? Jedno dataflow tworzy dataset z zestawem historycznym (nie odświeżamy go), następnie robimy drugie dataflow które dokleja na bieżąco nowe pliki do pierwszego datasetu tworząc nowy dataset który będzie źródłem dla raportu. W ten sposób oszczędzasz czas potrzebny na procesowanie danych historycznych bo są już gotowe do dalszego rozszerzenia.
  • Odpowiedz
#anonimowemirkowyznania
Od 1 grudnia będę menadżerem swojego działu w korpo. 8 osób pode mną, zadania znam od podszewki bo pracuję tu od paru lat, ale w stanowisko menadżera zostałem trochę wepchnięty. Dotychczas byłem starszym analitykiem finansowym, teraz będę menadżerem działu analiz. Jako że od jakiegoś czasu planowałem pewne zmiany w swojej karierze i wyjście stricte z finansów w stronę BI/Analizy danych. uznałem że to idealny moment żeby wrócić do nauki
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Metylo: CTEs, typy joinów (więcej niż 4), window functions, union/union all/intersect/except, dlaczego select * jest złą praktyką, deduplikacje, + jako data analyst to pewnie będziesz głównie odpytywał bazę, ale możesz poczytać o twierdzeniach DML/DDL, co to star schema etc.
  • Odpowiedz
  • 0
Jest już jakiś fajny legitny sposób na kontrolę wersji plików pbix? Oczywiście taki bez potrzeby posiadania licencji premium i instalowania amatorskich wtyczek?

#businessintelligence #powerbi
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Czy ktoś tutaj działa komercyjnie w #pbi #powerbi i jest w stanie powiedziec jakie są średnie stawki dla frontend i backend?
Moi zagraniczni przełożeni byli zachwyceni jaką stawkę udało im się znaleźć za konsultanta w Polsce a mi się wydaje to całkiem sporo, biorąd pod uwagę, że to nie stało obok #programowanie
#pytanie
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@pokey: przecież to data, a rozwiązanie końcowe może wymagać znajomości wielu innych aspektów typu azure, etl, sql server, analiza biznesowa.

Stawki są podobne jak w programowaniu. Ja dostaje na LI ofety typu 100-200 pln/h za samo power bi. Z tego co się orientuje to w consultingu/outsourcingu klientów się kasuje za 100-150 USD/EUR/GBP albo i więcej za typowe taski z power bi.

No i nie na raczej rozdzielenia na power bi
  • Odpowiedz
@pokey: Tak jak pisał @przecietnyczlowiek stawki 100-200zł netto/h to norma za samego PBI.
Jesli mówimy o podziale front/back end w BI to Power BI to właśnie front, gdzie zabawa zaczyna się od przyłączenia do źródła i modelowanie danych + setupowania środowisko raportowego. Back end to raczej wszystko wcześniej związane z przygotowaniem architektury i źródeł zasilających pbi.
  • Odpowiedz
@czlowiekbutelka to zależy co kogo jara. Ja już 5 lat w ogolnie pojętym BI i praca na "froncie" jest dla mnie cały czas bardzo satysfakcjonująca, kreatywna i ciekawa, ale wraz z wzrostem doświadczenia zmniejsza sie % czasu poświęcanego typowo na developerkę. Za to "backend" typu przygotowywanie architektury zasilającej raporty etc. jest dla mnie nudny i nie daje satysfakcji - ale znam też kilka osób ktore mają odwrotnie.

Tak wiec musisz to
  • Odpowiedz
  • 0
@Sad_poyato czytałem twoje wpisy i zazdroszczę że trafiłeś na dziedzinę która cie rajcuje i pracodawców u których twoja dodatkowa wiedza procentuje wzrostem zarobków.
Sam myślę o tym co robić dalej. Niby mechanika spoko ale też prosta nie jest, nie ma tylu firm, możliwości czy nawet głupiej pracy zdalnej jak potrzebuje. Taki backend w danych wydawał mi się spoko bo można już coś robić pod IT a działka chyba nie jest wydrenowana
  • Odpowiedz
@excelfinance: @Polinik:

W tym przypadku prawdopodobnie nie będzie różnicy, algorytm wygeneruje zbliżone lub identyczne kwerendy, ale każdy przypadek użycia trzeba rozpatrywać indywidualnie.

Użycie calculate w kolumnie kalkulowanej powoduje, że filtr wiersza jest przekształcany w filtr kontekstu (tutaj zmodyfikowany ALL'em który znów go usuwa. W przypadku Fillter bez calculate'a kalkulacje są robione od razu na pełnym zbiorze. W każdym razie optymalizacja kodu na poziomie kolumn kalkulowanych nie wpływa na performance
  • Odpowiedz
@Polinik wystąpienie takiego problemu jest niezwykle rzadkie, bo po pierwsze, musiała by wystąpić potrzeba zbudowania kolumny kalkulowanej na tabeli faktowej, która iterowała by, przez tą tabelę. Po drugie, tabela musiała by zawierać niezagregowane surowe dane bez ID\indexu. Po trzecie musiałby sie zdążyć taki przypadek, ze akurat 2 lub wiecej wierszy bedzie miało tą samą konfiguracje.

W całej karierze nie zdążył mi się taki przypadek w realnych projektach. Zazwyczaj odpowiednie przygotowanie danych
  • Odpowiedz
Mam pytanie o stosowaną praktykę robienia modelu danych w PowerBi. Spotkałem ostatnio model danych o takiej budowie stąd moje pytanie.
Otóż mam np. tabele z listą placówek banku i m.in. takie kolumny: ulica, miasto, kraj, kod pocztowy, typ banku itp.

Czy jest to powszechna praktyka, aby stworzyć dimension tables jako "reference" do głównej tabeli do prawie każdej kolumny? Wtedy wyjdzie bardzo dużo tabel z jedną kolumną z unikalnymi danymi i jedną jako
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@excelfinance nie ma to najmniejszego sensu, modelu to nie odchudzi, bo takie działanie to symulowanie kompresji którą power bi sam przeprowadza zaocznie.

Tabela o której wspominasz, jesli zawiera tylko jeden rekord per placówka, to raczej sama bardziej spełnia definicje tabeli wymiarów niż faktów i nie ma sensu dalszego jej rozkładania.
Jesli zależałoby Ci na jakiejkolwiek optymalizacji objętości modelu to mógłbyś wywalić kolumne z państwem i zrobic jeden index "geo", na podstawie
  • Odpowiedz
@Metylo: ja na data engeneera dostałem pytania ze SQLa i pytona z listy: 100 popularnych pytań na rozmowę z pytona xD plus czy znam snowflake, powerBI i czy kojarzę co to oltp i olap. Potem miałem zadanie z pytona a ze SQLa nic. Więc zależy jak trafisz - jak gadam z analitykami to czasem mam wrażenie że sami nie ogarniają swoich tematów. Grunt to iść na pierwszą rozmowę i zobaczyć
  • Odpowiedz
Siemka, mirki mam pewien problem. Mam zrobione zapytanie w power query wyciąga mi dane z tego samego workbooka z tabu input tworzy nowy raport-output. I ogólnie wszystko spoko działa do czasu korzystania z desktopowej wersji. Niestety jak przychodzi do korzystania z wersji online excela, po próbie refreshu danych zwraca z błąd z źródłem danych.( Nie powinnien występować, ponieważ przy korzystaniu z aplikacji nadal online ten problem nie występuje). Plik jest na sharepoincie
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Obczaje jak siądę do komputera, tylko właśnie nie działam w power BI tylko w samym zapytaniu excela. Dlatego nie mam możliwości edytowania query online jedynie w apce. Podrzucę ss jaki dokładnie błąd wychodzi przy odświeżaniu danych.
  • Odpowiedz
Jak sie nauczyc tworzenia ladnych raportow? Bardziej od strony wizualnej, zeby "fajnie" wygladalo, bo nie mam problemow, zeby dobrac wykres do danych, natomiast srednio mi idze z UI/UX. Macie jakies strony, ksiazki w tej tematyce?

#powerbi
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via Wykop Mobilny (Android)
  • 1
@Happy_Aye: tak jak koledzy powyżej nie da się tego nauczyć, wcześniej dużo na excelu robiłem takich rzeczy i zawsze do inspiracji korzystałem z przykładów z neta.
Tu się dzieją cuda wg mnie
https://youtu.be/z26zbiGJnd4
Z polskich i takiej tematyki to skuteczneraporty.pl koleś dużo pisze o tym
  • Odpowiedz
Chce zacząć uczyć się PQ i BI, od czego zacząć na początek? Robię to żeby podnieść swoje kwalifikację w pracy wystarczy mi praktycznie sam excel. Ewentualnie co jest bardziej przydatne BI czy PQ?

#powerbi
#powerquery
  • 6
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#anonimowemirkowyznania
Pracodawca oferuje opłacenie kursu i jakiegoś certyfikatu basic PowerBi (ok. 100h nauki) + sam kurs w ramach godzin pracy. Jak myślicie, daje to jakąś przewagę w przypadku szukania nowej roboty czy raczej w takim czasie jedynie przerobimy podstawy? W ogłoszeniach widzę połączenie SQL+Python+PowerBi. Teraz robię jako excel monkey, brak twardych umiejek.
#pracbaza #korposwiat #businessintelligence #powerbi #analizadanych

---
Kliknij tutaj, aby odpowiedzieć
  • 27
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@AnonimoweMirkoWyznania: jeśli firma to sponsoruje, to po to żeby sobie szkolić pracowników dla swoich potrzeb, a nie żebyś z darmowymi kompetencjami poszedł gdzieś indziej ( ͡° ͜ʖ ͡°)

Takie kursy wiążą się z lojalka na kilka lat,. więc dobrze to sobie przelicz
  • Odpowiedz
Cześć Mirki
Od dwóch lat pracuje jako sql developer, wczesniej na Oraclu teraz głównie SQL Server i SSIS, jako że ostatnio w pracy mocno się nudzę chciałbym się troche rozwinąć
Pomyślałem nad nauka Pythona(numpy, pandas) i jakiegos narzedzia do analizy jak Power BI lub Tableau
Czy znacie może jakies dobre ksiazki/kursy/tutoriale łączace te dwie dziedziny ?
A może moje myślenie jest błędne i powinienem się tego uczyć niezależnie ?
#pracait
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Mam pytanie o subskrypcje raportu który wysyłam automatycznie z platformy powerbi. Jest tam do zaznaczenia preview image, jak zrobić żeby ten obraz raportu, który jest w załączniku mejla z raportem zawierał aktualne dane? Dane na zrzucie w obrazku mam wtedy kiedy zautomatyzowalem wysyłanie raportu czyli z lipca.
#powerbi
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach