Najgorzej, w piatek dodawałeś szybką zmianę na Proda a w poniedziałek wchodzisz w Monitoring i wszystkie pipelin'y na czerwono ( ͡° ʖ̯ ͡°)
#businessintelligence
#businessintelligence
norbertkulski via Wykop
@przecietnyczlowiek: dlatego złotą zasadą jest zakaz publikowania czegokolwiek w piątek ;)
Cześć, proszę o radę w sprawie kariery Data Analysis - poziom mid.
Obecnie pracuję jako analityk, codziennie piszę zapytania w SQL, zrobiłem też kilka modeli predykcyjnych w Pythonie używanych w firmie. Co jakis czas robię też dashboard w Power BI, ale jest to dość upośledzone, bo nie jest on połączony z bazą danych i bazuję na plikach csv wyplutych z sqlek. Nie używamy chmury. Czuję jednak że mało umiem, zarabiam wręcz za
Obecnie pracuję jako analityk, codziennie piszę zapytania w SQL, zrobiłem też kilka modeli predykcyjnych w Pythonie używanych w firmie. Co jakis czas robię też dashboard w Power BI, ale jest to dość upośledzone, bo nie jest on połączony z bazą danych i bazuję na plikach csv wyplutych z sqlek. Nie używamy chmury. Czuję jednak że mało umiem, zarabiam wręcz za
norbertkulski via Wykop
@peoplearestrange dobrze gada - jak robisz DAXa i ci się podoba to idź na PBI Deva. A jeśli chcesz dotknąć chmury nie wkładając w to ani grosza to sięgnij po triala na Azure lub jeszcze wygodniej po triala na Snowflake (w dużym uproszczeniu chmurowa baza danych) - https://signup.snowflake.com/?utm_cta=trial-en-www-homepage-top-right-nav-ss-evg - powinna pojawić się tam baza o nazwie TPCH z randomowymi danymi które będziesz mógł podłączyć do PBI i się pobawić nawet na
norbertkulski via Wykop
@rafal9522 - ja robię to już ponad 18 lat i cały czas mi się podoba :)
Treść przeznaczona dla osób powyżej 18 roku życia...
norbertkulski via Wykop
Ale w czym konkretnie jest problem? Starasz się na wejście w branżę czy narzekasz, że masz wagon CVków do przejrzenia? ;)
Ostatnio rekrutowałem do zespołu juniora i faktycznie zgłosiło się sporo kandydatów, część już mogła pochwalić się całkiem solidnymi podstawami - więc teraz wybieramy na podstawie ich oczekiwań finansowych i właśnie doświadczenia.
Ostatnio rekrutowałem do zespołu juniora i faktycznie zgłosiło się sporo kandydatów, część już mogła pochwalić się całkiem solidnymi podstawami - więc teraz wybieramy na podstawie ich oczekiwań finansowych i właśnie doświadczenia.
Jest już jakiś fajny legitny sposób na kontrolę wersji plików pbix? Oczywiście taki bez potrzeby posiadania licencji premium i instalowania amatorskich wtyczek?
#businessintelligence #powerbi
#businessintelligence #powerbi
@biszcz: To jest "party hard": https://www.youtube.com/watch?v=obF7F1mghfQ
Specjaliści od #businessintelligence - czy według Was lepiej pracować w działach wewnętrznych firm czy lepiej w firmie consultingowej? Jest trochę ogłoszeń dla specjalistów BI w działach wewnętrznych, ale czy koniec końców nie sprowadzi się to do przygotowania modeli pod raporty sprzedażowe czy inne mało różnorodne analizy? Tu consulting chyba jest ciekawszy, wiele branż i wyzwań, różne projekty, ale za to praca dla klienta, a z tym też bywa różnie. Co
@ode45: Jak pokazują odpowiedzi kolegów - co człowiek to opinia :) Dla mnie największą frajdą z pracy w konsultingu jest poznawanie nowych branż, nowych biznesów, nowych ludzi i rozwiązywanie coraz to innych problemów. Jak dochodzę do momentu w którym znam NIPy klientów klienta to już znak, że się zasiedziałem.
Ale co kto lubi - lubisz mieć pewną pracę w wolno-zmiennym środowisku wybierasz dział wew. lubisz większą dynamikę i uważasz że
Ale co kto lubi - lubisz mieć pewną pracę w wolno-zmiennym środowisku wybierasz dział wew. lubisz większą dynamikę i uważasz że
Mam ponizsza tabele z hierarchia pracownikow w firmie oraz dniami urlopu. Kolumny H1, H2, H3 zostaly jakby dodane przeze mnie jako poziom w hierarchi, gdzie H1 to najwyzszy przelozony w hierarchi dla pracownika. Dlatego tez na przyklad Pracownik1 nie ma H2, H3. Chcialbym ta tabele przedstawic w postaci matrixa gdzie kazdy kto bedzie mial dostep bedzie widzial wszystkich pracownikow, ktorzy sa pod nim oraz pod jego pracownikami (nie tylko osoby bezposrednio pod
źródło: comment_1627558151rmmNvZaGNNhg9PRFXveyEC.jpg
Pobierz@piotrlionel: co Ty mu o CTE jak on o Power BI pyta
@Kormoran123: Twój problem ma nazwę hierarchia parent child i jest na to wzorzec: https://www.daxpatterns.com/parent-child-hierarchies/
@Kormoran123: Twój problem ma nazwę hierarchia parent child i jest na to wzorzec: https://www.daxpatterns.com/parent-child-hierarchies/
Pod względem wydajności raportu lepiej jest robić joiny na poziomie bazy danych, czy bezpośrednio w PBI?
Czyli mam ciągnąć jednym zapytaniem wszystkie dane, czy rozdzielić to na 4 tabele (3 fact tables) i potem albo utworzyć relacje albo je łączyć?
#powerbi
Czyli mam ciągnąć jednym zapytaniem wszystkie dane, czy rozdzielić to na 4 tabele (3 fact tables) i potem albo utworzyć relacje albo je łączyć?
#powerbi
@LucaJune: Co masz na myśli pisząc - zapytaniem "wszystkie" dane a jednocześnie mówisz o "3 tabelach faktów"?
Jeśli to są oddzielne tabele faktów to wciągasz je oddzielnie - np. pozycje na fakturach (tabela faktów 1) , plan sprzedażowy (tabela faktów 2) - załączanie takich zbiorów danych do jednej płaskiej tabeli to proszenie się o kłopoty. Oddzielne tabele faktów łączysz przez wspólne wymiary - w przykładzie który podałem wspólnym wymiarem może
Jeśli to są oddzielne tabele faktów to wciągasz je oddzielnie - np. pozycje na fakturach (tabela faktów 1) , plan sprzedażowy (tabela faktów 2) - załączanie takich zbiorów danych do jednej płaskiej tabeli to proszenie się o kłopoty. Oddzielne tabele faktów łączysz przez wspólne wymiary - w przykładzie który podałem wspólnym wymiarem może
@LucaJune: No więc :
- do tabel faktów powinny trafić dane opisujące ilościowo zdarzenia które chcemy mierzyć - aby wyekstrahować taki zestaw danych mogą być potrzebne joiny (o ile już masz dane w jednym źródle - u Ciebie zakładam tak jest) i inne transformacje - fakt wystawienia faktury wraz z pozycjami na fakturze, fakty wykonania telefonu do klienta itd.
- do tabel wymiarów powinny trafić dane nadające kontekst badanym zdarzeniom - wymiar
- do tabel faktów powinny trafić dane opisujące ilościowo zdarzenia które chcemy mierzyć - aby wyekstrahować taki zestaw danych mogą być potrzebne joiny (o ile już masz dane w jednym źródle - u Ciebie zakładam tak jest) i inne transformacje - fakt wystawienia faktury wraz z pozycjami na fakturze, fakty wykonania telefonu do klienta itd.
- do tabel wymiarów powinny trafić dane nadające kontekst badanym zdarzeniom - wymiar
@LucaJune: To może być problem po stronie samej bazy danych a nie PBI - jeśli to kulawy serwer albo nie masz indeksów na FK to tu PBI nic nie zdziała.
Swoją drogą sporo tych rekordów - doradzałbym przemyśleć dokładnie:
1) z jakiego okresu chcesz prezentować dane i nie ładować wszystkich
2) jakie kolumny są potrzebne do zrealizowania zadania i nie innych pobierać .
Swoją drogą sporo tych rekordów - doradzałbym przemyśleć dokładnie:
1) z jakiego okresu chcesz prezentować dane i nie ładować wszystkich
2) jakie kolumny są potrzebne do zrealizowania zadania i nie innych pobierać .
@LucaJune: Patrząc od strony jak być powinno to pkt 1. Jeśli masz już elegancko wydzielone fakty i wymiary to używaj właśnie takiego modelu - on jest najbardziej zrozumiały dla użytkownika biznesowego. W tabeli faktów najczęściej tworzysz tylko miary a resztę atrybutów ukrywasz (hide) , w tabelach wymiarów ukrywasz jakieś techniczne atrybuty i sprawa załatwiona.
Nie robisz tego wg. pkt 2 i 3 bo to sprawi, że model nie będzie rozwojowy
Nie robisz tego wg. pkt 2 i 3 bo to sprawi, że model nie będzie rozwojowy
@LucaJune: To znaczy, że masz lepsze wyczucie niż Guru ;)
Jak chcesz pogłębić wiedzę na tym kierunku to proszę:
teoria:
https://docs.microsoft.com/en-us/power-bi/guidance/star-schema
prosty trening:
https://docs.microsoft.com/en-us/learn/modules/design-model-power-bi/
https://docs.microsoft.com/en-us/learn/modules/model-data-power-bi/
Jak chcesz pogłębić wiedzę na tym kierunku to proszę:
teoria:
https://docs.microsoft.com/en-us/power-bi/guidance/star-schema
prosty trening:
https://docs.microsoft.com/en-us/learn/modules/design-model-power-bi/
https://docs.microsoft.com/en-us/learn/modules/model-data-power-bi/
#anonimowemirkowyznania
Pytanie do doświadczonych programistów. Jak ogarnąć masę kodu gdy nie ma do dyspozycji dokumentacji, żadnej pomocy z zewnątrz i nie zna się w pełni języka? Jest tylko kilkadziesiąt plików z kodem, który w wielu miejscach wygląda traficznie tzn. brak spójności formatowania przez co bardzo trudno połapać się co gdzie jest. Przejrzałem kilka losowych plików i mają średnio od 500 do 2000 linii, ale im dalej w las tym gorzej.
Pytanie do doświadczonych programistów. Jak ogarnąć masę kodu gdy nie ma do dyspozycji dokumentacji, żadnej pomocy z zewnątrz i nie zna się w pełni języka? Jest tylko kilkadziesiąt plików z kodem, który w wielu miejscach wygląda traficznie tzn. brak spójności formatowania przez co bardzo trudno połapać się co gdzie jest. Przejrzałem kilka losowych plików i mają średnio od 500 do 2000 linii, ale im dalej w las tym gorzej.
@lionbest: też zaczynałbym od grafu :)
Na raporcie mam ukryta strone, ktora mozna wyswietlic jedynie przez drill through. Na tej stronie mam matrixa z dwoma polami w wierszach. Wiecie moze od czego zalezy czy ten matrix bedzie rozwiniety, czy bedzie widoczne tylko pierwsze pole (aby rozwinac trzeba samemu kliknac "+" jeszcze)? Nie moge znalezc zadnej zalezonosci, a roznie mi to wyswietla jak przechodze na ta strone, czasem matrix jest zwiniety a czasem rozwiniety caly. Probowalem rozwinac i pozniej
@Kormoran123: wg mnie stan wizualizacji powinien być taki jaki zapisałeś podczas eksportu na serwer. Sprawdź już na portalu przycisk jak na obrazku
źródło: comment_1626183793jpB0yALMfJRv6xRDLpXD6F.jpg
PobierzHej mistrzowie od #mysql - czy zmiana backupów wykonywanych za pomocą mysqldump z sqlformat na csv może mieć jakieś negatywne skutki?
Ja tam widzę same zalety ale nie znam się na #mysql :)
#bazydanych #sql
Ja tam widzę same zalety ale nie znam się na #mysql :)
#bazydanych #sql
@RRybak: To popraw mnie jeśli coś źle rozumiem - mysqldump w sqlformat wyrzuca pliki i tak tekstowe tyle, że jeszcze z ułożonymi zapytaniami.
Wystarczy jeden przełącznik i już mysqldump wyrzuca CSV - które:
a) są na pewno mniejsze
b) można je użyć również do zasilenia innych systemów bez zabawy w konwersję sqlformatu
Jeśli ktoś robi backup mysqldumpem tabel które mają miliony rekordów to tym bardziej a) i b) mają jeszcze
Wystarczy jeden przełącznik i już mysqldump wyrzuca CSV - które:
a) są na pewno mniejsze
b) można je użyć również do zasilenia innych systemów bez zabawy w konwersję sqlformatu
Jeśli ktoś robi backup mysqldumpem tabel które mają miliony rekordów to tym bardziej a) i b) mają jeszcze
@RRybak - wiesz... ja to doskonale wiem do czego jest backup, natomiast otrzymałem informacje - "my używamy mysqldump" i koniec. OK, przyjmuję to z dobrodziejstwem inwentarza i wychodzę z założenia, że jeśli już jakiś mechanizm jest na miejscu to dlaczego by z niego nie skorzystać.
Ty mówisz jak być powinno i dobrze ale ja pytam o to - jeśli już ludzie używają codziennie mysqldumpa robiąc sobie kopie danych to czy przełączenie sqlformat
Ty mówisz jak być powinno i dobrze ale ja pytam o to - jeśli już ludzie używają codziennie mysqldumpa robiąc sobie kopie danych to czy przełączenie sqlformat
Odcinek o Direct Query. Z czym wiąże się użycie w #powerbi Direct Query? Gdzie są wady i zalety takiego podejścia. Czy Direct Query pozwoli mi zbudować raport z danych spływających w czasie rzeczywistym?
O tym i jeszcze kilku innych aspektach opowiadam w nowym nagraniu dostępnym pod adresem
https://youtu.be/OiB169O9XMs
Jeśli masz ochotę na więcej to zerknij na budowanie instrukcji w raporcie:
O tym i jeszcze kilku innych aspektach opowiadam w nowym nagraniu dostępnym pod adresem
https://youtu.be/OiB169O9XMs
Jeśli masz ochotę na więcej to zerknij na budowanie instrukcji w raporcie:
w jakich jezykach sie zwykle przeprowadza etl-e ? #naukaprogramowania #bazydanych
@rosso_corsa: @Supaplex mimo wymijającej odpowiedzi ma rację - wszystko zależy czym już klient/firma dysponuje, jaki ma budżet, co chce osiągnąć itd.
ETLem będzie zarówno Power BI DataFlow jak i proces stworzony w Talendzie, SSIS i szeregu innych technologii kończąc na skryptach python / R. Co technologia to trochę sposób budowy procesu - od kodowania po przeciąganie klocków więc tu też nie ma jednej odpowiedzi.
ETLem będzie zarówno Power BI DataFlow jak i proces stworzony w Talendzie, SSIS i szeregu innych technologii kończąc na skryptach python / R. Co technologia to trochę sposób budowy procesu - od kodowania po przeciąganie klocków więc tu też nie ma jednej odpowiedzi.
@rosso_corsa: kogo zapytasz to usłysz, że w jego technologii - ja 16 lat pracuję w MS BI to powiem - tylko SSIS, ADF i Power Query ;)
Mało tego, to się różni nawet kraj do kraju.
Mało tego, to się różni nawet kraj do kraju.
Ma ktoś do polecenia jakąś dobrą książkę w tematyce hurtowni danych? Chodzi o jakieś podstawy od zera dotyczące projektowania/ architektury itp. napisane językiem dla świeżaka. Jestem w trakcie książki "Modelowanie tabelaryczne" Russo, Ferrari i jak wspomnieli we wstępie, trochę się do tego odwołują i jednak stwierdzam, że potrzebuję więcej teorii w tym temacie ( ͡° ʖ̯ ͡°)
#businessintelligence #hurtowniedanych #powerbi #bazydanych
#businessintelligence #hurtowniedanych #powerbi #bazydanych
@ode45: Jeśli zacząłeś od Russo i Ferrari to Kimball będzie absolutną klasyką - jak doradza @matti05 . https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/books/ .
ETL Toolkit trochę się zestarzał ale Dimensional Modelling cały czas daje radę.
Jeśli interesujesz się bardziej unowocześnionym podejściem to Star Schema Adamsona lub Agile Data Warehouse Design Corra przy czym ta druga pozycja skupia się bardziej na metodyce zwinnej dostarczania hurtowni. Tylko one i tak mają korzenie (a nawet i
ETL Toolkit trochę się zestarzał ale Dimensional Modelling cały czas daje radę.
Jeśli interesujesz się bardziej unowocześnionym podejściem to Star Schema Adamsona lub Agile Data Warehouse Design Corra przy czym ta druga pozycja skupia się bardziej na metodyce zwinnej dostarczania hurtowni. Tylko one i tak mają korzenie (a nawet i
Odcinek o Import Mode a więc o trybie w którym dane zapisywane są w wewnętrznej bazie danych.
Dodatkowo - czy można załadować i opublikować raport który ma więcej niż 1 MLN rekordów? Co dzieje się gdy do źródła danych dochodzą nowe rekordy? Odpowiedzi znajdziesz w nagraniu :)
https://youtu.be/vqnH8_KtUgk
#powerbi #businessintelligence #naukaprogramowania
Dodatkowo - czy można załadować i opublikować raport który ma więcej niż 1 MLN rekordów? Co dzieje się gdy do źródła danych dochodzą nowe rekordy? Odpowiedzi znajdziesz w nagraniu :)
https://youtu.be/vqnH8_KtUgk
#powerbi #businessintelligence #naukaprogramowania
DAX na początek, zwłaszcza po przesiadce z Excela czy T-SQLa może okazać się dosyć trudny do zrozumienia. W tym nagraniu postaram się wyjaśnić gdzie wg mnie leży najczęściej problem i od czego zacząć naukę.
https://youtu.be/usqkHp-l0b4
#powerbi #businessintelligence #naukaprogramowania
https://youtu.be/usqkHp-l0b4
#powerbi #businessintelligence #naukaprogramowania
Małe spóźnione podsumowanie postanowień noworocznych
Spełnione. Niedawno nawet awansowałem ze stażysty na juniora
- zostać programistą z zawodu
Spełnione. Niedawno nawet awansowałem ze stażysty na juniora
-
@Urojony_programista: Co do siłowni - to tylko wymówka ;) - zobacz ile masz aplikacji z najzwyklejszymi ćwiczeniami, ja np. używam "Cwiczenia w domu - bez sprzętu"
Zasada działania:
1. W Folderze X pojawia się plik CSV z jednym wierszem danych
2. SQL Server wykrywa, że ten plik się pojawił, pobiera z niego ten
Zostaje Tobie @Vojak to co mówi GPT.
Jednocześnie jako ciekawostka to można czesać dysk za pomocą:
https://learn.microsoft.com/en-us/sql/relational-databases/system-stored-procedures/xp-cmdshell-transact-sql?view=sql-server-ver16
jeśli robisz to sobie tak dla testów to możesz zostawić sesję SQL z martwą pętlą waitfor i w niej czesać dysk - ale to powtarzam jako ciekawostka bo jak sesja zdechnie to całe ładowanie bierze w łeb.