siema mirki, macie jakieś rady w jaki sposób najlepiej pracować z wieloma plikami excelowymi w PowerQuery? Robię sobie prosty dashboard demograficzny korzystając z danych GUSowskich i moim źródłem danych są excele - jeden excel na jeden powiat, wychodzi więc jakieś 380 plików xlsx. Ta liczba nie jest raczej problemem jeśli chodzi o transformacje, bo wszystkie mają identyczny układ, więc ich przerobienie jest bardzo proste i przyjemne, problem w tym, że kiedy chce
Wszystko
Najnowsze
Archiwum
źródło: oświeżanie_pq
PobierzJa bym zaczął od skonsolidowania tego wszystkiego i wrzucenia w bazę danych najlepiej accessa lub np darmowego postgresql, potem już można cudować w powerquery po połączeniu do bazy.
https://docs.devart.com/studio-for-postgresql/exporting-and-importing-data/excel-import.html
https://hevodata.com/learn/excel-to-postgresql/
https://docs.devart.com/studio-for-postgresql/exporting-and-importing-data/excel-import.html
https://hevodata.com/learn/excel-to-postgresql/
@diego_gonzales: Konsolidacja to jeden trop, ale do samego procesu tworzenia zapytań najlepiej przyciąć źródła do jakiejś niewielkiej próbki i na niej zbudować model, a później tylko przywrócić pierwotne źródło. Czasem upierdliwe jest stworzenie materiału uwzględniającego wszystkie niuanse pełnych danych, ale trzeba pamiętać, że wtedy każda najmniejsza modyfikacja kwerendy odbywa się w locie i ostatecznie oszczędza się masę czasu i nerwów.
rozumiem, że każdy chce monetyzowac działania w internecie ale 1k/rok za dostęp do grupy xD
#powerbi
#powerbi
źródło: temp_file.png4559271874384788477
Pobierz@Metylo @przecietnyczlowiek: @yelonec darmowe materiały tworzone i udostępniane przez koleżankę są tak tragicznie słabej jakości, że czasem czytanie tego boli (ostatnia roadmapa nauki to był chyba szczyt wszystkiego - widzę ze teraz została skasowana i cała radosna twórczość zastąpiona grafiką "Naucz się excela, sql, power BI, zrob raport i pracuj" xD ), a ich tematyka w większości przypomina jakiś kołczowy scam i w żadnym razie nie ma żadnej
@Metylo: @Niemamwiedzy @przecietnyczlowiek @yelonec @Sad_poyato @cohontes @vateras131 Jak wchodziłem do branży BI to ją na początku śledziłem bo myślałem że to jakieś fajne miejsce w PL gdzie będzie aktualna wiedza, trendy, info o aktualizacjach np. w PBI, jakieś ciekawostki itp. Babka co jakiś czas robi live czy to sama czy z jakimiś rekrutywkami i nagania ludzi na wejście do branży. Zapisałem się z ciekawości
źródło: pbiblog2
PobierzCześć,
w korpro którym pracuje pojawiła się interesująca mnie oferta pracy (pic rel). Niby Data Analyst, ale z opisu jednak PBI Developer 乁(♥ ʖ̯♥)ㄏ, w każdym razie chciałbym się dowiedzieć czego tak na prawdę musiałbym się nauczyć, żeby aplikować i być może ktoś byłby w stanie przybliżyć jak mniej więcej wygląda taka praca?
W tej chwili pracuje na stanowisku junior analityk danych i nawiązując do wymagań w ogłoszeniu
w korpro którym pracuje pojawiła się interesująca mnie oferta pracy (pic rel). Niby Data Analyst, ale z opisu jednak PBI Developer 乁(♥ ʖ̯♥)ㄏ, w każdym razie chciałbym się dowiedzieć czego tak na prawdę musiałbym się nauczyć, żeby aplikować i być może ktoś byłby w stanie przybliżyć jak mniej więcej wygląda taka praca?
W tej chwili pracuje na stanowisku junior analityk danych i nawiązując do wymagań w ogłoszeniu
źródło: analityk
Pobierz-SQL (nie miałem styczności z Databrics - nie wiem co to), uczyłem się dosyć dawno temu i z racji, że nie używam w ogóle w obecnej pracy to wiele zapomniałem, ale tak na szybko z tego co pamiętam to proste zapytania z joinami/where/having, jakieś agregacje sum/min/max/avg, stworzenie temp table i działanie na niej. Co jeszcze? Na pewno musiałbym odświeżyć pamięć.
@Pojzon: poczytaj o databricks. z samego SQL'a to rozważ takie zadania:
-stworzenie
Zapomniałem dodać, że mam również darmowy dostęp do kursów na udemy - być może ktoś coś poleci?
Jakie jest best practice jeśli chodzi o tworzeniu notebooków w Azure Synapse Analytics, lepiej wiele małych, czy jeden duży?
Poznaję to dopiero i rozkminiam. Obecnie mam zastany jeden ogromny notebook i kilka średnich i myślę czy tego nie porozdzielać na kilkanaście małych i potem to ładować do pipelinów.
#azure #azuredatafactory #synapseanalytics #azuresynapse #powerbi
Poznaję to dopiero i rozkminiam. Obecnie mam zastany jeden ogromny notebook i kilka średnich i myślę czy tego nie porozdzielać na kilkanaście małych i potem to ładować do pipelinów.
#azure #azuredatafactory #synapseanalytics #azuresynapse #powerbi
@LucaJune: tak naprawdę zależy co tam robisz tym notebooku. Ale generalnie chodzi o to, żeby to było w miarę logicznie podzielone. Żeby jasno było widać twój ETL/ELT flow i np. jeden notebook odpowiadał jednemu outputowi docelowemu (np. przetworzonej tabeli) Np. jeżeli masz jeden notebook w którym ładujesz 5 tabelek (wymiarów np.) po kolei no to trochę to jest źle. Lepiej zrobić to odzielnie bo np. wtedy w pipelinach jesteś w
@LucaJune: nie wiem jaki wolumen danych, nie wiem czy to spark notebook czy sql notebook. No jeśli zapisywanie do adls2 trwa długo to musisz sprawdzić jaki masz storage ustawiony, może cold tier? I czy ten sam region przede wszystkim co synapse. No i czy dane są popartycjonowanie jakoś sprytnie i w jakim formacie. Jeden duży .csv to zły pomysł. Powinno być wiele parquetów. Ale zbyt wiele małych plików to również
Jakich pytań technicznych można się spodziewać na rozmowie o pracę na stanowisko mid/regular Power BI Developer? Wiem że pracuje tu trochę osób w branży i jestem ciekawy jak to u was wyglądało. Jakie widełki według was są odpowiednie na to stanowisko? #analizadanych #powerbi #programista15k #pracait #businessintelligence
@rickrickrick: nie mam pojęcia. Jak januszexu to nawet 6-8k brutto mogą dawać.
@rickrickrick: Pewnie podstawy sql, baz danych, relacje, trochę power query itd. Generalnie wpisz w google top100 power bi interview questions i to co tam będzie, było na znacznej części rozmów, w których uczestniczyłem.
Będę działać w Azure, SQL i PowerBI. Jakie ryczałt mogę zastosować - 8,5% / 12% / 15%?
Do umowy/na fakturę mogę wpisać prawie wszystko.
#programista25k #programista15k #programowanie #datascience #powerbi
Do umowy/na fakturę mogę wpisać prawie wszystko.
#programista25k #programista15k #programowanie #datascience #powerbi
konto usunięte via Wykop
@zibizz1: kontrahent z USA w razie czego podpisze co bede chcial bo ma #!$%@? na jakas urzednicza grazyne z polski i woli zebym wiecej zarabial :) Rownie dobrze moge pisac kod na pelen etat a na fakturze i w umowie bedzie cokolwiek co sie lapie na 8.5%
Szukam porady od osób pracujących w controllingu. Otóż, jestem analitykiem finansowym/kontrolerem z 6 letnim stażem w branży (FMCG, produkcja), który chciałby wreszcie trafić na w miarę poukładaną firmę z teamem profesjonalistów w dziale, którzy znają się na rzeczy i chętnie dzielą się wiedzą. Wiem, że brzmi to jak bajka, jednak uważam że takie firmy to nie jednorożce i faktycznie istnieją. Przecież można pracować na narzędziach, które wnoszą więcej niż sam excel, którym
Może to nie firma, a stanowisko? Zorientuj sie jakie zespoly jakich narzedzi uzywaja - nie powinno to byc tajemnica i probuj w wewnetrznej rekrutacji
@szogi20: wpisz sobie na justjointit/pracuj.pl Power BI jako keyword i filtruj po bankach :)
Cześć, z braku laku zostało mi przydzielone zadanie rozeznania rynku narzędzi BI pod kątem optymalizacji kosztów w organizacji. Wiem tyle, że korzystają obecnie z Microsoftowego PowerBI i płacą jakieś $7 od licencji za miesiąc. Z wymagań to wiem tyle, że musi mieć możliwość integracji z Enovą. Ktoś obeznany w temacie wtrąci swoje 3 grosze i krótko powie czy coś tańszego na rynku o podobnych możliwościach znajdę? Ewentualnie poleci ktoś jakieś rzetelne porównania
@Drmscape2: płacą 7$ za licencje na miesiąc i jeszcze szukają tańszej alternatywy? xD Taniej to chyba tylko w excelu. Narzędzia o zbliżonych możliwościach będą kosztować kilka razy więcej. Taki tableau, z czego pamiętam, to za licencje viewera prawie 2x tyle, a twórcy 70$/m, Qlik chyba koło 30$/M. Możesz googlowac jakieś bardziej niszowe narzędzia, ale wątpię żeby było coś taniej- nie mówiąc już o ich możliwościach.
@Drmscape2: Grafana jes za darmo.
#programowanie #pracait #pracbaza
Mirki, szukam miejsca dla siebie, czuje się lekko wypalony.
Na te chwile pracuje w #automotive na stanowisku średniego szczebla w #niemcy; znam niemiecki i angielski, oraz podstawy c++, i tam tych innych archaicznych języków; do tego excel w zaawansowanym, podobnie z #vba (bawiłem się trochę w SI w vba, tak z nudów).
Mirki, szukam miejsca dla siebie, czuje się lekko wypalony.
Na te chwile pracuje w #automotive na stanowisku średniego szczebla w #niemcy; znam niemiecki i angielski, oraz podstawy c++, i tam tych innych archaicznych języków; do tego excel w zaawansowanym, podobnie z #vba (bawiłem się trochę w SI w vba, tak z nudów).
@octopussy8: na udemy często można wyrwać spoko kursy po kilka dyszek. Ja tak przerabiałam kurs z Dockera, trochę z baz danych i z Pythona, nagrywane przez Polaków i zawartość była naprawdę spoko (tylko z reguły oglądam na przyśpieszeniu x1, 5, bo nie lubię jak ktoś wolno mówi :D). Robiłam na bieżąco notatki oglądając, a potem sama testowałam. Całkiem spoko sposób, żeby sprawdzić czy to fajny kierunek.
#powerbi #programowanie #lowcode #dataengineering
Potrzebuje wykonać interfejs dzięki któremu osoba z biznesu będzie mogła wybrać z listy rozwijanej lub wpisać ręcznie nazwy produktów (które będą wyświetlane na podstawie danych z bazy w azurze), i na podstawie wybranych elementów wygeneruje plik excel. Plik excelowy będzie dosyć specyficzny (muszę wykonać formatowanie, odpowiednią kolejność kolumn, itd). Jak byście to rozwiązali? Czy jest sens stawiać dashboard powerbi i
Potrzebuje wykonać interfejs dzięki któremu osoba z biznesu będzie mogła wybrać z listy rozwijanej lub wpisać ręcznie nazwy produktów (które będą wyświetlane na podstawie danych z bazy w azurze), i na podstawie wybranych elementów wygeneruje plik excel. Plik excelowy będzie dosyć specyficzny (muszę wykonać formatowanie, odpowiednią kolejność kolumn, itd). Jak byście to rozwiązali? Czy jest sens stawiać dashboard powerbi i
@Sad_poyato: @przecietnyczlowiek O ile cały flow rozumiem, tak problem pojawia się w specyficznym formacie pliku excelowego. Danę mogę wrzucać tylko w niektóre komórki - reszta komórek ma zostać nietknięta. Czy da radę zrobić to jakoś makrem w locie albo jakimś skryptem? Nie mogę wstawić całej tabeli bo plik excelowy musi mieć specyficzne formatowanie.
@PiotrokeJ: raz robiłem takie rozwiązanie gdzie dane musiał być wrzucone w bardzo restrykcyjną formatkę. Stworzyłem najpierw plik jak wyżej, na jednej stronie raport zaciągał dane i ustawiał pivota ze wszystkimi niezbędnymi wynikami i liczbami, a następnie zrobiłem makro które użytkownik odpalał przyciskiem, i które tworzyło nową stronę z odpowiednio sformatowanymi danymi na podstawie inputu z pbi.
krótkie podsumowanie szukania pracy na stanowisko junior data analyst
#pracbaza #korposwiat #analizadanych #dataanalyst #powerbi #programista15k
#pracbaza #korposwiat #analizadanych #dataanalyst #powerbi #programista15k
źródło: temp_file.png170185403020998894
Pobierz@stefan_pmp rok staż, rok junior i z takim doświadczeniem powinien być już spokojnie regular
Treść przeznaczona dla osób powyżej 18 roku życia...
Za pomocą DAX możesz tworzyć zarówno kolumny kalkulowane jak i miary. Ale czy zastanawiałeś się kiedyś, po co komu dwa twory, skoro ich wynik może być taki sam?
No właśnie. Może, ale wcale nie musi. Dodatkowo – sposób działania miar i kolumn kalkulowanych (pomimo tego, że składnia kodu jest podobna) jest diametralnie różny.
Jeżeli miałeś wcześniej do czynienia z arkuszami kalkulacyjnymi, to kolumna kalkulowana jest dla Ciebie najbardziej naturalną rzeczą na świecie.
Ot, wpisujesz po
No właśnie. Może, ale wcale nie musi. Dodatkowo – sposób działania miar i kolumn kalkulowanych (pomimo tego, że składnia kodu jest podobna) jest diametralnie różny.
Jeżeli miałeś wcześniej do czynienia z arkuszami kalkulacyjnymi, to kolumna kalkulowana jest dla Ciebie najbardziej naturalną rzeczą na świecie.
Ot, wpisujesz po
źródło: miaryvskolumny
Pobierz@KrzysiekZcleverBI:
Dobry wpis!
ale mam drobne uwagi - niektóre stwierdzania są zbyt dużymi uproszeniami które mogą wprowadzać w błąd :)
Dobry wpis!
ale mam drobne uwagi - niektóre stwierdzania są zbyt dużymi uproszeniami które mogą wprowadzać w błąd :)
Najprościej mówiąc – miara jest obliczeniem wykonywane nie na poziomie każdego wiersza, tylko na zagregowanych
@KrzysiekZcleverBI quality content, wincyj
Dlaczego automatyczna data/godzina w Power BI to czyste zło?
Jeżeli korzystasz z Power BI to pewnie zauważyłeś, że dla kolumn w których jest data/czas tworzy się automatyczna hierarchia. Ot, taki ficzer, który ułatwia analizę wartości w czasie dla osób "nietechnicznych".
Ale czy zastanawiałeś się kiedyś, skąd to się bierze? Przecież dokumentacja jasno mówi o tym, że funkcje analizy czasowej można wykorzystywać, gdy posiadasz w modelu tabelę dat.
Dziwne, prawda?
Jeżeli korzystasz z Power BI to pewnie zauważyłeś, że dla kolumn w których jest data/czas tworzy się automatyczna hierarchia. Ot, taki ficzer, który ułatwia analizę wartości w czasie dla osób "nietechnicznych".
Ale czy zastanawiałeś się kiedyś, skąd to się bierze? Przecież dokumentacja jasno mówi o tym, że funkcje analizy czasowej można wykorzystywać, gdy posiadasz w modelu tabelę dat.
Dziwne, prawda?
źródło: image-15-1024x705
Pobierz
@KrzysiekZcleverBI: Fajny wpis, czekam na więcej!
konto usunięte via Wykop
@dziwna_kuna: więcej znajdziesz na www.biclever.pl :) Chociaż tutaj pewnie tez będę od czasu do czasu robił jakieś wrzutki.
Potrzebuje importować dane XML... robię to pierwszy raz. Podobno używa się do tego Microsoft Power BI, ale używamy w firmie maków :/ Jakaś alternatywa? #firma #powerbi #microsoft #analizadanych #dzialalnoscgospodarcza
@polish_superstar: sql server, powerbi czy jakiekolwiek parsowanie plików tekstowych: może być nawet excel
konto usunięte via Wykop
@polish_superstar: importować? Powerbi sluzy do importu danych, ich obrobki, modelowania i wyswietlania. A co wy chcecie z tymi danymi robic?
rabini jak zwykle zgodni
czy jest ktoś tutaj kto może się odnieść do wymagań na pierwszą pracę dla analityka danych
#analizadanych #bigdata #it #programista15k #powerbi #sql
czy jest ktoś tutaj kto może się odnieść do wymagań na pierwszą pracę dla analityka danych
#analizadanych #bigdata #it #programista15k #powerbi #sql
źródło: temp_file.png1867193052713387480
Pobierz@Metylo: najlepiej jakbyś przejrzał tag, bo to pytanie pojawiało się wielokrotnie. Ogólnie, podstawa to sql. Zawsze będzię wykorzystywany. A przynajmniej mocno ułatwia ci życie, jak możesz sięgnąć bezpośrednio do danych. Jakiś excel też się przyda. Dalej coś do wizualizacji, typu power bi czy tableau. Nie ma sensu uczyć się czegoś konkretnego, bo trochę tego jest i są do siebie podobne. Później python/R, ale z tym bywa różnie. Możesz sie spotkać
konto usunięte via Wykop
@Metylo: a to gdzie byś chciał pracować? jak już pracujesz to jeszcze lepiej. Nie ma łatwiejszej drogi do dostania pracy jako analyst/scientist niż wewnętrzna rekrutacja w banku. Sam pracowałem w 2 ( ͡° ʖ̯ ͡°)
pytanie może głupie ale. mam pracowego #macbook potrzebuje apke #powerbi desktop żeby stworzyć dataset. oczywiście na maca nie ma a w web się nie da. jak najprościej to ogarnąć? #programista15k
konto usunięte via Wykop
@czuczer: UTM możesz za darmochę wziąć z ich strony: https://mac.getutm.app/
Nowy rok, trzeba wysłać kilka CV, co by mieć jakąs podpórke na rozmowe roczną. Jakie są obecnie stawki na poziomie mocny mid/wczesny senior z 3-4 lata expa jako Power BI developer/consultant ze znajomością SQL, PowerApps, PowerAutomate, Azure, Snowflake i troche Pythona? 180zl/h realne? Słyszałem jakieś plotki wśród znajomych, że inny kolega na podobnym poziomie dostał taką ofertę, nie wiem czy to prawda, czy trochę podkoloryzowane. Jak wysyłaja mi oferty na LinkedIn to
@cohontes: moze tak byc ( ͡° ͜ʖ ͡°) naprawde z tego co rozmawialem ze znajomymi to czasem mam wrazenie, że te stawki pomiedzy 100-180 są losowane xD i zalezy jaka Ci sie wylosuje to taka Ci dadza. A co do ogloszen na justjoin czy innych portalach, to wydaje mi sie ze tam sa jakies nizsze stawki niz te co dostaje od rekruterow na priv na linkedin
@Kormoran123:
Weryfikacja kandydatów nauczyła mnie, że lata doświadczenia w tym narzędziu nic nie mówi.
Sam w pbi siedzę jakieś 2,5 roku (rola czołowego experta PBI w firmie konsultingowej z przynajmniej 150 power Bi'owcami), a miałem okazję rozmawiać z kandydatami na seniorów z 5-7 lat doświadczenia którzy np. nigdy nie używali tabular editora i grup kalkulacyjnych, a na pytania o pojęcia daxowe jak "przejscie kontekstu" czy "tabele rozszerzone" tylko robili wielkie oczy.
Weryfikacja kandydatów nauczyła mnie, że lata doświadczenia w tym narzędziu nic nie mówi.
Sam w pbi siedzę jakieś 2,5 roku (rola czołowego experta PBI w firmie konsultingowej z przynajmniej 150 power Bi'owcami), a miałem okazję rozmawiać z kandydatami na seniorów z 5-7 lat doświadczenia którzy np. nigdy nie używali tabular editora i grup kalkulacyjnych, a na pytania o pojęcia daxowe jak "przejscie kontekstu" czy "tabele rozszerzone" tylko robili wielkie oczy.
@LucaJune: gotowca mi się nie chce pisać, ale ja bym zrobił select distinct z podzapytania, które zbiera duplikaty i robi order by w odpowiedniej kolejności po LogID.
@LucaJune:
przy założeniu, że tabela nazywa się
przy założeniu, że tabela nazywa się
t i, że kolumna którą nazwałeś Value nazywa się val:select distinct
entity_id
źródło: sql-question
Pobierz
konto usunięte via Wykop
@LucaJune: SCD znasz? poczytaj...
@LucaJune:
Przyjmując założenia:
- w ramach jednego USERID każda kolejna zmiana ma wartoś LogID o 1 większą od poprzedniego
- namniejszy logID na userze oznacza pierwszy wpis, a nie zmiane
- każdy kolejny logID zapisuje zmianę max na 1
Przyjmując założenia:
- w ramach jednego USERID każda kolejna zmiana ma wartoś LogID o 1 większą od poprzedniego
- namniejszy logID na userze oznacza pierwszy wpis, a nie zmiane
- każdy kolejny logID zapisuje zmianę max na 1
Obecnie jestem w trakcie studiów, kończę licencjat z ekonomii, jednak chciałbym swoją przyszłość związać z analizą danych. Pracuję w księgowości, lubię pracować z danymi stąd ta decyzja. Excela znam perfect, do tego trochę VBA, Power Query, SQL na poziomie basic ale wciąż się uczę, to samo Python, również szkolę się w Power BI. W moim mieście na uczelni prywatnej otworzyli nowy kierunek studiów podyplomowych "Analiza danych". Studia
ta.. i pokażą regresje liniową xD