Prośba o wskazówki z #ssis #ssas #powerbi #bazydanych #etl Jeżeli masz wiedzę, żeby mi pomóc to odezwij się na pw, wówczas rozliczymy się $. Mile widziane wskazówki tutaj Aktualnie w pracy tworzę raporty i do tego celu mam kilka kostek analitycznych. Niestety przybywa coraz więcej raportów w których nie ma danych w kostce, wówczas muszę robić import z bazy danych plus dodatkowo
Wszystko
Najnowsze
Archiwum
@harris108: jak chcesz robic grouping na modelu, to w SSAS raczej tylko multidiemnsional opcja, w tabularze tego nie ma
-kolumny kalkulowane - calculated column xD
-odświeżać model możesz bezspośrednio w visual studio (deploy) albo przez ssms, w azure tez na pewno jest taka opcja jak masz tam środowisko postawiony
-projekt możesz trzymać lokalnie albo wrzcucic na devops w azure, wtedy masz cala te ścieżke fetch/pull/push itd tworzenie branchy itd
-kolumny kalkulowane - calculated column xD
-odświeżać model możesz bezspośrednio w visual studio (deploy) albo przez ssms, w azure tez na pewno jest taka opcja jak masz tam środowisko postawiony
-projekt możesz trzymać lokalnie albo wrzcucic na devops w azure, wtedy masz cala te ścieżke fetch/pull/push itd tworzenie branchy itd
@PanPietruszka @harris108:
- nie może sobie zgrupować danych przed zaciągnięciem do modelu w widoku na bazie?
- ssas z resztą jest wydajniejszy przy takich tabelach, bo w raporcie np dokona agregacji na poziomie w raporcie/filtrach. Troche to na opak napisałam....
- odświeżać model możesz np. w jobie. Ustawić jakiś schedule i np codziennie będzie ci się procesował model.
- raport będzie i tak w liveconnection więc odświeży się automatycznie
- nie może sobie zgrupować danych przed zaciągnięciem do modelu w widoku na bazie?
- ssas z resztą jest wydajniejszy przy takich tabelach, bo w raporcie np dokona agregacji na poziomie w raporcie/filtrach. Troche to na opak napisałam....
- odświeżać model możesz np. w jobie. Ustawić jakiś schedule i np codziennie będzie ci się procesował model.
- raport będzie i tak w liveconnection więc odświeży się automatycznie
Mirki jak jest z założeniem #jdg online? Jest ktoś może z w miarę świeżymi doświadczeniami? Widzę że mogę wypełnić wniosek na #ceidg i zatwierdzić go profilem zaufanym lub przez wizytę w urzędzie. Zakładał może ktoś przez #mbank ? Obczytałem sobie programistanaswoim.pl i zastanawiam się czy potrzebuję czegoś ponadto co zawarł autor tego bloga.
Czy grzebanie w procesach #etl podpada pod PKD związane z #
Czy grzebanie w procesach #etl podpada pod PKD związane z #
@ludzik: aż sprawdziłem historię swojego wpisu i okazuje się, że też zakładałem działalność w piątek :) REGON miałem nadany w poniedziałek.
@KasparowGaming Mi trudno powiedzieć bo NIP miałem już nadany. Skoro robiłeś elektronicznie to powinieneś dostać mailem info o nadaniu. Jednakże jeśli będzie to tak jak z moim REGONem to pewnie dostaniesz go trochę wcześniej niż maila z informacją o tym fakcie. Zatem sprawdzaj swój wpis w CEIDG
Czy ktoś z Was instalował #informatica na #windows7 i #mssql ? Utknąłem na dodaniu nowego repo- mam błąd o niezgodności strony kodowej między repo a konsolą admina
#bazydanych #etl
#bazydanych #etl
Mirki,
zastanawiam się co dalej robić ze swoim życiem. Pracuje w #korposwiat i jestem analitykiem #bi . Pracuje głównie na #excel #tableau #powerbi . Chce się rozwijać w tym kierunku, ale bardziej w stronę IT, a obecnie jestem dużo bliżej biznesu. Czego wg Was warto się uczyć?
#pracbaza #pracait #programowanie #programista15k #sql
zastanawiam się co dalej robić ze swoim życiem. Pracuje w #korposwiat i jestem analitykiem #bi . Pracuje głównie na #excel #tableau #powerbi . Chce się rozwijać w tym kierunku, ale bardziej w stronę IT, a obecnie jestem dużo bliżej biznesu. Czego wg Was warto się uczyć?
#pracbaza #pracait #programowanie #programista15k #sql
@parostatek696: SQL
@parostatek696: Ucz się SQL, tworzenia procesów ETL na przykład w SSIS
@nocnyMark: tak, nie. Widziałem, że na redditach strasznie narzekają na talend. Rzeczywiście takie złe?
@kurazjajami: "umiejętnośći"? serio? w--------m to do kosza. i to nawet nie przez KUL i technikum xD
@kurazjajami: gdzie jest kompletna lista technologii? masz licencjat z informatyki i wszystko co umiesz to sql? co to jest programowanie obiektowe, jakimiś obiektami na kartce? po co ktoś ma za to płacić?
codeblocks to edytor tekstu używany na lekcjach informatyki w liceum, weź to wyjeb
codeblocks to edytor tekstu używany na lekcjach informatyki w liceum, weź to wyjeb
Cześć, czy jest ktoś kto studiuje Data Science na PJATK ? Jak ocenia to co można się tam nauczyć? Czy warto zmieniać SGH Big Data na ten kierunek ? (chociażby żeby dyplom był z informatyki) ?? Czy do ETL potrzebny jest bezwzględnie dyplom z inf. ? I czy jak mam zamiar zajmować się Data Science to jaka droga jest najlepsza (od ETL?) czy inna?
#sgh #pjatk #datascience
#sgh #pjatk #datascience
@trelis_morelis: Za bardzo kombinujesz kolego :)
@trelis_morelis nie zmieniaj. Pracuję w branży i zmiana nie ma najmniejszego sensu. No i do ETL nie jest potrzebny dyplom z informatyki.
Hej #krakow,
Sa tu jacys ludzie zajmujący się #etl w #python (Apache #airflow ;) )? Szukamy ludzi którzy mają w tym doświadczenie. I zastanawiam się czy są jacyś ludzi dostępni z tego tematu na mirko. Mamy dużo danych i sporo pracy w tym temacie (gdyby kogoś interesowała jaka domena biznesowa to linie lotnicze). ( ͡° ͜ʖ ͡°)
Sa tu jacys ludzie zajmujący się #etl w #python (Apache #airflow ;) )? Szukamy ludzi którzy mają w tym doświadczenie. I zastanawiam się czy są jacyś ludzi dostępni z tego tematu na mirko. Mamy dużo danych i sporo pracy w tym temacie (gdyby kogoś interesowała jaka domena biznesowa to linie lotnicze). ( ͡° ͜ʖ ͡°)
@BeKindAndHumble: właśnie aktualnie w tym grzebie, czego potrzebujesz?
@miszczu_blady szukamy ludzi do współpracy na full time. ;) Real time data pipelines danych od naszych klientów do naszego systemu. My potem z tych danych robimy różne modele uczenia maszynowego.
Nie uczestniczyłem nigdy w całym procesie projektowania hurtownii danych i zastanawiam się jak w praktyce wygląda wybór architektury? Z reguły chyba rzadko ma się do czynienia z podręcznikowymi przykładami jak płatek śniegu gdzie wymiar czasu rozbija się na miesiąc, kwartał, rok? Wg mnie moich obserwacji najczęściej tabele wymiarów pełnią rolę słowników, a tabele faktów są uzupełniane wartości numerycznymi, ilościowymi itp.
Może polecić materiały, które na praktycznych przykładach pokazują problemy związane z projektowanie
Może polecić materiały, które na praktycznych przykładach pokazują problemy związane z projektowanie
@seelk tyle hurtowni już widziałem (pod BI), a chyba żadna nie miała książkowo porozbijanych wymiarów. Zwykle była gwiazda lub mix. Wybór często zależy od samych danych oraz od bazy danych w której będzie to składowane.
Przypomnij się po weekendzie to prześle Ci trochę materiałów
Przypomnij się po weekendzie to prześle Ci trochę materiałów
Czy kojarzy ktoś dobre materiały wyjaśniające praktyki jak poprawnie tworzyć procesy do audytowania danych (logowania zmian) w bazie #sql ? Głównie jako część procesów #etl
#businessintelligence #datascience #bi #bideveloper #analizadanych
#businessintelligence #datascience #bi #bideveloper #analizadanych
http://mitiq.mit.edu/Documents/Publications/TDQMpub/WangCACMFeb98.pdf
generalnie hasło: total data quality management
generalnie hasło: total data quality management
Mirasy, nawiązując do moich wcześniejszych wpisów:
https://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/
https://www.wykop.pl/wpis/22916783/mirasy-jakis-czas-temu-wrzucilem-wpis-odnosnie-swo/
Możecie tutaj zadawać pytania, postaram się odpowiedzieć najlepiej jak potrafię na Wasze pytania :) Odpowiadał będę sukcesywnie na pytania dzisiaj, jutro i pojutrze - mam trochę różnych spraw na głowie ostatnio, więc jednym tchem na wszystko nie odpowiem ;)
https://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/
https://www.wykop.pl/wpis/22916783/mirasy-jakis-czas-temu-wrzucilem-wpis-odnosnie-swo/
Możecie tutaj zadawać pytania, postaram się odpowiedzieć najlepiej jak potrafię na Wasze pytania :) Odpowiadał będę sukcesywnie na pytania dzisiaj, jutro i pojutrze - mam trochę różnych spraw na głowie ostatnio, więc jednym tchem na wszystko nie odpowiem ;)
@kuta_senator: jakie masz wykształcenie? Ja mam posade że na te chwile dostaje dane z hurtowni i robię raporty Excel, VBA. Docelowo uczyć się będę SQL i sam te dane z hurtowni sobie wyciągał. I czy z takiego poziomu bazowego da radę się rozwijać w kierunku takim jak Ty? Do tego prócz SQL chce się uczyć w własnym zakresie PowerBi i R
@kuta_senator: mam bardzo ważne pytanie, jaką furę wybrałeś :D
A tak bardziej serio, to od marca też jadę na B2B, bardzo dobry wybór Mireczku :)
A tak bardziej serio, to od marca też jadę na B2B, bardzo dobry wybór Mireczku :)
Cześć! Czy wypoczęliście po weekendzie? Zapraszamy do sprawdzenia najnowszych ogłoszeń w kategoriach Backend, Frontend oraz Fullstack. :)
BACKEND JOBS
- [REMOTE] WooCommerce Plugin Developer @ wpdesk.net 5.5k-7.5k
- [REMOTE] ETL Developer @ astek.pl 11.0k-14.4k
BACKEND JOBS
- [REMOTE] WooCommerce Plugin Developer @ wpdesk.net 5.5k-7.5k
- [REMOTE] ETL Developer @ astek.pl 11.0k-14.4k
Możecie podpowiedzieć jak powinna wyglądać ścieżka certyfikacji dla business intelligence developer w środowisku Microsoft? Powoli się przekwalifikuję z zupełnie innej branży, ale wszystko robię na własną rękę i chciałbym porządkować wiedzę.
#bideveloper #bi #businessintelligence #microsoft #sqlserver #etl #ssis #ssas #ssrs
Pozwolę sobie zawołać @kuta_senator, bo chwalił się takim stanowiskiem.
#bideveloper #bi #businessintelligence #microsoft #sqlserver #etl #ssis #ssas #ssrs
Pozwolę sobie zawołać @kuta_senator, bo chwalił się takim stanowiskiem.
@ShortyLookMean: jak ja robiłem certyfikacje to była trochę inna ścieżka, ale obecnie wygląda to tak:
https://www.microsoft.com/en-us/learning/mcsa-sql-certification.aspx (to jest taki od jakiego ja zaczynałem czyli 461, 462 i 463)
natomiast uzupełnieniem tego jest to:
https://www.microsoft.com/en-us/learning/mcse-data-management-analytics.aspx (od 464 w górę)
https://www.microsoft.com/en-us/learning/mcsa-sql-certification.aspx (to jest taki od jakiego ja zaczynałem czyli 461, 462 i 463)
natomiast uzupełnieniem tego jest to:
https://www.microsoft.com/en-us/learning/mcse-data-management-analytics.aspx (od 464 w górę)
konto usunięte via iOS
@harris108: 464 i w górę nie zrobisz nie mając 461-463
Mirasy, jakiś czas temu wrzuciłem wpis odnośnie swojej pracy i zarobków ( http://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/ ), czy bylibyście zainteresowani tym abym opisał z grubsza jak wygląda moja praca, ewentualnie żebyście mogli zadawać pytania (widziałem, że takowe się pojawiły w moim poprzednim poście, natomiast fala pytań na PW była ogromna)? Tematyka przewodnia mojej pracy to oczywiście bazy danych, hurtownie danych, ETL, BI, Big Data i wszystko co funkcjonuje na styku biznesu i baz danych, czyli
Panowie, Panie, mam problem.
SSIS - podczas wykonywania paczki generują się wiadomości dla każdego tasku (stan wykonania etc.). Na zakładce jeszcze "Execution Overwiev" widać wszystkie bloki, które się wykonały.
Czy da radę jakoś wyłączyć te wiadomości? Potrzebuję tego, bo mam przypadek, w którym dany blok wykonuje się 1500 razy i wcale nie potrzebuję tego logować, bo:
a) nie potrzebuję
b) zawala miejsce na dysku
c) taka ilość potrafi zasrać log i zablokować SSISDB, co dzisiaj
SSIS - podczas wykonywania paczki generują się wiadomości dla każdego tasku (stan wykonania etc.). Na zakładce jeszcze "Execution Overwiev" widać wszystkie bloki, które się wykonały.
Czy da radę jakoś wyłączyć te wiadomości? Potrzebuję tego, bo mam przypadek, w którym dany blok wykonuje się 1500 razy i wcale nie potrzebuję tego logować, bo:
a) nie potrzebuję
b) zawala miejsce na dysku
c) taka ilość potrafi zasrać log i zablokować SSISDB, co dzisiaj
Treść przeznaczona dla osób powyżej 18 roku życia...
@antipathia: wracam do domu
@vuvkid: może uprawnienia?
Panowie, mam dość istotny problem.
Wrzuciłem paczki SSIS do SSIS Catalog i w------o mi paczki z dysku ale mam w SSIS Catalogu najświeższe. Czy da radę je pobrać i otworzyć w VS?
#ssis #mssql #bazydanych #etl
Wrzuciłem paczki SSIS do SSIS Catalog i w------o mi paczki z dysku ale mam w SSIS Catalogu najświeższe. Czy da radę je pobrać i otworzyć w VS?
#ssis #mssql #bazydanych #etl
Hej Miraski,
Mam ETL, który procesuje dane ze źródła do celu. Problem jest taki, że czasem zrywa połączenie podczas pchania tych danych. Czy znacie jakieś dobre praktyki, które pozwoliłyby odnowić to połączenie i ponawiać aż do skończenia procesowania? ID rośnie monotonicznie, więc można jestem w stanie wyciągnąć sobie ostatnie ID, które załadowałem i od niego rozpocząć, więc tu jakby sprawa jasna, ale co zrobić by odnowić to połączenie i nie podnieść ErrorCount?
Mam ETL, który procesuje dane ze źródła do celu. Problem jest taki, że czasem zrywa połączenie podczas pchania tych danych. Czy znacie jakieś dobre praktyki, które pozwoliłyby odnowić to połączenie i ponawiać aż do skończenia procesowania? ID rośnie monotonicznie, więc można jestem w stanie wyciągnąć sobie ostatnie ID, które załadowałem i od niego rozpocząć, więc tu jakby sprawa jasna, ale co zrobić by odnowić to połączenie i nie podnieść ErrorCount?
@szymciak: mam timeout ale wyskakuje mi on losowo - raz załaduje 19kk rekordów i wtedy zerwie, raz nie załaduje nawet jednego i zerwie więc to raczej nie to.
@vuvkid: A gdy wywali timeout nie możesz ponownie uruchomić procesu o ile się on nie skończył ? Jednocześnie sprawdzając gdzie się skończył proces i starać się go od tego miejsca kontynuować?
I tak w kółko, aż sie uda.
Tylko się w jaką pętlę nieskończoną nie właduj..
I tak w kółko, aż sie uda.
Tylko się w jaką pętlę nieskończoną nie właduj..
Czym wykonujecie migracje danych z jednego serwera na drugi. Nie chodzi mi o przypadek przeniesienia bazy 1:1 a bardziej o sytuację gdzie mamy do czynienia z dwoma różnymi bazami np. MySQL->Postgre, a przede wszystkim mamy dwa różne schematy bazy.
Jakieś narzędzia #etl się do tego nadają? Pentaho?
#bazydanych #migracjadanych
Jakieś narzędzia #etl się do tego nadają? Pentaho?
#bazydanych #migracjadanych
@Regis86: To chyba najpopularniejsza opcja open source tego typu.
@ghost1511: Full Convert, migrowaliśmy bazę danych dla pewnej dużej korporacji.
Migracja z PostgreSQL na MySQL ( ͡º ͜ʖ͡º)
Dane zmigrujesz. Problem będzie z procedurami wbudowanymi, wyzwalaczami i pewnymi innymi elementami.
Dotyczy to każdego narzędzia.
Jak nie masz procedur wbudowanych to sprawa jest średnio skomplikowana.
Jak są procedury to jest to problematyczne. Ale do zrobienia.
Migracja z PostgreSQL na MySQL ( ͡º ͜ʖ͡º)
Dane zmigrujesz. Problem będzie z procedurami wbudowanymi, wyzwalaczami i pewnymi innymi elementami.
Dotyczy to każdego narzędzia.
Jak nie masz procedur wbudowanych to sprawa jest średnio skomplikowana.
Jak są procedury to jest to problematyczne. Ale do zrobienia.
Pomóżcie !
W ogóle jest sens iśc na staż do Atos na Cloud Specialist w dziale Digital, czy lepiej na Junior Python developera w innej firmie? co po tym stażu się robi i czy nie jest tak, że staje się tylko człowiekiem do wyklikania rzeczy w chmurze
tu