#anonimowemirkowyznania
#etl #ssis #sql #bu #hurtowniadanych #dwh
Cześć,
Obecnie w robocie siedzę w BI jako taki analityk biznesowy i klepacz dashboardów ( ͡° ͜ʖ ͡°) Wcześniej pracowałem kilka lat na sql + excel głównie DQL, T-SQL znam w miarę dobrze(cte, windows function itp.). Chciałbym trochę rozszerzyć swoje skillsy o ETL i zacząłem uczyć się SSIS.
Moje pytanie do doświadczonych DWH/ETL Developerów.
Jak to jest z tym SSIS, w
Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL?


@AnonimoweMirkoWyznania: generalnie tak, zwłaszcza dla baz sqlowych. SSIS jest orchestratorem, ale transformacje i data cleansing wykonuje się po stronie SQL. Chyba, że w grę wchodzą jakieś importy/exporty z data lakeów, api (tu i się skrypty w c# nawet pisze) nosqli.

W Azure Data Factory może być podobnie, aczkolwiek jest też
  • Odpowiedz
OP: @przecietnyczlowiek: dzięki. Oczywiście mówię o bazach sqlowych. Oganianie danych z api, datalakow, big data na razie nawet nie ruszam, z resztą nie mam z tym styczności w robocie i na razie to dla mnie wyższa szkoła jazdy.
W robocie sporo siedzę właśnie z ETL Devem, gdzie mu tłumacze jak dane w finalnym modelu powinny wyglądać, czasami pisze mu gotowy kod w T-SQLu z tej czesci tranformacji, bardziej dla wlasnego
  • Odpowiedz
@TwujKoshmar: ms stack ma duzy % w rynkach, jest czesto widziany w ofertach pracy i latwo sie go uczy bo mozesz sobie sciagnac sql server developer edition za darmo, power bi desktop masz free. Gorzej z azureowymi rzeczami ktore sie robia popularne typu Azure Data Factory czy Azure Databricks bo wymagana bo trzeba subskrypcji na azure (jest trial na miesiac).
  • Odpowiedz
Czołem Miruny,

Jest tu ktoś ogarniający #csharp? Mam w #ssis script taska otwierającego plik xlsx, po otwarciu plik sie samodzielnie odswieza (power query), nastepnie script task mi go zapisuje (na shared location). Lokalnie wszystko bangla, po deploju i puszczeniu joba plik sie nie odswieza, aczkolwiek widze ze plik xlsx jest zmodyfikowany. Nie ogarniam totalnie c#, ponizszy kod to ulep z roznych zrodel.
Ktoś tam pisał by pomanipulować czasem w System.Threading.Thread.Sleep ale
@biszcz: o jezu, interopy pod ssisem, nie szedlbym ta droga, moze lepiej zrobic to jako osobny program ktory ssis po prostu by odpalal jako execute process task i tyle ;)
  • Odpowiedz
@lekkonieobecny: @thomekh: @ostrykuc666: mi się ogólnie ssis podoba ale nie wiem jak narzędzie które jest jakieś 15 lat na rynku (m$ chyba je wykupił razem z firmą która je stworzyła) może być tak zbugowane i ciężkie w modyfikacji.
Błędy często nieczytelne. A zmiana w kolumnach lub gdzieś w przepływie wiąże się często z przeklikaniem albo usunięciem całej serii bloczków które idą dalej i wstawianiu ich ponownie
  • Odpowiedz
@obieq: Wszystko jest kwestią jaką koncepcję sobie wymyślisz i jak to wdrożysz. Ja wyszedłem z założenia, że chcę pobierać dane jak najszybciej się da aby jak najszybciej produkcję zostawić w spokoju, nawet kiedy zasilanie odbywa się nocą. U mnie więc wygląda to tak, że z różnych źródeł pobieram tabele, słowniki i wrzucam je od razu do bazy (extract) po mojej stronie (klasyczny truncate + zasilenie, lub jak tabela jest duża to
  • Odpowiedz
via Android
  • 1
@inny_89: Lepiej pytaj na forum microsoftu, bo tutaj nikt takich rzeczy nie używa, bo i po co

@fervi jest tu całkiem sporo osób co takie rzeczy robi. Przynajmniej jeśli chodzi o SSIS. Mimo obiegowej opinii to połowa firm w Polsce na tym jedzie i ta technologia nie zdechnie jeszcze długo.
Tam też zadań pytanie ale nie zaszkodzi spróbować tutaj.

Trochę nie rozumiem tego stwierdzenia: "po co".
  • Odpowiedz
@inny_89: Niby spoko, ale żeby korzystać z SSIS jak rozumiem - musisz płacić za licencje SQLa, które do takich nie należą i są często limitowane. Pominę fakt, że taki projekt z automatu jest nieprzenośny i realnie nie wiem czy nie przepłacisz znacznie więcej.

Ale przynajmniej się czegoś dowiedziałem z zakresu SQLa
  • Odpowiedz
gdzie w paczce #ssis mogą występować nazwy tabeli oprócz bloków SQL?
mam mnóstwo paczek, dump bazy danych i trzeba sprawdzić jakich tabel nie ma w dumpie
napisałem skrypt który wypisuje linie które zawiera "SqlStatementSource", a nie zawiera nazwy tabeli która jest w dumpie i nawet parę tabel znalazło, pewnie jeszcze w variables można podać tabelę, ale na 100% będą jeszcze jakieś inne miejsca
odpaliłem kilka paczek w edytorze to takich miejsc nie
via Wykop Mobilny (Android)
  • 1
@inny_89: podejrzewam że w związku z tym że Microsoft wszystko przenosi do chmury to za małe jest na to zapotrzebowanie aby chciało im się to implementować. Plus tego softu jest taki że wspiera całą masę baz i ma wbudowane mechanizmy do cache nazw tabel i kolumn więc całkiem wygodnie się pisze query :)
  • Odpowiedz
via Android
  • 0
@PortowySzczur wiem, kiedyś się tym bawiłem. Całkiem fajne narzędzie ale niestety połowa firm, z którymi przyszło mi współpracować ma postawione zawsze jakieś ssis albo analysis serv i tam olapy.

Dlatego potrzebowałbym czegoś co to ogarnia i nie kraty Visual Studio czy też ssdt.
  • Odpowiedz
Prośba o wskazówki z #ssis #ssas #powerbi #bazydanych #etl Jeżeli masz wiedzę, żeby mi pomóc to odezwij się na pw, wówczas rozliczymy się $. Mile widziane wskazówki tutaj Aktualnie w pracy tworzę raporty i do tego celu mam kilka kostek analitycznych. Niestety przybywa coraz więcej raportów w których nie ma danych w kostce, wówczas muszę robić import z bazy danych plus dodatkowo z exceli i ręcznie odświeżać takie raporty co na dłuższą
@harris108: jak chcesz robic grouping na modelu, to w SSAS raczej tylko multidiemnsional opcja, w tabularze tego nie ma
-kolumny kalkulowane - calculated column xD
-odświeżać model możesz bezspośrednio w visual studio (deploy) albo przez ssms, w azure tez na pewno jest taka opcja jak masz tam środowisko postawiony
-projekt możesz trzymać lokalnie albo wrzcucic na devops w azure, wtedy masz cala te ścieżke fetch/pull/push itd tworzenie branchy itd
  • Odpowiedz
@PanPietruszka @harris108:
- nie może sobie zgrupować danych przed zaciągnięciem do modelu w widoku na bazie?
- ssas z resztą jest wydajniejszy przy takich tabelach, bo w raporcie np dokona agregacji na poziomie w raporcie/filtrach. Troche to na opak napisałam....
- odświeżać model możesz np. w jobie. Ustawić jakiś schedule i np codziennie będzie ci się procesował model.
- raport będzie i tak w liveconnection więc odświeży się automatycznie
- możesz
  • Odpowiedz
  • 0
@obieq nom też to zauważyłem, i i mam wrażenie że z roku na rok coraz bardziej idą w reklamę niż na pokazanie czegoś nowego, duża część to odgrzewane kotlety a przynajmniej tak było w tamtym roku
  • Odpowiedz
#sqlserver #ssis #sqlserverintegrationservices #programowanie
Panowie,
Na sql server 2016 mam wrzucone paczki ssis. Mam dostęp do tych paczek z poziomu integration services cataloge.
I teraz pytanie debilne: Czy mogę jakoś "ściągnąć" te paczki wraz z kodem do mnie lokalnie?

Dostałem od klienta jakąś wersję solucji (przesłana na ftp - nie pytajcie...) mam poważne podejrzenia, że podesłał mi nie najaktualniejszą wersję.

Jesli da się dobrać do tych, które są zdeployowane bezpośrednio na sql
Mirki, mam pytanie do specjalistów od architektury hurtowni danych pod PowerBI.
Aktualnie posiadamy w firmie kostki OLAP zasilane pakietami SSIS z ERP do bazy pośredniej (Stage) i następnie po przetworzeniu do hurtowni danych. Kostki OLAP utworzone są w modelu wielowymiarowym, serwer od kostek jest pozostałością po starej wersji Axapta ERP i jest w wersji SQL 2008 Standard, nowszy serwer pod ERP ma wersję SQL 2012 Standard.
Możliwe jest przerobienie wspomnianych kostek na
@admin_admin: A co chcesz osiągnąć? Chcesz po prostu mieć Dashboardy z Power BI na obecnych strukturach danych (kostkach)? Bo wtedy mógłbyś użyć Live Connection do SSAS ale to niestety wymaga by Analysis Services było Enterprise dla 2012, 2014 lub 2016, 2017 Standard, wiec musielibyście podnieść wersje. Ale wtedy każdy w Power BI Desktop mógłby darmowo łączyć się do kostek i tworzyć z nich dashboardy, a z Power BI Pro miałby dane
  • Odpowiedz
@madry_i_mieciutki: opiszę ci jeszcze typy wdrożeń pod Power BI z jakimi miałem do czynienia:

1) to pierwsze, czyli hurtownia i kostka OLAP (wielowymiarowa) stoi na Analysis Services (2012, 2014 Enterprise albo 2016, 2017, 2019 Standard). Wtedy możliwe jest Live Connection. Z Power BI Desktop za darmo a jak ktoś chce mieć apkę na telefonie albo PowerBI.com to musi mieć Pro (per user) by korzystać. Uprawnienia są po stronie serwera OLAP. Da
  • Odpowiedz
Panowie i Panie,
Chciałbym w #ssis postawionym na #sqlserver on-prem wykorzystać sekrety z key vault z #azure.

W key vault chciałbym przechowywać dane do łączenia się do różnych baz danych, FTP itp.

Jak dobrać się do tego z poziomu Sql Server Integration Services zamiast standardowego connection managera czy pliku konfiguracyjnego?

#programowanie
@Koliat:
Dziękuję za podpowiedź.
Nigdy nie korzystałem z AzureAD. Próbowałem się teraz w to wgłębić ale wydaje mi się, że będe mieć problem. Mógłbym Cię prosić o podanie trochę więcej szczegółów odnośnie tego elementu układanki? Jak do tego powinienem podejść?
  • Odpowiedz
@inny_89:
Z grubsza: Azure AD dostarcza tożsamość, uprawnienia i opcjonalnie - uwierzytelnianie użytkowników lub aplikacji.
Użytkownicy i aplikacje mogą mieć nadawane dostępy do różnych zasobów - np. konto aplikacji ("konto serwisowe") może mieć dostęp do KeyVaulta. Nadanie uprawnień aplikacji z KeyVaulta jest proste - po prostu wybierasz apkę z listy i uprawnienia jakie Ci potrzebne.
Azure AD wykorzystuje OAuth w celu uwierzytelniania. Żeby zarejestrować nową aplikację wejdź na https://portal.azure.com/#blade/Microsoft_AAD_IAM/ActiveDirectoryMenuBlade/RegisteredApps

Po zarejestrowaniu
  • Odpowiedz
Chciałbym nauczyć się #tsql ale niestety mam tylko służbowego lapka no i wszędzie mam nalozone blokady. Jest możliwość nauki tego języka online? Może w #azure ? Docelowo chciałbym również nauczyć się #ssrs #ssis #ssas
Ogarniam modele tabelaryczne #dax , ciągle próbuje swoich sił z #r no i chciałbym ogolnie iść w rozwiązania #microsoft wołam @#!$%@? bo siedzisz w temacie ;) #bazydanych #sqlserver #sql
Mirasy, nawiązując do moich wcześniejszych wpisów:

https://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/
https://www.wykop.pl/wpis/22916783/mirasy-jakis-czas-temu-wrzucilem-wpis-odnosnie-swo/

Możecie tutaj zadawać pytania, postaram się odpowiedzieć najlepiej jak potrafię na Wasze pytania :) Odpowiadał będę sukcesywnie na pytania dzisiaj, jutro i pojutrze - mam trochę różnych spraw na głowie ostatnio, więc jednym tchem na wszystko nie odpowiem ;)

#ama #sqlserver #sql #tsql #etl #businessintelligence #bi #bideveloper #microsoft #programowanie #sqldeveloper #it #programista15k #ssis #ssas #ssrs - wybaczcie dużą ilość tagów, ale chciałbym zawołać wszystkich
@kuta_senator: jakie masz wykształcenie? Ja mam posade że na te chwile dostaje dane z hurtowni i robię raporty Excel, VBA. Docelowo uczyć się będę SQL i sam te dane z hurtowni sobie wyciągał. I czy z takiego poziomu bazowego da radę się rozwijać w kierunku takim jak Ty? Do tego prócz SQL chce się uczyć w własnym zakresie PowerBi i R
  • Odpowiedz
Mirasy, jakiś czas temu wrzuciłem wpis odnośnie swojej pracy i zarobków ( http://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/ ), czy bylibyście zainteresowani tym abym opisał z grubsza jak wygląda moja praca, ewentualnie żebyście mogli zadawać pytania (widziałem, że takowe się pojawiły w moim poprzednim poście, natomiast fala pytań na PW była ogromna)? Tematyka przewodnia mojej pracy to oczywiście bazy danych, hurtownie danych, ETL, BI, Big Data i wszystko co funkcjonuje na styku biznesu i baz danych, czyli