AnonimoweMirkoWyznania
#anonimowemirkowyznania
#etl #ssis #sql #bu #hurtowniadanych #dwh
Cześć,
Obecnie w robocie siedzę w BI jako taki analityk biznesowy i klepacz dashboardów ( ͡° ͜ʖ ͡°) Wcześniej pracowałem kilka lat na sql + excel głównie DQL, T-SQL znam w miarę dobrze(cte, windows function itp.). Chciałbym trochę rozszerzyć swoje skillsy o ETL i zacząłem uczyć się SSIS.
Moje pytanie do doświadczonych
1
  • Najlepsze
  • Wszystkie komentarze
przecietnyczlowiek
przecietnyczlowiek
Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL?


@AnonimoweMirkoWyznania: generalnie tak, zwłaszcza dla baz sqlowych. SSIS jest orchestratorem, ale transformacje i data cleansing wykonuje się po stronie SQL. Chyba, że w grę wchodzą jakieś importy/exporty z data lakeów, api (tu i się skrypty w c# nawet pisze) nosqli.

W Azure Data Factory może być podobnie, aczkolwiek jest też opcja
0
AnonimoweMirkoWyznania
OP: @przecietnyczlowiek: dzięki. Oczywiście mówię o bazach sqlowych. Oganianie danych z api, datalakow, big data na razie nawet nie ruszam, z resztą nie mam z tym styczności w robocie i na razie to dla mnie wyższa szkoła jazdy.
W robocie sporo siedzę właśnie z ETL Devem, gdzie mu tłumacze jak dane w finalnym modelu powinny wyglądać, czasami pisze mu gotowy kod w T-SQLu z tej czesci tranformacji, bardziej dla wlasnego
0
T.....r
#etl #tableau #microsoft #ssis #sql #datascience
Tableau, MS stack czy coś innego? Co polecacie dla osoby która chcę znaleźć pierwszą pracę z BI/DWH.
0
  • Najlepsze
  • Wszystkie komentarze
o.....6
o.....6
@TwujKoshmar: ms stack ma duzy % w rynkach, jest czesto widziany w ofertach pracy i latwo sie go uczy bo mozesz sobie sciagnac sql server developer edition za darmo, power bi desktop masz free. Gorzej z azureowymi rzeczami ktore sie robia popularne typu Azure Data Factory czy Azure Databricks bo wymagana bo trzeba subskrypcji na azure (jest trial na miesiac).
1
bbsxbsbbsxbsbbsxbs
@TwujKoshmar: to zainteresuj się tematem data lakes na aws/azure. I google i amazon mają sporo materiałów od podstaw wyjaśniających całą ścieżkę. Narzędzia do wizualizacji raczej będą ci niepotrzebne.
1
biszcz
Czołem Miruny,

Jest tu ktoś ogarniający #csharp? Mam w #ssis script taska otwierającego plik xlsx, po otwarciu plik sie samodzielnie odswieza (power query), nastepnie script task mi go zapisuje (na shared location). Lokalnie wszystko bangla, po deploju i puszczeniu joba plik sie nie odswieza, aczkolwiek widze ze plik xlsx jest zmodyfikowany. Nie ogarniam totalnie c#, ponizszy kod to ulep z roznych zrodel.
Ktoś tam pisał by pomanipulować czasem w
0
  • Najlepsze
  • Wszystkie komentarze
Hektorrr
@biszcz: Matko Przenajświętsza...

Ten kod jest okropny na tak wielu płaszczyznach...
Ale skupiając się tylko na problemie, jaki jest cel czekania tutaj 100 sekund przed zapisem
0
biszcz
Ale skupiając się tylko na problemie, jaki jest cel czekania tutaj 100 sekund przed zapisem pliku?


@Hektorrr: czas na odświeżenie pliku

Z takich malutkich rzeczy, byłoby dużo czytelniej gdybyś nazwy zmiennych lokalnych takich jak: NullValue, Workbook zaczynał z małej litery. Tak samo jak nazwę argumentu funkcji ExcelRefresh -
0
l.....y
l.....y
Zrobilem swoj pierwszy projekt w SSIS i strasznie to narzedzie przypadlo mi do gustu. Zrobilem szybki rekonesans i z tego co wyczytalem SSIS jest blisko schylku kariery i wiekszosc migruje w kierunku azure. A jak wy oceniacie przyszlosc SSIS?
#ssis #programista15k #etl #bazydanych #azure
0
  • Najlepsze
  • Wszystkie komentarze
t.....h
t.....h
@lekkonieobecny: Zawodowo, to pewnie i ze 20 lat pociągnie. Mimo, że technologia idzie do przodu to nie oznacza, że firmy tak ochoczo się na nią rzucają. W wielu firmach dalej są windowsy xp, programy napisane w cobolu, bazy access itd.
2
o.....6
o.....6
@thomekh: to prawda, ale należy pamiętać że w przypadku ssis projekty typu hurtownie danych nie są na tyle wielkie, by latami siedzieć na legacy systemach. Tym bardziej, że ssis dość łatwo migruje się do azure.

@lekkonieobecny: azure data factory jest dość podobne do ssis więc i tak łatwiej ci będzie się przerzucić. Generalnie wiele etl tooli jest do siebie podobnych. Niemniej kluczowe w tego typu rzeczach nie jest
2
inny_89
Kiedyś już zadałem to pytanie tutaj i zadam raz jeszcze bo może w tej kwestii coś się zmieniło i ktoś wpadł na genialny pomysł.
Czy jest jakiś sposób, żeby bezpośrednio na #linux ogarniać paczki #ssis #ssas od naszego ukochanego #microsoft w sposób porównywalny chociaż do tego co mi gwarantuje Data Tools na #visualstudio na windows?

#programowanie #it
0
  • Najlepsze
  • Wszystkie komentarze
inny_89
@inny_89: Lepiej pytaj na forum microsoftu, bo tutaj nikt takich rzeczy nie używa, bo i po co

@fervi jest tu całkiem sporo osób co takie rzeczy robi. Przynajmniej jeśli chodzi o SSIS. Mimo obiegowej opinii to połowa firm w Polsce na tym jedzie i ta technologia nie zdechnie jeszcze długo.
Tam też zadań pytanie ale nie zaszkodzi spróbować tutaj.

Trochę nie rozumiem tego stwierdzenia: "po co".
1
Enzo_Molinari
gdzie w paczce #ssis mogą występować nazwy tabeli oprócz bloków SQL?
mam mnóstwo paczek, dump bazy danych i trzeba sprawdzić jakich tabel nie ma w dumpie
napisałem skrypt który wypisuje linie które zawiera "SqlStatementSource", a nie zawiera nazwy tabeli która jest w dumpie i nawet parę tabel znalazło, pewnie jeszcze w variables można podać tabelę, ale na 100% będą jeszcze jakieś inne miejsca
odpaliłem kilka paczek w edytorze to takich
0
  • Najlepsze
  • Wszystkie komentarze
inny_89
Gdyby SSIS i Analysis services dało radę ogarniać z poziomu #vscode to miałbym dosłownie 0 (słownie: zero) powodów by mieć zainstalowanego Windowsa na lapku.

#linux #ssis
1
  • Najlepsze
  • Wszystkie komentarze
inny_89
#ssis #sqlserver #programowanie #microsoft #visualstudio

Mam projekt SSIS. Czy jest opcja, żeby skonfigurowac sobie Remote Debugging ale dla projektów SSIS w Visual Studio 2019?
1
harris108
Prośba o wskazówki z #ssis #ssas #powerbi #bazydanych #etl Jeżeli masz wiedzę, żeby mi pomóc to odezwij się na pw, wówczas rozliczymy się $. Mile widziane wskazówki tutaj Aktualnie w pracy tworzę raporty i do tego celu mam kilka kostek analitycznych. Niestety przybywa coraz więcej raportów w których nie ma danych w kostce, wówczas muszę robić import z bazy danych plus dodatkowo
0
  • Najlepsze
  • Wszystkie komentarze
szymciak
szymciak
Siemanko.
Ruszyła rejestracja na SQL day jeśli ktoś ma chęć się wybrać. https://sqlday.pl/
Pierwsze 300 wejściówek jest w niższej cenie.
#sql #bazydanych #mssql #powerbi #ssas #ssis
1
  • Najlepsze
  • Wszystkie komentarze
harris108
Mirki gdzie robić kostki analityczne mając dostępne takie technologie jak #azure #ssis #ssas ? #businessintelligence
0
  • Najlepsze
  • Wszystkie komentarze
inny_89
#sqlserver #ssis #sqlserverintegrationservices #programowanie
Panowie,
Na sql server 2016 mam wrzucone paczki ssis. Mam dostęp do tych paczek z poziomu integration services cataloge.
I teraz pytanie debilne: Czy mogę jakoś "ściągnąć" te paczki wraz z kodem do mnie lokalnie?

Dostałem od klienta jakąś wersję solucji (przesłana na ftp - nie pytajcie...) mam poważne podejrzenia, że podesłał mi nie najaktualniejszą wersję.
0
  • Najlepsze
  • Wszystkie komentarze
spiotrek
Treść przeznaczona dla osób powyżej 18 roku życia...
2
  • Najlepsze
  • Wszystkie komentarze
admin_admin
admin_admin
Mirki, mam pytanie do specjalistów od architektury hurtowni danych pod PowerBI.
Aktualnie posiadamy w firmie kostki OLAP zasilane pakietami SSIS z ERP do bazy pośredniej (Stage) i następnie po przetworzeniu do hurtowni danych. Kostki OLAP utworzone są w modelu wielowymiarowym, serwer od kostek jest pozostałością po starej wersji Axapta ERP i jest w wersji SQL 2008 Standard, nowszy serwer pod ERP ma wersję SQL 2012 Standard.
Możliwe jest przerobienie wspomnianych kostek na
3
  • Najlepsze
  • Wszystkie komentarze
inny_89
Panowie i Panie,
Chciałbym w #ssis postawionym na #sqlserver on-prem wykorzystać sekrety z key vault z #azure.

W key vault chciałbym przechowywać dane do łączenia się do różnych baz danych, FTP itp.

Jak dobrać się do tego z poziomu Sql Server Integration Services zamiast standardowego connection managera czy pliku
0
  • Najlepsze
  • Wszystkie komentarze
harris108
Szukam osoby która zna #ssis , #ssas , #dax
1
  • Najlepsze
  • Wszystkie komentarze
harris108
Chciałbym nauczyć się #tsql ale niestety mam tylko służbowego lapka no i wszędzie mam nalozone blokady. Jest możliwość nauki tego języka online? Może w #azure ? Docelowo chciałbym również nauczyć się #ssrs #ssis #ssas
Ogarniam modele tabelaryczne #dax , ciągle próbuje swoich sił z #r no i chciałbym ogolnie iść w rozwiązania #microsoft wołam @kutasenator bo siedzisz
2
  • Najlepsze
  • Wszystkie komentarze
k.....r
k.....r
Mirasy, nawiązując do moich wcześniejszych wpisów:

https://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/
https://www.wykop.pl/wpis/22916783/mirasy-jakis-czas-temu-wrzucilem-wpis-odnosnie-swo/

Możecie tutaj zadawać pytania, postaram się odpowiedzieć najlepiej jak potrafię na Wasze pytania :) Odpowiadał będę sukcesywnie na pytania dzisiaj, jutro i pojutrze - mam trochę różnych spraw na głowie ostatnio, więc jednym tchem na wszystko nie odpowiem ;)
8
  • Najlepsze
  • Wszystkie komentarze
ShortyLookMean
Możecie podpowiedzieć jak powinna wyglądać ścieżka certyfikacji dla business intelligence developer w środowisku Microsoft? Powoli się przekwalifikuję z zupełnie innej branży, ale wszystko robię na własną rękę i chciałbym porządkować wiedzę.
#bideveloper #bi #businessintelligence #microsoft #sqlserver #etl #ssis #ssas #ssrs
Pozwolę sobie zawołać @kuta_senator, bo chwalił się takim stanowiskiem.
2
  • Najlepsze
  • Wszystkie komentarze
k.....r
k.....r
Mirasy, jakiś czas temu wrzuciłem wpis odnośnie swojej pracy i zarobków ( http://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/ ), czy bylibyście zainteresowani tym abym opisał z grubsza jak wygląda moja praca, ewentualnie żebyście mogli zadawać pytania (widziałem, że takowe się pojawiły w moim poprzednim poście, natomiast fala pytań na PW była ogromna)? Tematyka przewodnia mojej pracy to oczywiście bazy danych, hurtownie danych, ETL, BI, Big Data i wszystko co funkcjonuje na styku biznesu i baz danych, czyli
25
  • Najlepsze
  • Wszystkie komentarze