Wszystko
Wszystkie
Archiwum
- 0
Czołem Miruny,
Jest tu ktoś ogarniający #csharp? Mam w #ssis script taska otwierającego plik xlsx, po otwarciu plik sie samodzielnie odswieza (power query), nastepnie script task mi go zapisuje (na shared location). Lokalnie wszystko bangla, po deploju i puszczeniu joba plik sie nie odswieza, aczkolwiek widze ze plik xlsx jest zmodyfikowany. Nie ogarniam totalnie c#, ponizszy kod to ulep z roznych zrodel.
Ktoś tam pisał by pomanipulować czasem w System.Threading.Thread.Sleep ale
Jest tu ktoś ogarniający #csharp? Mam w #ssis script taska otwierającego plik xlsx, po otwarciu plik sie samodzielnie odswieza (power query), nastepnie script task mi go zapisuje (na shared location). Lokalnie wszystko bangla, po deploju i puszczeniu joba plik sie nie odswieza, aczkolwiek widze ze plik xlsx jest zmodyfikowany. Nie ogarniam totalnie c#, ponizszy kod to ulep z roznych zrodel.
Ktoś tam pisał by pomanipulować czasem w System.Threading.Thread.Sleep ale
Zrobilem swoj pierwszy projekt w SSIS i strasznie to narzedzie przypadlo mi do gustu. Zrobilem szybki rekonesans i z tego co wyczytalem SSIS jest blisko schylku kariery i wiekszosc migruje w kierunku azure. A jak wy oceniacie przyszlosc SSIS?
#ssis #programista15k #etl #bazydanych #azure
#ssis #programista15k #etl #bazydanych #azure
- 2
@lekkonieobecny: @thomekh: @ostrykuc666: mi się ogólnie ssis podoba ale nie wiem jak narzędzie które jest jakieś 15 lat na rynku (m$ chyba je wykupił razem z firmą która je stworzyła) może być tak zbugowane i ciężkie w modyfikacji.
Błędy często nieczytelne. A zmiana w kolumnach lub gdzieś w przepływie wiąże się często z przeklikaniem albo usunięciem całej serii bloczków które idą dalej i wstawianiu ich ponownie
Błędy często nieczytelne. A zmiana w kolumnach lub gdzieś w przepływie wiąże się często z przeklikaniem albo usunięciem całej serii bloczków które idą dalej i wstawianiu ich ponownie
@obieq: Wszystko jest kwestią jaką koncepcję sobie wymyślisz i jak to wdrożysz. Ja wyszedłem z założenia, że chcę pobierać dane jak najszybciej się da aby jak najszybciej produkcję zostawić w spokoju, nawet kiedy zasilanie odbywa się nocą. U mnie więc wygląda to tak, że z różnych źródeł pobieram tabele, słowniki i wrzucam je od razu do bazy (extract) po mojej stronie (klasyczny truncate + zasilenie, lub jak tabela jest duża to
- 0
Kiedyś już zadałem to pytanie tutaj i zadam raz jeszcze bo może w tej kwestii coś się zmieniło i ktoś wpadł na genialny pomysł.
Czy jest jakiś sposób, żeby bezpośrednio na #linux ogarniać paczki #ssis #ssas od naszego ukochanego #microsoft w sposób porównywalny chociaż do tego co mi gwarantuje Data Tools na #visualstudio na windows?
#programowanie #it
Czy jest jakiś sposób, żeby bezpośrednio na #linux ogarniać paczki #ssis #ssas od naszego ukochanego #microsoft w sposób porównywalny chociaż do tego co mi gwarantuje Data Tools na #visualstudio na windows?
#programowanie #it
- 1
@inny_89: Lepiej pytaj na forum microsoftu, bo tutaj nikt takich rzeczy nie używa, bo i po co
@fervi jest tu całkiem sporo osób co takie rzeczy robi. Przynajmniej jeśli chodzi o SSIS. Mimo obiegowej opinii to połowa firm w Polsce na tym jedzie i ta technologia nie zdechnie jeszcze długo.
Tam też zadań pytanie ale nie zaszkodzi spróbować tutaj.
Trochę nie rozumiem tego stwierdzenia: "po co".
- 0
@inny_89: Niby spoko, ale żeby korzystać z SSIS jak rozumiem - musisz płacić za licencje SQLa, które do takich nie należą i są często limitowane. Pominę fakt, że taki projekt z automatu jest nieprzenośny i realnie nie wiem czy nie przepłacisz znacznie więcej.
Ale przynajmniej się czegoś dowiedziałem z zakresu SQLa
Ale przynajmniej się czegoś dowiedziałem z zakresu SQLa
gdzie w paczce #ssis mogą występować nazwy tabeli oprócz bloków SQL?
mam mnóstwo paczek, dump bazy danych i trzeba sprawdzić jakich tabel nie ma w dumpie
napisałem skrypt który wypisuje linie które zawiera "SqlStatementSource", a nie zawiera nazwy tabeli która jest w dumpie i nawet parę tabel znalazło, pewnie jeszcze w variables można podać tabelę, ale na 100% będą jeszcze jakieś inne miejsca
odpaliłem kilka paczek w edytorze to takich miejsc nie
mam mnóstwo paczek, dump bazy danych i trzeba sprawdzić jakich tabel nie ma w dumpie
napisałem skrypt który wypisuje linie które zawiera "SqlStatementSource", a nie zawiera nazwy tabeli która jest w dumpie i nawet parę tabel znalazło, pewnie jeszcze w variables można podać tabelę, ale na 100% będą jeszcze jakieś inne miejsca
odpaliłem kilka paczek w edytorze to takich miejsc nie
- 0
@Enzo_Molinari: Poszukaj w XMLu, tak będzie najprościej.
- 0
odpaliłem kilka paczek w edytorze to takich miejsc nie znalazłem, ale każdej nie będę tak przeglądał
@Kiv: done
- 1
@inny_89: podejrzewam że w związku z tym że Microsoft wszystko przenosi do chmury to za małe jest na to zapotrzebowanie aby chciało im się to implementować. Plus tego softu jest taki że wspiera całą masę baz i ma wbudowane mechanizmy do cache nazw tabel i kolumn więc całkiem wygodnie się pisze query :)
- 0
@PortowySzczur wiem, kiedyś się tym bawiłem. Całkiem fajne narzędzie ale niestety połowa firm, z którymi przyszło mi współpracować ma postawione zawsze jakieś ssis albo analysis serv i tam olapy.
Dlatego potrzebowałbym czegoś co to ogarnia i nie kraty Visual Studio czy też ssdt.
Dlatego potrzebowałbym czegoś co to ogarnia i nie kraty Visual Studio czy też ssdt.
- 1
#ssis #sqlserver #programowanie #microsoft #visualstudio
Mam projekt SSIS. Czy jest opcja, żeby skonfigurowac sobie Remote Debugging ale dla projektów SSIS w Visual Studio 2019?
Mam projekt SSIS. Czy jest opcja, żeby skonfigurowac sobie Remote Debugging ale dla projektów SSIS w Visual Studio 2019?
Prośba o wskazówki z #ssis #ssas #powerbi #bazydanych #etl Jeżeli masz wiedzę, żeby mi pomóc to odezwij się na pw, wówczas rozliczymy się $. Mile widziane wskazówki tutaj Aktualnie w pracy tworzę raporty i do tego celu mam kilka kostek analitycznych. Niestety przybywa coraz więcej raportów w których nie ma danych w kostce, wówczas muszę robić import z bazy danych plus dodatkowo z exceli i ręcznie odświeżać takie raporty co na dłuższą
@harris108: jak chcesz robic grouping na modelu, to w SSAS raczej tylko multidiemnsional opcja, w tabularze tego nie ma
-kolumny kalkulowane - calculated column xD
-odświeżać model możesz bezspośrednio w visual studio (deploy) albo przez ssms, w azure tez na pewno jest taka opcja jak masz tam środowisko postawiony
-projekt możesz trzymać lokalnie albo wrzcucic na devops w azure, wtedy masz cala te ścieżke fetch/pull/push itd tworzenie branchy itd
-kolumny kalkulowane - calculated column xD
-odświeżać model możesz bezspośrednio w visual studio (deploy) albo przez ssms, w azure tez na pewno jest taka opcja jak masz tam środowisko postawiony
-projekt możesz trzymać lokalnie albo wrzcucic na devops w azure, wtedy masz cala te ścieżke fetch/pull/push itd tworzenie branchy itd
- 0
@PanPietruszka @harris108:
- nie może sobie zgrupować danych przed zaciągnięciem do modelu w widoku na bazie?
- ssas z resztą jest wydajniejszy przy takich tabelach, bo w raporcie np dokona agregacji na poziomie w raporcie/filtrach. Troche to na opak napisałam....
- odświeżać model możesz np. w jobie. Ustawić jakiś schedule i np codziennie będzie ci się procesował model.
- raport będzie i tak w liveconnection więc odświeży się automatycznie
- możesz
- nie może sobie zgrupować danych przed zaciągnięciem do modelu w widoku na bazie?
- ssas z resztą jest wydajniejszy przy takich tabelach, bo w raporcie np dokona agregacji na poziomie w raporcie/filtrach. Troche to na opak napisałam....
- odświeżać model możesz np. w jobie. Ustawić jakiś schedule i np codziennie będzie ci się procesował model.
- raport będzie i tak w liveconnection więc odświeży się automatycznie
- możesz
Siemanko.
Ruszyła rejestracja na SQL day jeśli ktoś ma chęć się wybrać. https://sqlday.pl/
Pierwsze 300 wejściówek jest w niższej cenie.
#sql #bazydanych #mssql #powerbi #ssas #ssis
Ruszyła rejestracja na SQL day jeśli ktoś ma chęć się wybrać. https://sqlday.pl/
Pierwsze 300 wejściówek jest w niższej cenie.
#sql #bazydanych #mssql #powerbi #ssas #ssis
Mirki gdzie robić kostki analityczne mając dostępne takie technologie jak #azure #ssis #ssas ? #businessintelligence
- 0
#sqlserver #ssis #sqlserverintegrationservices #programowanie
Panowie,
Na sql server 2016 mam wrzucone paczki ssis. Mam dostęp do tych paczek z poziomu integration services cataloge.
I teraz pytanie debilne: Czy mogę jakoś "ściągnąć" te paczki wraz z kodem do mnie lokalnie?
Dostałem od klienta jakąś wersję solucji (przesłana na ftp - nie pytajcie...) mam poważne podejrzenia, że podesłał mi nie najaktualniejszą wersję.
Jesli da się dobrać do tych, które są zdeployowane bezpośrednio na sql
Panowie,
Na sql server 2016 mam wrzucone paczki ssis. Mam dostęp do tych paczek z poziomu integration services cataloge.
I teraz pytanie debilne: Czy mogę jakoś "ściągnąć" te paczki wraz z kodem do mnie lokalnie?
Dostałem od klienta jakąś wersję solucji (przesłana na ftp - nie pytajcie...) mam poważne podejrzenia, że podesłał mi nie najaktualniejszą wersję.
Jesli da się dobrać do tych, które są zdeployowane bezpośrednio na sql
Jak w #ssis napisać script task w c# , żeby skopiować plik z sftp do innego folderu na tym sftp. Umiem tylko ściągać z FTP i wrzucać na FTP pliki...
Ni #!$%@? się nie znam jak coś
#informatyka #sql #csharp #programowanie
Ni #!$%@? się nie znam jak coś
#informatyka #sql #csharp #programowanie
- 0
@piepies: najśmieszniejsze jest to, że mogę przenieść plik za pomocą rename a skopiować już nie umiem ;d
Mirki, mam pytanie do specjalistów od architektury hurtowni danych pod PowerBI.
Aktualnie posiadamy w firmie kostki OLAP zasilane pakietami SSIS z ERP do bazy pośredniej (Stage) i następnie po przetworzeniu do hurtowni danych. Kostki OLAP utworzone są w modelu wielowymiarowym, serwer od kostek jest pozostałością po starej wersji Axapta ERP i jest w wersji SQL 2008 Standard, nowszy serwer pod ERP ma wersję SQL 2012 Standard.
Możliwe jest przerobienie wspomnianych kostek na
Aktualnie posiadamy w firmie kostki OLAP zasilane pakietami SSIS z ERP do bazy pośredniej (Stage) i następnie po przetworzeniu do hurtowni danych. Kostki OLAP utworzone są w modelu wielowymiarowym, serwer od kostek jest pozostałością po starej wersji Axapta ERP i jest w wersji SQL 2008 Standard, nowszy serwer pod ERP ma wersję SQL 2012 Standard.
Możliwe jest przerobienie wspomnianych kostek na
@admin_admin: A co chcesz osiągnąć? Chcesz po prostu mieć Dashboardy z Power BI na obecnych strukturach danych (kostkach)? Bo wtedy mógłbyś użyć Live Connection do SSAS ale to niestety wymaga by Analysis Services było Enterprise dla 2012, 2014 lub 2016, 2017 Standard, wiec musielibyście podnieść wersje. Ale wtedy każdy w Power BI Desktop mógłby darmowo łączyć się do kostek i tworzyć z nich dashboardy, a z Power BI Pro miałby dane
@madry_i_mieciutki: opiszę ci jeszcze typy wdrożeń pod Power BI z jakimi miałem do czynienia:
1) to pierwsze, czyli hurtownia i kostka OLAP (wielowymiarowa) stoi na Analysis Services (2012, 2014 Enterprise albo 2016, 2017, 2019 Standard). Wtedy możliwe jest Live Connection. Z Power BI Desktop za darmo a jak ktoś chce mieć apkę na telefonie albo PowerBI.com to musi mieć Pro (per user) by korzystać. Uprawnienia są po stronie serwera OLAP. Da
1) to pierwsze, czyli hurtownia i kostka OLAP (wielowymiarowa) stoi na Analysis Services (2012, 2014 Enterprise albo 2016, 2017, 2019 Standard). Wtedy możliwe jest Live Connection. Z Power BI Desktop za darmo a jak ktoś chce mieć apkę na telefonie albo PowerBI.com to musi mieć Pro (per user) by korzystać. Uprawnienia są po stronie serwera OLAP. Da
- 0
Panowie i Panie,
Chciałbym w #ssis postawionym na #sqlserver on-prem wykorzystać sekrety z key vault z #azure.
W key vault chciałbym przechowywać dane do łączenia się do różnych baz danych, FTP itp.
Jak dobrać się do tego z poziomu Sql Server Integration Services zamiast standardowego connection managera czy pliku konfiguracyjnego?
#programowanie
Chciałbym w #ssis postawionym na #sqlserver on-prem wykorzystać sekrety z key vault z #azure.
W key vault chciałbym przechowywać dane do łączenia się do różnych baz danych, FTP itp.
Jak dobrać się do tego z poziomu Sql Server Integration Services zamiast standardowego connection managera czy pliku konfiguracyjnego?
#programowanie
- 0
@Koliat:
Dziękuję za podpowiedź.
Nigdy nie korzystałem z AzureAD. Próbowałem się teraz w to wgłębić ale wydaje mi się, że będe mieć problem. Mógłbym Cię prosić o podanie trochę więcej szczegółów odnośnie tego elementu układanki? Jak do tego powinienem podejść?
Dziękuję za podpowiedź.
Nigdy nie korzystałem z AzureAD. Próbowałem się teraz w to wgłębić ale wydaje mi się, że będe mieć problem. Mógłbym Cię prosić o podanie trochę więcej szczegółów odnośnie tego elementu układanki? Jak do tego powinienem podejść?
- 1
@inny_89:
Z grubsza: Azure AD dostarcza tożsamość, uprawnienia i opcjonalnie - uwierzytelnianie użytkowników lub aplikacji.
Użytkownicy i aplikacje mogą mieć nadawane dostępy do różnych zasobów - np. konto aplikacji ("konto serwisowe") może mieć dostęp do KeyVaulta. Nadanie uprawnień aplikacji z KeyVaulta jest proste - po prostu wybierasz apkę z listy i uprawnienia jakie Ci potrzebne.
Azure AD wykorzystuje OAuth w celu uwierzytelniania. Żeby zarejestrować nową aplikację wejdź na https://portal.azure.com/#blade/Microsoft_AAD_IAM/ActiveDirectoryMenuBlade/RegisteredApps
Po zarejestrowaniu
Z grubsza: Azure AD dostarcza tożsamość, uprawnienia i opcjonalnie - uwierzytelnianie użytkowników lub aplikacji.
Użytkownicy i aplikacje mogą mieć nadawane dostępy do różnych zasobów - np. konto aplikacji ("konto serwisowe") może mieć dostęp do KeyVaulta. Nadanie uprawnień aplikacji z KeyVaulta jest proste - po prostu wybierasz apkę z listy i uprawnienia jakie Ci potrzebne.
Azure AD wykorzystuje OAuth w celu uwierzytelniania. Żeby zarejestrować nową aplikację wejdź na https://portal.azure.com/#blade/Microsoft_AAD_IAM/ActiveDirectoryMenuBlade/RegisteredApps
Po zarejestrowaniu
Chciałbym nauczyć się #tsql ale niestety mam tylko służbowego lapka no i wszędzie mam nalozone blokady. Jest możliwość nauki tego języka online? Może w #azure ? Docelowo chciałbym również nauczyć się #ssrs #ssis #ssas
Ogarniam modele tabelaryczne #dax , ciągle próbuje swoich sił z #r no i chciałbym ogolnie iść w rozwiązania #microsoft wołam @#!$%@? bo siedzisz w temacie ;) #bazydanych #sqlserver #sql
Ogarniam modele tabelaryczne #dax , ciągle próbuje swoich sił z #r no i chciałbym ogolnie iść w rozwiązania #microsoft wołam @#!$%@? bo siedzisz w temacie ;) #bazydanych #sqlserver #sql
Mirasy, nawiązując do moich wcześniejszych wpisów:
https://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/
https://www.wykop.pl/wpis/22916783/mirasy-jakis-czas-temu-wrzucilem-wpis-odnosnie-swo/
Możecie tutaj zadawać pytania, postaram się odpowiedzieć najlepiej jak potrafię na Wasze pytania :) Odpowiadał będę sukcesywnie na pytania dzisiaj, jutro i pojutrze - mam trochę różnych spraw na głowie ostatnio, więc jednym tchem na wszystko nie odpowiem ;)
#ama #sqlserver #sql #tsql #etl #businessintelligence #bi #bideveloper #microsoft #programowanie #sqldeveloper #it #programista15k #ssis #ssas #ssrs - wybaczcie dużą ilość tagów, ale chciałbym zawołać wszystkich
https://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/
https://www.wykop.pl/wpis/22916783/mirasy-jakis-czas-temu-wrzucilem-wpis-odnosnie-swo/
Możecie tutaj zadawać pytania, postaram się odpowiedzieć najlepiej jak potrafię na Wasze pytania :) Odpowiadał będę sukcesywnie na pytania dzisiaj, jutro i pojutrze - mam trochę różnych spraw na głowie ostatnio, więc jednym tchem na wszystko nie odpowiem ;)
#ama #sqlserver #sql #tsql #etl #businessintelligence #bi #bideveloper #microsoft #programowanie #sqldeveloper #it #programista15k #ssis #ssas #ssrs - wybaczcie dużą ilość tagów, ale chciałbym zawołać wszystkich
- 2
@kuta_senator: jakie masz wykształcenie? Ja mam posade że na te chwile dostaje dane z hurtowni i robię raporty Excel, VBA. Docelowo uczyć się będę SQL i sam te dane z hurtowni sobie wyciągał. I czy z takiego poziomu bazowego da radę się rozwijać w kierunku takim jak Ty? Do tego prócz SQL chce się uczyć w własnym zakresie PowerBi i R
@kuta_senator: mam bardzo ważne pytanie, jaką furę wybrałeś :D
A tak bardziej serio, to od marca też jadę na B2B, bardzo dobry wybór Mireczku :)
A tak bardziej serio, to od marca też jadę na B2B, bardzo dobry wybór Mireczku :)
Możecie podpowiedzieć jak powinna wyglądać ścieżka certyfikacji dla business intelligence developer w środowisku Microsoft? Powoli się przekwalifikuję z zupełnie innej branży, ale wszystko robię na własną rękę i chciałbym porządkować wiedzę.
#bideveloper #bi #businessintelligence #microsoft #sqlserver #etl #ssis #ssas #ssrs
Pozwolę sobie zawołać @kuta_senator, bo chwalił się takim stanowiskiem.
#bideveloper #bi #businessintelligence #microsoft #sqlserver #etl #ssis #ssas #ssrs
Pozwolę sobie zawołać @kuta_senator, bo chwalił się takim stanowiskiem.
@ShortyLookMean: jak ja robiłem certyfikacje to była trochę inna ścieżka, ale obecnie wygląda to tak:
https://www.microsoft.com/en-us/learning/mcsa-sql-certification.aspx (to jest taki od jakiego ja zaczynałem czyli 461, 462 i 463)
natomiast uzupełnieniem tego jest to:
https://www.microsoft.com/en-us/learning/mcse-data-management-analytics.aspx (od 464 w górę)
https://www.microsoft.com/en-us/learning/mcsa-sql-certification.aspx (to jest taki od jakiego ja zaczynałem czyli 461, 462 i 463)
natomiast uzupełnieniem tego jest to:
https://www.microsoft.com/en-us/learning/mcse-data-management-analytics.aspx (od 464 w górę)
konto usunięte via iOS
- 1
@harris108: 464 i w górę nie zrobisz nie mając 461-463
Mirasy, jakiś czas temu wrzuciłem wpis odnośnie swojej pracy i zarobków ( http://www.wykop.pl/wpis/22437263/mirasy-postanowilem-przejsc-na-b2b-i-zrezygnowac-z/ ), czy bylibyście zainteresowani tym abym opisał z grubsza jak wygląda moja praca, ewentualnie żebyście mogli zadawać pytania (widziałem, że takowe się pojawiły w moim poprzednim poście, natomiast fala pytań na PW była ogromna)? Tematyka przewodnia mojej pracy to oczywiście bazy danych, hurtownie danych, ETL, BI, Big Data i wszystko co funkcjonuje na styku biznesu i baz danych, czyli
#etl #ssis #sql #bu #hurtowniadanych #dwh
Cześć,
Obecnie w robocie siedzę w BI jako taki analityk biznesowy i klepacz dashboardów ( ͡° ͜ʖ ͡°) Wcześniej pracowałem kilka lat na sql + excel głównie DQL, T-SQL znam w miarę dobrze(cte, windows function itp.). Chciałbym trochę rozszerzyć swoje skillsy o ETL i zacząłem uczyć się SSIS.
Moje pytanie do doświadczonych DWH/ETL Developerów.
Jak to jest z tym SSIS, w
@AnonimoweMirkoWyznania: generalnie tak, zwłaszcza dla baz sqlowych. SSIS jest orchestratorem, ale transformacje i data cleansing wykonuje się po stronie SQL. Chyba, że w grę wchodzą jakieś importy/exporty z data lakeów, api (tu i się skrypty w c# nawet pisze) nosqli.
W Azure Data Factory może być podobnie, aczkolwiek jest też
W robocie sporo siedzę właśnie z ETL Devem, gdzie mu tłumacze jak dane w finalnym modelu powinny wyglądać, czasami pisze mu gotowy kod w T-SQLu z tej czesci tranformacji, bardziej dla wlasnego