✨️ Obserwuj #mirkoanonim
Cześć
#analizadanych #powerbi #etl
Mija mi 6 rok doświadczenia w branży. Pracowałem jako konsultant wdrożeniowy ERP, Administrator systemów dziedzinowych, Team Leader, czy IT PM. Mam chęć powrotu bliżej technologii - lubię pracę z aplikacjami czy bazami danych, gdzie efekt jest namacalny.
Przez te kilka lat przewinęło się kilka tematów, które zgłębiłem: relacyjne bazy danych w postaci: T-SQL, PL/SQL, PostgreSQL, kilka różnych ERPów (XL,SAP,IFS), systemy dziedzinowe (np. BI, WMS, workflow),
via mirko.proBOT
  • 0
✨️ Autor wpisu (OP): Hej @Sad_poyato dzięki za tak rozbudowaną odpowiedź.
Przyznam zupełnie szczerze, że kiedyś miałem podobną zagadkę w głowie i odpowiedź z wypoku utorowała moje dalsze losy, więc siła takiej wypowiedzi czasami jest potężna ( ͡° ͜ʖ ͡°)
Powiedz proszę jakie masz zdanie na temat ścieżki certyfikacyjnej MS - np. cert PL300?
Koszty są żadne, a wydaje mi się, że może to utorować drogę nauki.
@mirko_anonim: certyfikat na początku może Ci trochę pomoc, zawsze to też + przy rekrutacji, chociaż te certyfikaty są moim zdaniem gówno warte i często skupiają się na bezużytecznej wiedzy która szybko zniknie po zaliczeniu certa - do tego krótki okres ważności sprawia, że kiedy jesteś już w branży to totalnie strata czasu :)
Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestration w cloudzie jest takie se i brakuje mu wielu przydatnych usprawnień. Więc po prostu dodał Airflow do niego xD Też fajnie. W sumie po co konkurować z open sourcami, skoro można je zaimplementować i skosić za to kasę od przedsiębiorstw.

https://techcommunity.microsoft.com/t5/azure-data-factory-blog/introducing-managed-airflow-in-azure-data-factory/ba-p/3730151

#apacheairflow #airflow #etl #businessintelligence #azuredatafactory #azure
przecietnyczlowiek - Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestr...

źródło: large

Pobierz
Cześć,

Czy ktoś z was miał okazję pracować z technologią hadoop w kontekście zadań związanych z tematyką Machine Learning ? jeśli tak to jak wyglądał proces tworzenia modeli, obróbki danych od początku rozpoczęcia ciągu technicznego ?

Jak rozumiem Hadoop to jest jakby to powiedzieć ogromny magazyn na przechowywanie dosłownie różnych danych z różnych systemów dane te mogą być ustrukturyzowane, nieustrukturyzowane itp. wchodzą oni to jak dobrze rozumiem przestrzeni HDFS na surowo, i
Cześć,

Mam pytanie, znacie może jakieś darmowe oprogramowanie umożliwiające nawiązywanie połączenia na określony numer telefonu (komórka) ?

Mam pewien proces który uruchamia się o 2 w nocy jeśli w tym procesie pojawi się jakikolwiek błąd osoba nadzorująca systemy powinna po otrzymaniu takiej informacji ten problem naprawić. Najlepszym rozwiązaniem byłoby moim zdaniem użycie oprogramowania który po wychwyceniu takiego triggera uruchamia połączenie telefoniczne w tym przypadku do Administratora.

Byłbym wdzięczny za podsunięcie nazwy tych
#anonimowemirkowyznania
#etl #ssis #sql #bu #hurtowniadanych #dwh
Cześć,
Obecnie w robocie siedzę w BI jako taki analityk biznesowy i klepacz dashboardów ( ͡° ͜ʖ ͡°) Wcześniej pracowałem kilka lat na sql + excel głównie DQL, T-SQL znam w miarę dobrze(cte, windows function itp.). Chciałbym trochę rozszerzyć swoje skillsy o ETL i zacząłem uczyć się SSIS.
Moje pytanie do doświadczonych DWH/ETL Developerów.
Jak to jest z tym SSIS, w
Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL?


@AnonimoweMirkoWyznania: generalnie tak, zwłaszcza dla baz sqlowych. SSIS jest orchestratorem, ale transformacje i data cleansing wykonuje się po stronie SQL. Chyba, że w grę wchodzą jakieś importy/exporty z data lakeów, api (tu i się skrypty w c# nawet pisze) nosqli.

W Azure Data Factory może być podobnie, aczkolwiek jest też
OP: @przecietnyczlowiek: dzięki. Oczywiście mówię o bazach sqlowych. Oganianie danych z api, datalakow, big data na razie nawet nie ruszam, z resztą nie mam z tym styczności w robocie i na razie to dla mnie wyższa szkoła jazdy.
W robocie sporo siedzę właśnie z ETL Devem, gdzie mu tłumacze jak dane w finalnym modelu powinny wyglądać, czasami pisze mu gotowy kod w T-SQLu z tej czesci tranformacji, bardziej dla wlasnego
Ktoś słyszał może o jakiejś pracy na part time w danych? #mssql i #etl here. Mogę przejść sobie na inną bazę ale będzie mi trzeba marginesu że mogę nie znać części ficzerów. Mam #jdg więc niewiele papierologii.

Ewentualnie jakiś open projekt gdzie mógłbym liznąć jakichś współczesnych mechanizmów typu #bigdata czy inne snowflaki
#bazydanych
Elo Mirki!

Kojarzy ktoś może jak ogarnąć w power automate desktop przerobienie listy na tabele ?

Mam %List%:
1
2
3
4
5
6

i przy wysyłce przez outlook wyświetla się:
1,2,3,4,5,6

a chciałbym aby wyświetlała się tak:
1
2
3
4
5
6

Myślałem, żeby to przerobić na tabelke z 1 kolumną ale niestety nie ma chyba takiej opcji.
Próbowałem również ogarnąć to za pomocą html ale %List% ma zmienną ilość
Ludki z #bazydanych i #etl ewentualnie #bi
Ktoś wie, słyszał może o jakichś potrzebach na jakąś 1/4 etatu? Albo potrzebach na krótko? Bo mam trochę wolnych mocy i #jdg , czyli dość elastycznie z umowami.
Gdyby fajnie się kręciło to byłbym skłonny też przejsć na full z obecngo miejsca.
@TwujKoshmar: ms stack ma duzy % w rynkach, jest czesto widziany w ofertach pracy i latwo sie go uczy bo mozesz sobie sciagnac sql server developer edition za darmo, power bi desktop masz free. Gorzej z azureowymi rzeczami ktore sie robia popularne typu Azure Data Factory czy Azure Databricks bo wymagana bo trzeba subskrypcji na azure (jest trial na miesiac).
Może są tutaj jakieś Mirki czy Mirabelki na kontraktach czy innym #b2b dla Zachodu typu EU, UK, US-and-A? Chodzi o obszar data, baz, migracji, integracji etc. Pytam głównie dlatego by złapać orient gdzie takich kontraktów najlepiej szukać. Dostałem raz przypadkiem spam z UK dotyczący pozycji dot. migracji. Stawka 400 funtów/dzień wygląda kusząco. Nie spodziewam się może zaraz tak dużej, ale pewnie byłyby lepsze niż nasze polskie.
#bazydanych #data #etl
Mirki czy opłaca się teraz zaczynać naukę #javascript, a konkretnie backend. Jestem kompletnie zielony w tej kwestii, nie wiem czy to dla mnie. Z informatycznych kwestii znam trochę #sql jedynie. Może jednak warto dalej się uczyć tego sqla, a js sobie odpuścić. Ktoś z branży może powiedzieć, jak obecnie wygląda sytuacja? Co jest lepsze i powiedzmy gdzie po roku nauki łatwiej będzie znaleźć pracę jako junior? #programowanie #bazydanych #etl #programista15k #
@Tanczacy_z_widlami:

Mirki czy opłaca się teraz zaczynać naukę [...]


Zawsze się opłaca, jeżeli chodzi ci o rozwój samego siebie i nowe możliwości jakie to daje. Jeżeli chodzi ci tylko o pieniądze, to sobie odpuść, bo albo nie będziesz z nich zadowolony (jako entry/junior), albo bardzo szybko się wypalisz (jako junior/mid).

Jestem kompletnie zielony w tej kwestii, nie wiem czy to dla mnie.


Jeżeli nic jeszcze nie potrafisz, to JS jest o
@lekkonieobecny: @thomekh: @ostrykuc666: mi się ogólnie ssis podoba ale nie wiem jak narzędzie które jest jakieś 15 lat na rynku (m$ chyba je wykupił razem z firmą która je stworzyła) może być tak zbugowane i ciężkie w modyfikacji.
Błędy często nieczytelne. A zmiana w kolumnach lub gdzieś w przepływie wiąże się często z przeklikaniem albo usunięciem całej serii bloczków które idą dalej i wstawianiu ich ponownie
@obieq: Wszystko jest kwestią jaką koncepcję sobie wymyślisz i jak to wdrożysz. Ja wyszedłem z założenia, że chcę pobierać dane jak najszybciej się da aby jak najszybciej produkcję zostawić w spokoju, nawet kiedy zasilanie odbywa się nocą. U mnie więc wygląda to tak, że z różnych źródeł pobieram tabele, słowniki i wrzucam je od razu do bazy (extract) po mojej stronie (klasyczny truncate + zasilenie, lub jak tabela jest duża to
Mam taki use case:
- wpada sobie plik (CSV)
- na pliku wykonuje X reguł (powiedzmy takie formuły excelowe)
- wynik trafia do bazy/pliku (no to akurat chyba najmniej problemowe)

I problemy:
- w kazdej chwili proces moze zostac "przerwany"/"zatrzymany" np po wykonaniu 50 reguł i musi byc mozliwosc weryfikacji (jak dane sie zmienily) i ew. wrocenia x krokow wczesniej
- reguly - musi byc mozliwosc odpalenia wlasnych (jakis parser excelowych formul?)
@Klopsztanga: No ja obu nie używałem. Ale sprawdze sobie.

@bacteria O rany. Za późno na tak długi tekst. Poczytam sobie tym wzorcu.

@ostrykuc666 Jeny, jak komuś przyjdzie ogarniać kilkuset megowy plik w excell + 100-200 reguł. Toż to rotacja będzie na poziomie 99% :) Dzięki za wskazówki - poptrze co odpowidenik może i co moge w aws.
@inny_89: Z doświadczenia to całe zasilanie powinno się odbywać w dwóch krokach Source - Extract, Extract - Stage. Oczywiście mówię o hurtowni zasilanej raz na dobę nocną porą.

1. Source - Extract - truncate docelowych tabel i zasilenie ze źródła. Tak jest najszybciej. Nawet jak masz tabele do 100 mln rekordów. Z produkcji zasilamy dane tak szybko jak to jest możliwe.

2. Extract - Stage - zasilenie przyrostowe. I tu już
@inny_89: https://stackoverflow.com/questions/38487667/overwrite-specific-partitions-in-spark-dataframe-write-method

Ustawia się to jedną linijką w configu:

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")
Wybacz też wysoki poziom abstrakcji przy opisywaniu założeń. :)


@inny_89: spoko, generalnie nie zajmuję się hurtowniami jako takimi i nie mam generalnie zbyt dużej wiedzy o pracy z nimi, za to coś tam technicznego ze sparka mogę pomóc ( ͡° ͜ʖ ͡°)
Mam kilka mikroserwisów które zrzucają eventy do kafki. Chciałbym z tych eventów wyciagnąc pare statystyk i raportów i zastanawiam się jak to zrobić zgodnie ze sztuką. Mam dwa pomysły:

- kolejny mikroserwis, ktory zczytuje te eventy, na bierząco zlicza statystyki i robi inserty i update do nowej bazy relacyjnej np postgres
- zacząłem troche czytac w tym temacie to natknąłem się na takie rzeczy jak ETL, #businessintelligence a potem Apache Airflow. Co
Po tym jak przeszedłem z #sql deva na #etl deva wzrosła mi aktywność rekruterów na #linkedin. Do tej pory tak #ostroznie miałem wpisane #dellboomi #boomi oraz #informaticacloud i ciągle odzywały się jakieś #krakow gdzie jest mi całkiem nie po drodze. Dziś dokładam #informaticapowercenter i ciekaw jestem co będzie ;D

BTW, dostałem dziś propozycję pracy jako sql dev w KE w Brukseli. Smutek tylko że płaca na poziomie ich średniej krajowej. Będą
Bry. Spędziłem 8 lat w #mssql (DDL, DML, optymalizacja) i z początkiem roku udało się dostać na "frycowe" w ETLach. Przejście z UoP na kontrakt B2B. Liznąłem Informatica Cloud, Dell Boomi i Informatica PowerCenter (w końcu). W tym ostatnim miałbym pracować najwięcej.

Na jakie mniej więcej widełki stawek można liczyć po jakimś roku takiej pracy? Na razie jestem na biedackiej, ale to w zamian za wiedzę. Niemniej niedługo trzeba będzie pomyśleć o
@ludzik: jak masz 8 lat doświadczenia w sqlu to nie licz sobie 1 roku doświadczenia w etl tylko np. 5. ETLowego toola można się całkiem szybko nauczyć, ale pisanie sensownych procedur by zrobić przepływ to zakładam, że twoja wartość dodana.