✨️ Obserwuj #mirkoanonim
Cześć
#analizadanych #powerbi #etl
Mija mi 6 rok doświadczenia w branży. Pracowałem jako konsultant wdrożeniowy ERP, Administrator systemów dziedzinowych, Team Leader, czy IT PM. Mam chęć powrotu bliżej technologii - lubię pracę z aplikacjami czy bazami danych, gdzie efekt jest namacalny.
Przez te kilka lat przewinęło się kilka tematów, które zgłębiłem: relacyjne bazy danych w postaci: T-SQL, PL/SQL, PostgreSQL, kilka różnych ERPów (XL,SAP,IFS), systemy
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via mirko.proBOT
  • 0
✨️ Autor wpisu (OP): Hej @Sad_poyato dzięki za tak rozbudowaną odpowiedź.
Przyznam zupełnie szczerze, że kiedyś miałem podobną zagadkę w głowie i odpowiedź z wypoku utorowała moje dalsze losy, więc siła takiej wypowiedzi czasami jest potężna ( ͡° ͜ʖ ͡°)
Powiedz proszę jakie masz zdanie na temat ścieżki certyfikacyjnej MS - np. cert PL300?
Koszty są żadne, a wydaje mi się, że może to utorować drogę nauki. Mam fajne zbiory zanonimizowanych danych,
  • Odpowiedz
Czołem Mirki. Ma ktoś może chrapkę na cash za polecenie? Kończy mi się projekt i coś by się zmieniło. Stack to #etl #mssql (w tym jestem od ponad 10 lat) #informatica, czasem #boomi i #talend Ostatnie 3 lata robiłem migracje do #salesforce
Mam #b2b jeśli trzeba elastyczności. Jak coś to #pw Może być dla zagramanicy,
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestration w cloudzie jest takie se i brakuje mu wielu przydatnych usprawnień. Więc po prostu dodał Airflow do niego xD Też fajnie. W sumie po co konkurować z open sourcami, skoro można je zaimplementować i skosić za to kasę od przedsiębiorstw.

https://techcommunity.microsoft.com/t5/azure-data-factory-blog/introducing-managed-airflow-in-azure-data-factory/ba-p/3730151

#apacheairflow #airflow #etl #businessintelligence #azuredatafactory #azure
przecietnyczlowiek - Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestr...

źródło: large

Pobierz
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Cześć,

Czy ktoś z was miał okazję pracować z technologią hadoop w kontekście zadań związanych z tematyką Machine Learning ? jeśli tak to jak wyglądał proces tworzenia modeli, obróbki danych od początku rozpoczęcia ciągu technicznego ?

Jak rozumiem Hadoop to jest jakby to powiedzieć ogromny magazyn na przechowywanie dosłownie różnych danych z różnych systemów dane te mogą być ustrukturyzowane, nieustrukturyzowane itp. wchodzą oni to jak dobrze rozumiem przestrzeni HDFS na surowo, i jak wiemy
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Cześć,

Mam pytanie, znacie może jakieś darmowe oprogramowanie umożliwiające nawiązywanie połączenia na określony numer telefonu (komórka) ?

Mam pewien proces który uruchamia się o 2 w nocy jeśli w tym procesie pojawi się jakikolwiek błąd osoba nadzorująca systemy powinna po otrzymaniu takiej informacji ten problem naprawić. Najlepszym rozwiązaniem byłoby moim zdaniem użycie oprogramowania który po wychwyceniu takiego triggera uruchamia połączenie telefoniczne w tym przypadku do Administratora.

Byłbym
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@printHelloWorld: nie ma takiego oprogramowania bez użycia fizycznego interfejsu GSM, możesz zaprogramować Arduino z modułem GSM i kartą SIM, albo możliwe, że istnieją platformy, które udostępniają dostęp do własnych numerów za opłatą
  • Odpowiedz
#anonimowemirkowyznania
#etl #ssis #sql #bu #hurtowniadanych #dwh
Cześć,
Obecnie w robocie siedzę w BI jako taki analityk biznesowy i klepacz dashboardów ( ͡° ͜ʖ ͡°) Wcześniej pracowałem kilka lat na sql + excel głównie DQL, T-SQL znam w miarę dobrze(cte, windows function itp.). Chciałbym trochę rozszerzyć swoje skillsy o ETL i zacząłem uczyć się SSIS.
Moje pytanie do doświadczonych
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL?


@AnonimoweMirkoWyznania: generalnie tak, zwłaszcza dla baz sqlowych. SSIS jest orchestratorem, ale transformacje i data cleansing wykonuje się po stronie SQL. Chyba, że w grę wchodzą jakieś importy/exporty z data lakeów, api (tu i się skrypty w c# nawet pisze) nosqli.

W Azure Data Factory może być podobnie, aczkolwiek jest też opcja
  • Odpowiedz
OP: @przecietnyczlowiek: dzięki. Oczywiście mówię o bazach sqlowych. Oganianie danych z api, datalakow, big data na razie nawet nie ruszam, z resztą nie mam z tym styczności w robocie i na razie to dla mnie wyższa szkoła jazdy.
W robocie sporo siedzę właśnie z ETL Devem, gdzie mu tłumacze jak dane w finalnym modelu powinny wyglądać, czasami pisze mu gotowy kod w T-SQLu z tej czesci tranformacji, bardziej dla wlasnego
  • Odpowiedz
Ktoś słyszał może o jakiejś pracy na part time w danych? #mssql i #etl here. Mogę przejść sobie na inną bazę ale będzie mi trzeba marginesu że mogę nie znać części ficzerów. Mam #jdg więc niewiele papierologii.

Ewentualnie jakiś open projekt gdzie mógłbym liznąć jakichś współczesnych mechanizmów typu #bigdata czy inne snowflaki
#bazydanych
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Mirki, szukam jakichś materiałów (najlepiej książek) opisujących wzorce projektowe i architektoniczne, dobre praktyki i standardy dla aplikacji przetwarzających dane strumieniowe. Nie chodzi mi o rozwiązania pod konkretny środowisko chmurowe, tylko coś podobnego do Designing data intensive applications Kleppmanna

#programowanie #bazydanych #przetwarzaniedanych #etl
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Ludki z #bazydanych i #etl ewentualnie #bi
Ktoś wie, słyszał może o jakichś potrzebach na jakąś 1/4 etatu? Albo potrzebach na krótko? Bo mam trochę wolnych mocy i #jdg , czyli dość elastycznie z umowami.
Gdyby fajnie się kręciło to byłbym skłonny też przejsć na full z obecngo miejsca.
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@TwujKoshmar: ms stack ma duzy % w rynkach, jest czesto widziany w ofertach pracy i latwo sie go uczy bo mozesz sobie sciagnac sql server developer edition za darmo, power bi desktop masz free. Gorzej z azureowymi rzeczami ktore sie robia popularne typu Azure Data Factory czy Azure Databricks bo wymagana bo trzeba subskrypcji na azure (jest trial na miesiac).
  • Odpowiedz
Może są tutaj jakieś Mirki czy Mirabelki na kontraktach czy innym #b2b dla Zachodu typu EU, UK, US-and-A? Chodzi o obszar data, baz, migracji, integracji etc. Pytam głównie dlatego by złapać orient gdzie takich kontraktów najlepiej szukać. Dostałem raz przypadkiem spam z UK dotyczący pozycji dot. migracji. Stawka 400 funtów/dzień wygląda kusząco. Nie spodziewam się może zaraz tak dużej, ale pewnie byłyby lepsze niż nasze polskie.
#bazydanych #
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Mirki czy opłaca się teraz zaczynać naukę #javascript, a konkretnie backend. Jestem kompletnie zielony w tej kwestii, nie wiem czy to dla mnie. Z informatycznych kwestii znam trochę #sql jedynie. Może jednak warto dalej się uczyć tego sqla, a js sobie odpuścić. Ktoś z branży może powiedzieć, jak obecnie wygląda sytuacja? Co jest lepsze i powiedzmy gdzie po roku nauki łatwiej będzie znaleźć pracę jako junior? #
  • 12
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Tanczacy_z_widlami:

Mirki czy opłaca się teraz zaczynać naukę [...]


Zawsze się opłaca, jeżeli chodzi ci o rozwój samego siebie i nowe możliwości jakie to daje. Jeżeli chodzi ci tylko o pieniądze, to sobie odpuść, bo albo nie będziesz z nich zadowolony (jako entry/junior), albo bardzo szybko się wypalisz (jako
  • Odpowiedz
@lekkonieobecny: @thomekh: @ostrykuc666: mi się ogólnie ssis podoba ale nie wiem jak narzędzie które jest jakieś 15 lat na rynku (m$ chyba je wykupił razem z firmą która je stworzyła) może być tak zbugowane i ciężkie w modyfikacji.
Błędy często nieczytelne. A zmiana w kolumnach lub gdzieś w przepływie wiąże się często z przeklikaniem albo usunięciem całej serii bloczków które idą dalej i wstawianiu ich ponownie
  • Odpowiedz
@obieq: Wszystko jest kwestią jaką koncepcję sobie wymyślisz i jak to wdrożysz. Ja wyszedłem z założenia, że chcę pobierać dane jak najszybciej się da aby jak najszybciej produkcję zostawić w spokoju, nawet kiedy zasilanie odbywa się nocą. U mnie więc wygląda to tak, że z różnych źródeł pobieram tabele, słowniki i wrzucam je od razu do bazy (extract) po mojej stronie (klasyczny truncate + zasilenie, lub jak tabela jest duża
  • Odpowiedz
Mam taki use case:
- wpada sobie plik (CSV)
- na pliku wykonuje X reguł (powiedzmy takie formuły excelowe)
- wynik trafia do bazy/pliku (no to akurat chyba najmniej problemowe)

I problemy:
  • 11
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Klopsztanga: No ja obu nie używałem. Ale sprawdze sobie.

@bacteria O rany. Za późno na tak długi tekst. Poczytam sobie tym wzorcu.

@ostrykuc666 Jeny, jak komuś przyjdzie ogarniać kilkuset megowy plik w excell + 100-200 reguł. Toż to rotacja będzie na poziomie 99% :) Dzięki za wskazówki - poptrze co odpowidenik może i co moge w aws.
  • Odpowiedz
Potrzebuję zrobić #hurtowniedanych w #sqlserver ale jako narzędzie do #etl służy mi #spark, a konkretnie #pyspark

Macie może jakieś dobre materiały albo przykładowe kody, żeby podejrzeć jakieś dobre praktyki?

Jak ogarnąć slow changing dimension? Metadane itp.?
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@inny_89: Z doświadczenia to całe zasilanie powinno się odbywać w dwóch krokach Source - Extract, Extract - Stage. Oczywiście mówię o hurtowni zasilanej raz na dobę nocną porą.

1. Source - Extract - truncate docelowych tabel i zasilenie ze źródła. Tak jest najszybciej. Nawet jak masz tabele do 100 mln rekordów. Z produkcji zasilamy dane tak szybko jak to jest możliwe.

2. Extract - Stage - zasilenie przyrostowe. I tu już można
  • Odpowiedz
Mam kilka mikroserwisów które zrzucają eventy do kafki. Chciałbym z tych eventów wyciagnąc pare statystyk i raportów i zastanawiam się jak to zrobić zgodnie ze sztuką. Mam dwa pomysły:

- kolejny mikroserwis, ktory zczytuje te eventy, na bierząco zlicza statystyki i robi inserty i update do nowej bazy relacyjnej np postgres
- zacząłem troche czytac w tym temacie to natknąłem się na takie rzeczy jak ETL, #businessintelligence a potem Apache Airflow. Co
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via Android
  • 1
@obieq Jest kojarzona że środowiskiem oraclowym ale działa w wielu różnych. Teraz mam np. Salesforce-Infa-MSSQL-Infa-Salesforce
  • Odpowiedz
Bry. Spędziłem 8 lat w #mssql (DDL, DML, optymalizacja) i z początkiem roku udało się dostać na "frycowe" w ETLach. Przejście z UoP na kontrakt B2B. Liznąłem Informatica Cloud, Dell Boomi i Informatica PowerCenter (w końcu). W tym ostatnim miałbym pracować najwięcej.

Na jakie mniej więcej widełki stawek można liczyć po jakimś roku takiej pracy? Na razie jestem na biedackiej, ale to w zamian za wiedzę. Niemniej niedługo trzeba będzie
  • 13
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@ludzik: jak masz 8 lat doświadczenia w sqlu to nie licz sobie 1 roku doświadczenia w etl tylko np. 5. ETLowego toola można się całkiem szybko nauczyć, ale pisanie sensownych procedur by zrobić przepływ to zakładam, że twoja wartość dodana.
  • Odpowiedz