Wszystko

Wszystkie

Archiwum

mirko_anonim
mirko_anonim
  • 0
✨️ Obserwuj #mirkoanonim
Cześć
#analizadanych #powerbi #etl
Mija mi 6 rok doświadczenia w branży. Pracowałem jako konsultant wdrożeniowy ERP, Administrator systemów dziedzinowych, Team Leader, czy IT PM. Mam chęć powrotu bliżej technologii - lubię pracę z aplikacjami czy bazami danych, gdzie efekt jest namacalny.
Przez te kilka lat przewinęło się kilka tematów, które zgłębiłem: relacyjne bazy danych w postaci: T-SQL, PL/SQL, PostgreSQL, kilka różnych ERPów (XL,SAP,IFS), systemy dziedzinowe (np. BI, WMS, workflow), rozwiązania low/no-code.
Znam rozwiązania dookoła - pakiet M365, rozwiązania Atlassiana, interfejs REST api, środowisko IIS. Posiadam podstawową wiedzę z zakresu programowania BE/FE - radzę sobie z interpretacją kodu co jest dużym ułatwieniem w pracy z programistami. Potrafię pracować w różnych metodykach, mam również certyfikaty zarówno typowo waterfallowe oraz agilowe.
mirko_anonim
mirko_anonim
mirko_anonim
via mirko.proBOT
  • 0
✨️ Autor wpisu (OP): Hej @Sad_poyato dzięki za tak rozbudowaną odpowiedź.
Przyznam zupełnie szczerze, że kiedyś miałem podobną zagadkę w głowie i odpowiedź z wypoku utorowała moje dalsze losy, więc siła takiej wypowiedzi czasami jest potężna ( ͡° ͜ʖ ͡°)
Powiedz proszę jakie masz zdanie na temat ścieżki certyfikacyjnej MS - np. cert PL300?
Koszty są żadne, a wydaje mi się, że może to utorować drogę nauki. Mam fajne zbiory zanonimizowanych danych, które mogą posłużyć do budowy sensownych raportów, których
  • Odpowiedz
Sad_poyato
Sad_poyato
  • 0
@mirko_anonim: certyfikat na początku może Ci trochę pomoc, zawsze to też + przy rekrutacji, chociaż te certyfikaty są moim zdaniem gówno warte i często skupiają się na bezużytecznej wiedzy która szybko zniknie po zaliczeniu certa - do tego krótki okres ważności sprawia, że kiedy jesteś już w branży to totalnie strata czasu :)
  • Odpowiedz
ludzik
ludzik
  • 1
Czołem Mirki. Ma ktoś może chrapkę na cash za polecenie? Kończy mi się projekt i coś by się zmieniło. Stack to #etl #mssql (w tym jestem od ponad 10 lat) #informatica, czasem #boomi i #talend Ostatnie 3 lata robiłem migracje do #salesforce
Mam #b2b jeśli trzeba elastyczności. Jak coś to #pw Może być dla zagramanicy,
  • Odpowiedz
przecietnyczlowiek
przecietnyczlowiek
  • 3
Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestration w cloudzie jest takie se i brakuje mu wielu przydatnych usprawnień. Więc po prostu dodał Airflow do niego xD Też fajnie. W sumie po co konkurować z open sourcami, skoro można je zaimplementować i skosić za to kasę od przedsiębiorstw.

https://techcommunity.microsoft.com/t5/azure-data-factory-blog/introducing-managed-airflow-in-azure-data-factory/ba-p/3730151

#apacheairflow #airflow #etl #businessintelligence #azuredatafactory #azure
przecietnyczlowiek - Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestr...

źródło: large

Pobierz
printHelloWorld
printHelloWorld
  • 0
Cześć,

Czy ktoś z was miał okazję pracować z technologią hadoop w kontekście zadań związanych z tematyką Machine Learning ? jeśli tak to jak wyglądał proces tworzenia modeli, obróbki danych od początku rozpoczęcia ciągu technicznego ?

Jak rozumiem Hadoop to jest jakby to powiedzieć ogromny magazyn na przechowywanie dosłownie różnych danych z różnych systemów dane te mogą być ustrukturyzowane, nieustrukturyzowane itp. wchodzą oni to jak dobrze rozumiem przestrzeni HDFS na surowo, i jak wiemy w normalnym cyklu ML te surowe dane są jeszcze obrabiane, jak to wygląda w hadoop ?

Czy
printHelloWorld
printHelloWorld
  • 0
Cześć,

Mam pytanie, znacie może jakieś darmowe oprogramowanie umożliwiające nawiązywanie połączenia na określony numer telefonu (komórka) ?

Mam pewien proces który uruchamia się o 2 w nocy jeśli w tym procesie pojawi się jakikolwiek błąd osoba nadzorująca systemy powinna po otrzymaniu takiej informacji ten problem naprawić. Najlepszym rozwiązaniem byłoby moim zdaniem użycie oprogramowania który po wychwyceniu takiego triggera uruchamia połączenie telefoniczne w tym przypadku do Administratora.

Byłbym
h.....s
h.....s
  • 1
@printHelloWorld: nie ma takiego oprogramowania bez użycia fizycznego interfejsu GSM, możesz zaprogramować Arduino z modułem GSM i kartą SIM, albo możliwe, że istnieją platformy, które udostępniają dostęp do własnych numerów za opłatą
  • Odpowiedz
AnonimoweMirkoWyznania
AnonimoweMirkoWyznania
  • 1
#anonimowemirkowyznania
#etl #ssis #sql #bu #hurtowniadanych #dwh
Cześć,
Obecnie w robocie siedzę w BI jako taki analityk biznesowy i klepacz dashboardów ( ͡° ͜ʖ ͡°) Wcześniej pracowałem kilka lat na sql + excel głównie DQL, T-SQL znam w miarę dobrze(cte, windows function itp.). Chciałbym trochę rozszerzyć swoje skillsy o ETL i zacząłem uczyć się SSIS.
Moje pytanie do doświadczonych DWH/ETL Developerów.
Jak to jest z tym SSIS, w jakiej formie go wykorzystujecie? Z tego co widziałem u mnie w korpo wszystko i tak jest na procedurach, które wykonują truncaty, transformacje i inserty. Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL?
przecietnyczlowiek
przecietnyczlowiek
  • 0
Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL?


@AnonimoweMirkoWyznania: generalnie tak, zwłaszcza dla baz sqlowych. SSIS jest orchestratorem, ale transformacje i data cleansing wykonuje się po stronie SQL. Chyba, że w grę wchodzą jakieś importy/exporty z data lakeów, api (tu i się skrypty w c# nawet pisze) nosqli.

W Azure Data Factory może być podobnie, aczkolwiek jest też opcja azure data factory data flows, gdzie transformacje i data cleansing wyklikuje się za pomocą
  • Odpowiedz
AnonimoweMirkoWyznania
AnonimoweMirkoWyznania
  • 0
OP: @przecietnyczlowiek: dzięki. Oczywiście mówię o bazach sqlowych. Oganianie danych z api, datalakow, big data na razie nawet nie ruszam, z resztą nie mam z tym styczności w robocie i na razie to dla mnie wyższa szkoła jazdy.
W robocie sporo siedzę właśnie z ETL Devem, gdzie mu tłumacze jak dane w finalnym modelu powinny wyglądać, czasami pisze mu gotowy kod w T-SQLu z tej czesci tranformacji, bardziej dla wlasnego rozwoju niz dlatego ze on nie ogarnia, bo ogarnia. Nie mam tylko pełnego dostępu do dwh i brak ssis, żeby to sobie samemu porobić, albo przesledzic caly proces.

Chcialbym etle ograniac na poziomie juniorskim, zeby byc bardziej BI Developerem również od tej strony back endowej, bo widzialem ze czesto na tych lepiej płatnych ofertach ( ͡° ͜ʖ ͡°)wymagaja znajomosci etl i ssis. Zaczalem sie uczyc samemu. Ogladajac tutoriale na yb widzialem jak hindus robi doslowanie wszystko drag&drop w ssis i mialem maly mindfuck jak zestawilem to z tym jak to u mnie w korpo wyglada. Nabralem podejrzen jak czyscil cala tabele
  • Odpowiedz
ludzik
ludzik
  • 0
Ktoś słyszał może o jakiejś pracy na part time w danych? #mssql i #etl here. Mogę przejść sobie na inną bazę ale będzie mi trzeba marginesu że mogę nie znać części ficzerów. Mam #jdg więc niewiele papierologii.

Ewentualnie jakiś open projekt gdzie mógłbym liznąć jakichś współczesnych mechanizmów typu #bigdata czy inne snowflaki
#bazydanych
Priya
Priya
  • 1
Mirki, szukam jakichś materiałów (najlepiej książek) opisujących wzorce projektowe i architektoniczne, dobre praktyki i standardy dla aplikacji przetwarzających dane strumieniowe. Nie chodzi mi o rozwiązania pod konkretny środowisko chmurowe, tylko coś podobnego do Designing data intensive applications Kleppmanna

#programowanie #bazydanych #przetwarzaniedanych #etl
ludzik
ludzik
  • 0
Ludki z #bazydanych i #etl ewentualnie #bi
Ktoś wie, słyszał może o jakichś potrzebach na jakąś 1/4 etatu? Albo potrzebach na krótko? Bo mam trochę wolnych mocy i #jdg , czyli dość elastycznie z umowami.
Gdyby fajnie się kręciło to byłbym skłonny też przejsć na full z obecngo miejsca.
  • Odpowiedz
o.....6
o.....6
  • 1
@TwujKoshmar: ms stack ma duzy % w rynkach, jest czesto widziany w ofertach pracy i latwo sie go uczy bo mozesz sobie sciagnac sql server developer edition za darmo, power bi desktop masz free. Gorzej z azureowymi rzeczami ktore sie robia popularne typu Azure Data Factory czy Azure Databricks bo wymagana bo trzeba subskrypcji na azure (jest trial na miesiac).
  • Odpowiedz
ludzik
ludzik
  • 0
Może są tutaj jakieś Mirki czy Mirabelki na kontraktach czy innym #b2b dla Zachodu typu EU, UK, US-and-A? Chodzi o obszar data, baz, migracji, integracji etc. Pytam głównie dlatego by złapać orient gdzie takich kontraktów najlepiej szukać. Dostałem raz przypadkiem spam z UK dotyczący pozycji dot. migracji. Stawka 400 funtów/dzień wygląda kusząco. Nie spodziewam się może zaraz tak dużej, ale pewnie byłyby lepsze niż nasze polskie.
#bazydanych #
  • Odpowiedz
Tanczacy_z_widlami
Tanczacy_z_widlami
  • 0
Mirki czy opłaca się teraz zaczynać naukę #javascript, a konkretnie backend. Jestem kompletnie zielony w tej kwestii, nie wiem czy to dla mnie. Z informatycznych kwestii znam trochę #sql jedynie. Może jednak warto dalej się uczyć tego sqla, a js sobie odpuścić. Ktoś z branży może powiedzieć, jak obecnie wygląda sytuacja? Co jest lepsze i powiedzmy gdzie po roku nauki łatwiej będzie znaleźć pracę jako junior? #
Makurise
Makurise
  • 2
@Tanczacy_z_widlami:

Mirki czy opłaca się teraz zaczynać naukę [...]


Zawsze się opłaca, jeżeli chodzi ci o rozwój samego siebie i nowe możliwości jakie to daje. Jeżeli chodzi ci tylko o pieniądze, to sobie odpuść, bo albo nie będziesz z nich zadowolony (jako entry/junior), albo bardzo szybko się wypalisz (jako
  • Odpowiedz
obieq
obieq
  • 2
@lekkonieobecny: @thomekh: @ostrykuc666: mi się ogólnie ssis podoba ale nie wiem jak narzędzie które jest jakieś 15 lat na rynku (m$ chyba je wykupił razem z firmą która je stworzyła) może być tak zbugowane i ciężkie w modyfikacji.
Błędy często nieczytelne. A zmiana w kolumnach lub gdzieś w przepływie wiąże się często z przeklikaniem albo usunięciem całej serii bloczków które idą dalej i wstawianiu ich ponownie
  • Odpowiedz
t.....h
t.....h
  • 2
@obieq: Wszystko jest kwestią jaką koncepcję sobie wymyślisz i jak to wdrożysz. Ja wyszedłem z założenia, że chcę pobierać dane jak najszybciej się da aby jak najszybciej produkcję zostawić w spokoju, nawet kiedy zasilanie odbywa się nocą. U mnie więc wygląda to tak, że z różnych źródeł pobieram tabele, słowniki i wrzucam je od razu do bazy (extract) po mojej stronie (klasyczny truncate + zasilenie, lub jak tabela jest duża to przyrostowo po timestampach, ora_rowscn itd)
I dopiero kiedy mam już u siebie te dane pobieram je z bazy Extract do bazy Stage procedurami po konkretnych warunkach, złożeniach, algorytmach.

Taka koncepcja sprawiła, że ani razu w przeciągu 2 lat nie wysypało mi się codzienne zasilenie. Jedynie kilka razy procedury ale to już jest po stronie hurtowni a nie źródła więc dużo mniejszy problem.

Wszystko zależy od koncepcji no i też firmy, co zastaniesz jak przyjdziesz do pracy. Przeważnie jest sraka i trzeba forsować grube zmiany, ale jak się uda to jaka satysfakcja ( ͡
  • Odpowiedz
mccloud
mccloud
  • 0
Mam taki use case:
- wpada sobie plik (CSV)
- na pliku wykonuje X reguł (powiedzmy takie formuły excelowe)
- wynik trafia do bazy/pliku (no to akurat chyba najmniej problemowe)

I problemy:
mccloud
mccloud
  • 0
@Klopsztanga: No ja obu nie używałem. Ale sprawdze sobie.

@bacteria O rany. Za późno na tak długi tekst. Poczytam sobie tym wzorcu.

@ostrykuc666 Jeny, jak komuś przyjdzie ogarniać kilkuset megowy plik w excell + 100-200 reguł. Toż to rotacja będzie na poziomie 99% :) Dzięki za wskazówki - poptrze co odpowidenik może i co moge w aws.
  • Odpowiedz
t.....h
t.....h
  • 1
@inny_89: Z doświadczenia to całe zasilanie powinno się odbywać w dwóch krokach Source - Extract, Extract - Stage. Oczywiście mówię o hurtowni zasilanej raz na dobę nocną porą.

1. Source - Extract - truncate docelowych tabel i zasilenie ze źródła. Tak jest najszybciej. Nawet jak masz tabele do 100 mln rekordów. Z produkcji zasilamy dane tak szybko jak to jest możliwe.

2. Extract - Stage - zasilenie przyrostowe. I tu już można się bawić w SCD, procedury, CDC itd
  • Odpowiedz
PoteznyMagWody
PoteznyMagWody
  • 0
Mam kilka mikroserwisów które zrzucają eventy do kafki. Chciałbym z tych eventów wyciagnąc pare statystyk i raportów i zastanawiam się jak to zrobić zgodnie ze sztuką. Mam dwa pomysły:

- kolejny mikroserwis, ktory zczytuje te eventy, na bierząco zlicza statystyki i robi inserty i update do nowej bazy relacyjnej np postgres
- zacząłem troche czytac w tym temacie to natknąłem się na takie rzeczy jak ETL, #businessintelligence a potem Apache Airflow. Co moze mi dać zastosowanie airflow w tym przypadku zamiast wlasnego mikroserwisu? Jestem totalnie zielony w tym temacie

Dodatkowo zastanawiam się jak z postgresa wygenerować jakieś raporty sensownie. Moze są do tego gotowe toole a może airflow też to ogarnia? Który z podejść wybrać? Czy może jest jeszcze jakas inna lepsza alternatywa?
ludzik
ludzik
ludzik
via Android
  • 1
@obieq Jest kojarzona że środowiskiem oraclowym ale działa w wielu różnych. Teraz mam np. Salesforce-Infa-MSSQL-Infa-Salesforce
  • Odpowiedz
ludzik
ludzik
  • 0
Bry. Spędziłem 8 lat w #mssql (DDL, DML, optymalizacja) i z początkiem roku udało się dostać na "frycowe" w ETLach. Przejście z UoP na kontrakt B2B. Liznąłem Informatica Cloud, Dell Boomi i Informatica PowerCenter (w końcu). W tym ostatnim miałbym pracować najwięcej.

Na jakie mniej więcej widełki stawek można liczyć po jakimś roku takiej pracy? Na razie jestem na biedackiej, ale to w zamian za wiedzę. Niemniej niedługo trzeba będzie
m.....i
m.....i
  • 1
@ludzik: jak masz 8 lat doświadczenia w sqlu to nie licz sobie 1 roku doświadczenia w etl tylko np. 5. ETLowego toola można się całkiem szybko nauczyć, ale pisanie sensownych procedur by zrobić przepływ to zakładam, że twoja wartość dodana.
  • Odpowiedz

Powiązane tagi