W mojej firmie zostałem przypisany do nowego projektu o nazwie "Datalake". Ogólnie rzecz biorąc, nikt jeszcze nie wie, czym dokładnie będzie ten projekt, i niewiele osób ma doświadczenie w tym obszarze. Ja zostałem do niego przypisany ze względu na moje umiejętności techniczne, zwłaszcza w zakresie tworzenia makr.
W ramach tego projektu wstępnie takie tematy zostały mi podane: Azure Data Factory, Azure Data Bricks, ADLS Gen2 i PowerBI. Czy ktoś mógłby mi pomóc zrozumieć, czym będzie dokładnie to zadanie i jak mogę się na nie przygotować? Chętnie przyjmę wszelkie wskazówki i sugestie XD #korposwiat #bazydanych #sql #datascience
@woodywoodpecker: Będziesz Data Engineerem lub Data Analyst. Ciężko stwierdzić, co będziesz robił. Na twoim miejscu zastanowiłbym się nad przerobieniem materiału potrzebnego do zdania egzaminów Microsoft Azure: DP-900 oraz DP-203.
@woodywoodpecker: Datalake po polsku bagno danych B) Generalnie będziesz z nieustrukturyzowanych danych tworzył bardziej ustrukturyzowane twory z których będziesz tworzyć ładne tabelki i wykresy lub gdzieś je magazynował w jakimś mongodb albo sql. Sory jeśli mówię oczywistości
@woodywoodpecker: w databricksach będzięcie pisali skrypty w spark sql albo pythonie typu select from update table insert into. Dane będziecie pobierać ze źródeł w azure data factory i tam też będziecie budować flow, który będzie wam uruchamiał te skrypty. Dane będą lądowały w formacie parquet do ADLS2 gen (storage). W Power BI będziecie z tego raportować.
@woodywoodpecker: no to się ciesz, skoro ciebie w to wrzucili wiedząc, że nie masz expa to będą rozumieli błędy ew wolny postęp, ty nauczysz się data engineeringu na Azure i może zmienisz pracę na lepszą, a jak nie to będziesz miał spoko skilla w zanadrzu i podstawę do negocjacji stawki (pionier w nowych technologiach, projekcie bla bla). Przerób sobie materiały z MS i kup gpt za 25 dolków i jedziesz
Przypominam, że Iran to ruskie pachołki. Izrael jest jaki jest, ale jest naszym sojusznikiem i sojusznikiem USA. Kibicowanie w tym sporze Iranowi jest zdradą stanu i byciem pożytecznym idiotą xDDDD
W ramach tego projektu wstępnie takie tematy zostały mi podane: Azure Data Factory, Azure Data Bricks, ADLS Gen2 i PowerBI. Czy ktoś mógłby mi pomóc zrozumieć, czym będzie dokładnie to zadanie i jak mogę się na nie przygotować? Chętnie przyjmę wszelkie wskazówki i sugestie XD
#korposwiat #bazydanych #sql #datascience