#azure #dataengineering #data #programista15k

Hej, mam doswiadczenie poltora roku jako Analityk Danych (glownie PowerBI i SQL, troche pythona).

Chcialbym sie przebranzowic na Inzyniera Danych (Data Engineer lepiej brzmi).
Wybralem sobie jako stack Azure i zaczalem robic DP-203.
  • 23
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@AnonimoweLwiatko: Kolego generlanie pracujac z danymi dluzszy czas, jest ci duzo latwiej zrozumiec ich strukture poczatkowa, niezbedne transformnacje oraz to jak powinny wygladac na wyjsciu i dlaczego - to przychodzi z expem. Wiec jesli OP chwile juz w tym porobil, to duzo latwiej bedzie mu przekwalifikowac sie na DE niz komus kto z danymi nie pracowal albo co najwyzej z prostymi tabelkami w Excel.
  • Odpowiedz
Tak z ciekawości, w wąsko pojętej inżynierii danych (czyli nie data science, nie analiza danych, tylko Big Data, ETLe, Sparki, Kafki, streamowanie itp.) też jest lipa z ofertami? Pytam, bo wypadłem ze śledzenia rynku pracy, stawki w zasadzie są te same co były, większość ofert jak było, tak jest remote, więc wydaje się, że jest dużo lepiej niż w reszcie specjalizacji. Nawet wydaje mi się, że jest więcej ofert na entry-level, czego
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

też jest lipa z ofertami?


@blehblehbleh: Jest ciut gorzej niż było jeszcze rok temu. Ostatnio zmieniałem robotę i na trzy rozmowy miałem dwie oferty a dwie kolejne rozmowy urwały się w trakcie z powodu znalezienia już kogoś innego. Finalnie 2/5. Rok temu było 3-4/5
  • Odpowiedz
Pytam, bo wypadłem ze śledzenia rynku pracy, stawki w zasadzie są te same co były, większość ofert jak było, tak jest remote, więc wydaje się, że jest dużo lepiej niż w reszcie specjalizacji. Nawet wydaje mi się, że jest więcej ofert n


@blehblehbleh: Jest tego trochę mniej, ale im wyższy level, tym więcej ofert. Na entry level nie widzę tego zbyt dużo ostatnio, za to roboty dla seniorów/principal czy nawet
  • Odpowiedz
Siema, orientuje się ktoś jaki serwer poleasingowy do 3k dobrać sobie do laba pod wirtualizację większej ilości hostów?
Chciałbym żeby serwer miał co najmniej 128GB, poczytałem trochę i dobrze żeby procki były intelowe bo obrazy Cisco podobno się gryzą z AMD.
Generalnie zależy mi na tworzeniu labow z obrazami switchow Cisco na platformie CML, chociaż gns3 albo eve-ng tez wchodzą w grę.
Sam lab jest w celu nauki pod ccnp dccor.
Niestety
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#python #programowanie #dataengineering

Hej wszystkim, na codzień używam pythona ale do #datascience w pracy.

Chciałbym postawić sobie dwa dashbordy/raporty dla samego siebie. Z programistycznego punktu widzenia wiem dokładnie co chce zrobić i co ma być efektem końcowym. To czego nie wiem w to jaki sposób to zrobić bo w pracy dodaje nowe procesy na #airflow jednak nigdy nie stawiałem takiego czegoś u siebie (mam kompa z Windowsem więc nie wiem czy jest to możliwe) a może jakieś zamienniki Airflow.

Może
  • 15
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Cześć, pytanko do odbiorców tagów. Macie jakieś lepsze rozwiązanie do automatycznego eksportu zapytania do .csv w sql server? Obecnie używamy do tego procedury, która odpowaida ze zwrócenie rezultatu zapytania, eksportujemy rezultat do .csv używając bcp, potem taki wyeksportowany plik jest wysyłany do dostawcy używając spsenddbmail. Rozwiązanie wydaje mi się mocno przestarzałe ale taki standard obecnie jest w firmie i szukam bardziej nowczoesnego rozwiązania (eksport do pliku).
#dataengineering #
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Tomz: Z samego SQL Servera to nie wiem czy cos duzo nowoczesniejszego mozna zrobic.

Co mozna zrobic to oczywiscie do spolki z jakims orchestratorem (Azure Data Factory, Airflow i inne podobne) mozesz zbudowac prosty pipeline ktory bedzie querowal baze wg potrzeb, eksportowal to do dowolnego formatu (tu mozna zrobic np. parquet, ale zalezy jakie sa wymagania dostawcy) no i potem kwestia dostawy - mozna to dalej wysylac mailem, mozna zrobic
  • Odpowiedz
@Tomz: no jakaś robota to zawsze, ale jeśli to tylko input to query z procedury, a output plik csv to dałoby się to zrobić elegancko i sprawnie for eachem ze zmiennymi, które pobieralbys np. z tabeli/Excela (ścieżka pliku, nazwa procedury).
  • Odpowiedz
Empirycznie przychylam się do opinii o c--------i obecnego rynku. Przez ostatnie 2 miesiące składałem niezobowiązująco CVki do co jakichś ciekawszych ofert, wyszło jakieś 10-15, nie liczyłem. 3 lata expa z hakiem, robię w #dataengineering. Składałem na oferty gdzie móglbym liczyć przynajmniej na 120 zł/h i był w miarę pasujący mi stack.

W tym roku nie odbyłem jeszcze żadnej rozmowy technicznej XD

Wszystkie oferty z job boardów, na LinkedInie coś
  • 20
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Szukam osoby, która zaczyna uczyć się programowania i chciałaby się wzajemnie motywować. Myślałam o czymś takim jak zdawanie codziennie raportu co się udało dziś zrobić, co sprawia nam trudność, czego planujemy uczyć się jutro.

Szczególnie interesuje mnie #python #dataengineering #businessintelligence #datascience #dataanalyst.

Ja uczę się aktualnie Pythona + SQL, chcę też liznąć PowerBI do wizualizacji i robić projekty do portfolio.

#
  • 11
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • 8
@mtq11: Właśnie, IT to nie tylko kod, więc nie widzę w tym nic złego, żeby znaleźć osobę co jest w tej samej sytuacji co ja - dopiero zaczyna i średnio kuma. I miło jest zgadać się z kimś kto ma te same rozterki bo coś mu nie działa, coś mu nie klika, czegoś nie rozumie. Ale Ty od razu mnie oceniłeś, że nic ze mnie nie będzie :)

@bojackHorsemanPatataj
  • Odpowiedz
Nie ma reguły bo wszystko zależy od konkretnej roboty. W jednej firmie "backendowiec" będzie jak małpa robił przelotkę do bazy danych i wystawiał tabelki przez webowe API, a w drugiej będzie pisać system sterowania marsjańskim łazikiem. Podobnie data engineer w januszexie będzie robił kopiuj-wklej z PDFa do Excela, a w innej firmie będzie zajmował się kuracją i przetwarzaniem zdjęć czarnych dziur z gigantycznych radioteleskopów.
Nazwa stanowiska gra tu najmniejszą rolę.
  • Odpowiedz
Cześć Mirasy ( ͡° ͜ʖ ͡°) możecie polecić jakąś praktyczną książkę o projektowaniu hurtowni danych (najlepiej w formacie na #kindle byłoby super gdyby była po polsku) Na podyplomówce z #hurtowniedanych w 2015/16 profesor z #politechnikapoznanska polecał coś podobnego chyba nawet swego autorstwa, ale nie mogę sobie przypomnieć :(
#it #bi #businessintelligence #programista15k #bazydanych
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@michoopro: jak kolega wyżej podał, jeśli projektowanie hurtowni, to tylko biblia od Kimballa. Generalnie nie polecam się uczyć niczego po polsku w IT, od razu po angielsku. Więcej materiałów, znasz od razu słowa kluczowe, które czasem nie mają dobrego tłumaczenia na polski. Co do samej książki to jest co prawda napisana dość ciężkim językiem i momentami czyta się ją ciężko i nudno ale otwiera głowę w kwestii hurtownii i jak
  • Odpowiedz
@aczutuse: te książki są naprawdę słabe. Dobrze, że je z libgena ściągam, a nie kupuje bo bym się wściekł z wydania paru stówek na parafrazowanie dokumentacji z microsoft learna.
Takich ogólnych nie znalazłem, ale jak np. pod konkretny Microsoftwoy stack to może "The Azure Data Lakehouse Toolkit: Building and Scaling Data Lakehouses on Azure with Delta Lake, Apache Spark, Databricks, Synapse Analytics, and Snowflake" Ron L
Esteve.

Wpisz sobie data
  • Odpowiedz
@aczutuse: Ponieważ zajmuję się architekturą, a nie implementacją to nie polecę ci materiałów do nauki konkretnych narzędzi, ale mogę ci polecić książki które traktują o wzorcach, dobrych praktykach, praktycznych rozwiązaniach, często na przykładach.
- The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling -> dużo teorii ale też przykładów opartych na prawdziwych domenach jak finanse, e-commerce czy ubezpieczenia
- Data Mesh: Delivering Data-Driven Value at Scale -> głównie teoria
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
Pytanie do osób w branży odnośnie ścieżki kariery w obszarze danych.
Od jakiegoś czasu uczę się w kierunku analizy danych: statystyka, sql, python (Pandas , NumPy), PowerBi. Ale z tego co ludzie piszą na grupkach juniorskich czy na takiej grupce związanej z PowerBi to że do analizy danych czy też na bi developera jest zatrzęsienie chętnych i ciężko się będzie dostać. No i tak zastanawiam się czy jest sens tam się pchać czy może już mając te podstawy sql i pythona rozszerzyć to w kierunku data engineeringu i po prostu jako junior szukać pracy w DE. Jak w ogóle widzicie teraz zapotrzebowanie z jakimi skilami mam największą szansę na rekrutacji?
#dataengineering #analizadanych #powerbi #businessintelligence #bigdata #dataanalyst #datascience #sql #pracait #programista15k

  • 14
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via mirko.proBOT
  • 6
Anonim (nie OP): Coraz głupsze te zarzutki. Jak chcesz pracować w analizie czegoś jak sam nie potrafisz wyszukać w necie informacji o potrzebnych skillach. Bez jaj chłopaku. W życiu bym cię nie zatrudnił. Prowadzę sporo rekrutacji w roli technicznego i pierwsze czego oczekuję to samodzielności w myśleniu a nie podawania na talerzu. Danych tak nie dostaniesz. Dramat po prostu...

  • Odpowiedz
@mirko_anonim:
Kolejna branża, która jest zasrana pożal się Boże juniorami.
Wystarczy przejrzeć linkedina i content związany z BI, gdzie ludzie myślą, że są nie wiadomo jakimi analitykami, bo zrobili prezentację o kawie ze starbucksa na już obrobionym data secie xD.
Albo zestawić zasięgi twórców, którzy na filmikach pitolą jakieś ogólniki, a kozak content o daxie ma wielokrotnie mniej subskrypcji/wyświetleń.

My się przecie nauczyli wykres robić w PowerBI i selecta też umiemy, a nikt nie chce zatrudnić. Koniec branży
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
TL;DR: szukam rad odnośnie ścieżki kariery w obszarze data.
Cześć, po wakacjach będę bronił inżynieria z automatyki jednak nie będę szukał pracy w branży. Zainteresowałem się tematem przetwarzania danych i od jakiegoś czasu uczę się SQL, pythona i power bi. Generalnie to mam pomysł taki żeby z tym stackiem po wakacjach szukać pracy. Jednak chciałbym się Was dopytać czego się warto uczyć dalej? Jakie są trendy na rynku i w czym jest teraz duże zapotrzebowanie jeżeli chodzi o ilość wakatów? Myślałem żeby znaleźć na start pracę jako DA czy też Bi Dev a później ogarnąć pythona na dużo wyższym poziomie niż jest potrzebny do DA i iść w kierunku DE. Widzę, że jest mnogość opcji jeżeli chodzi o pracę z danymi bo można też iść w stronę rozwiązań cloudowych. Generalnie liczę na jakąś dyskusję osób które mają doświadczenie w branży i może mają rady jaki stack technologiczny i jakie skille ogarnąć samemu w domu tak żeby mieć wiele furtek otwartych i w jakim kierunku może patrzeć w perspektywie 2 lata do przodu? Dodatkowo podpytam czy patrzycie na portfolio kandydatów jeżeli akurat zajmujecie się rekrutacją i jeżeli tak to czym można zaplusować?

#pracait #dataengineering #analizadanych #powerbi #businessintelligence #bigdata #dataanalyst #programista15k #datascience #sql #excel

  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Siedzę w data od nastu lat. SQL na 100%, ale musisz liznąć przynajmniej jeden enterprise (MSSQL albo Oracle) i jeden OpenSource (pgSQL albo MySQL).
Najlepsza opcja będzie MSSQL + pgSQL bo cały życzliwy świat ma albo chciałby mieć oracle w czterech literach. Jednakże to wymusi na Tobie przynajmniej średnia znajomość Windows + Linux już na początku (co jest dobre długoterminowo oczywiście).
Później w zależności od Twoich wyborów, sprawdź ich rozwiązania DBaaS na AWS, Azure i GCP (jeżeli uparcie wybierzesz Oracle z jakiś osobistych pobudek to ich chmurę również), innych graczy nie ma.

To jest Twój core. Dalej albo ETL albo jakiś reporting. Tutaj każda chmura oferuje coś od siebie, są tez bardziej platform agnostic rozwiązania, liźnij podstawy wszystkiego tak żebyś wiedział o czy do Ciebie mówią i żebyś wiedział czy potencjalnie jesteś w stanie ogarnąć to co w danej firmie jest potrzebne gdybys akurat dostał ofertę pracy.

W
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
Mirki mam pytanie o przyszłość i stan rynku IT, uczę się w kierunku analizy danych chce iść w kierunku DA/BI stack: sql, power bi, podstawy pythona. Potem w chciałbym do tego dołożyć clouda i iść w kierunku data engineering/cloud engineering. Na jednej z grupek juniorskich jakaś babka pisała że zapotrzebowanie na juniorów w analizie danych będzie spadać bo do Power Bi wchodzi copilot. No i pytanie do Was czy mieszkając w dużym mieście znajdę jeszcze robotę w tej działce czy już za późno? Jak wygląda zapotrzebowanie na tym rynku oraz ilość chętnych? Też jest taki młyn jak we frontendzie? Szczerze mówiąc rozpoczynając naukę do DA to myślałem że to kierunek z dużymi perspektywami rozwoju no bo jednak ilość danych produkowana przez ludzi stale rośnie. Będę wdzięczny za fajną dyskusję.
#powerbi #businessintelligence #analizadanych #bigdata #analityk15k #dataanalyst #analityk #programista15k #datascience #sql #dataengineering #excel #pracait

  • 17
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Siema mireczki, jakiś czas pracuję już w #it, mimo że moje wykształcenie inżynierskie nie jest z branżą związane. Ostatnio wpadł mi do głowy pomysł rozpoczęcia #doktorat z wolnej stopy właśnie w obrębie #dataengineering któym się zajmuję. Wiecie może czy żeby podjąć się takiego doktoratu magistra/inżyniera muszę mieć z informatyki? Zastanawiam się też nad wyborem uczelni, ma ktoś może jakieś doświadczenia z rekrutacją (jakie są wymagania)
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach