Siema, orientuje się ktoś jaki serwer poleasingowy do 3k dobrać sobie do laba pod wirtualizację większej ilości hostów?
Chciałbym żeby serwer miał co najmniej 128GB, poczytałem trochę i dobrze żeby procki były intelowe bo obrazy Cisco podobno się gryzą z AMD.
Generalnie zależy mi na tworzeniu labow z obrazami switchow Cisco na platformie CML, chociaż gns3 albo eve-ng tez wchodzą w grę.
Sam lab jest w celu nauki pod ccnp dccor.
Niestety
@Gieremek: zrób ten 203 i tak, bo poznasz kilka rzeczy które i tak musisz znać. Ale tak jak @ElMatadore napisał tam jest głównie Synapse, gdzie jednak nie wykorzystujesz tego aż tak. Firma ogólnie korzysta u was z Databricksa jakkolwiek? bo może załapiesz się chociaż na learning i fundamentals lakehouse'a
  • Odpowiedz
Jak mnie #!$%@?ą psy z reddita które cyklicznie zakładają tematy w stylu A CO ROBICIE GDY QUERY/PIPELINE SIĘ KRĘCI? BO JA X Y Z. No kuhwa, to chyba część pracy kogoś kto robi w "data", że są takie kobyły, które nie lecą w 30 ms i jeżeli coś się kręci np 20 min to dalej jest to część pracy. Niedługo będą robili poradniki co robić gdy klaster sparka startuje, jak wykorzystać te
#python #programowanie #dataengineering

Hej wszystkim, na codzień używam pythona ale do #datascience w pracy.

Chciałbym postawić sobie dwa dashbordy/raporty dla samego siebie. Z programistycznego punktu widzenia wiem dokładnie co chce zrobić i co ma być efektem końcowym. To czego nie wiem w to jaki sposób to zrobić bo w pracy dodaje nowe procesy na #airflow jednak nigdy nie stawiałem takiego czegoś u siebie (mam kompa z Windowsem więc nie wiem czy jest
✨️ Obserwuj #mirkoanonim
Kto zarobi lepiej w Polsce - data engineer z ogarnietym cloudem czy konsultant SAP (w tym wariant z podskillowanym niemieckim)?

Warto sie wgryzac w SAPa majac juz ogarnieta fuche jako programista/data engineer?
#sap #dataengineering #programista15k #pracait



· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: RamtamtamSi
· Autor
Cześć, pytanko do odbiorców tagów. Macie jakieś lepsze rozwiązanie do automatycznego eksportu zapytania do .csv w sql server? Obecnie używamy do tego procedury, która odpowaida ze zwrócenie rezultatu zapytania, eksportujemy rezultat do .csv używając bcp, potem taki wyeksportowany plik jest wysyłany do dostawcy używając spsenddbmail. Rozwiązanie wydaje mi się mocno przestarzałe ale taki standard obecnie jest w firmie i szukam bardziej nowczoesnego rozwiązania (eksport do pliku).
#dataengineering #businessintelligence #sql
@Tomz: Z samego SQL Servera to nie wiem czy cos duzo nowoczesniejszego mozna zrobic.

Co mozna zrobic to oczywiscie do spolki z jakims orchestratorem (Azure Data Factory, Airflow i inne podobne) mozesz zbudowac prosty pipeline ktory bedzie querowal baze wg potrzeb, eksportowal to do dowolnego formatu (tu mozna zrobic np. parquet, ale zalezy jakie sa wymagania dostawcy) no i potem kwestia dostawy - mozna to dalej wysylac mailem, mozna zrobic upload
  • Odpowiedz
@Tomz: no jakaś robota to zawsze, ale jeśli to tylko input to query z procedury, a output plik csv to dałoby się to zrobić elegancko i sprawnie for eachem ze zmiennymi, które pobieralbys np. z tabeli/Excela (ścieżka pliku, nazwa procedury).
  • Odpowiedz
Empirycznie przychylam się do opinii o #!$%@?ści obecnego rynku. Przez ostatnie 2 miesiące składałem niezobowiązująco CVki do co jakichś ciekawszych ofert, wyszło jakieś 10-15, nie liczyłem. 3 lata expa z hakiem, robię w #dataengineering. Składałem na oferty gdzie móglbym liczyć przynajmniej na 120 zł/h i był w miarę pasujący mi stack.

W tym roku nie odbyłem jeszcze żadnej rozmowy technicznej XD

Wszystkie oferty z job boardów, na LinkedInie coś tam przychodzi,
@ElMatadore

a po co komu data engineer

mnie się ciężko pracowało z datą engineerami

najczęściej zna tylko Pythona w zakresie dwóch bibliotek (panda a drugie chyba numphy)

przerabiać sqla na jsona i to poszatkować jakoś czy pomerge'ować to każdy z ulicy umie

i taki data engineer ma blade pojęcie o IT ogólnie, nie kuma storage'u, sieci, infrastruktury, tylko zapycha klaster

koniec boomu DE i dobrze
  • Odpowiedz
Szukam osoby, która zaczyna uczyć się programowania i chciałaby się wzajemnie motywować. Myślałam o czymś takim jak zdawanie codziennie raportu co się udało dziś zrobić, co sprawia nam trudność, czego planujemy uczyć się jutro.

Szczególnie interesuje mnie #python #dataengineering #businessintelligence #datascience #dataanalyst.

Ja uczę się aktualnie Pythona + SQL, chcę też liznąć PowerBI do wizualizacji i robić projekty do portfolio.

#programowanie #naukaprogramowania #programista15k
  • 8
@mtq11: Właśnie, IT to nie tylko kod, więc nie widzę w tym nic złego, żeby znaleźć osobę co jest w tej samej sytuacji co ja - dopiero zaczyna i średnio kuma. I miło jest zgadać się z kimś kto ma te same rozterki bo coś mu nie działa, coś mu nie klika, czegoś nie rozumie. Ale Ty od razu mnie oceniłeś, że nic ze mnie nie będzie :)

@bojackHorsemanPatataj w sumie
  • Odpowiedz
Nie ma reguły bo wszystko zależy od konkretnej roboty. W jednej firmie "backendowiec" będzie jak małpa robił przelotkę do bazy danych i wystawiał tabelki przez webowe API, a w drugiej będzie pisać system sterowania marsjańskim łazikiem. Podobnie data engineer w januszexie będzie robił kopiuj-wklej z PDFa do Excela, a w innej firmie będzie zajmował się kuracją i przetwarzaniem zdjęć czarnych dziur z gigantycznych radioteleskopów.
Nazwa stanowiska gra tu najmniejszą rolę.
  • Odpowiedz
Cześć Mirasy ( ͡° ͜ʖ ͡°) możecie polecić jakąś praktyczną książkę o projektowaniu hurtowni danych (najlepiej w formacie na #kindle byłoby super gdyby była po polsku) Na podyplomówce z #hurtowniedanych w 2015/16 profesor z #politechnikapoznanska polecał coś podobnego chyba nawet swego autorstwa, ale nie mogę sobie przypomnieć :(
#it #bi #businessintelligence #programista15k #bazydanych #sql #dataengineering #ksiazki #helion
@michoopro: jak kolega wyżej podał, jeśli projektowanie hurtowni, to tylko biblia od Kimballa. Generalnie nie polecam się uczyć niczego po polsku w IT, od razu po angielsku. Więcej materiałów, znasz od razu słowa kluczowe, które czasem nie mają dobrego tłumaczenia na polski. Co do samej książki to jest co prawda napisana dość ciężkim językiem i momentami czyta się ją ciężko i nudno ale otwiera głowę w kwestii hurtownii i jak sobie
  • Odpowiedz
@aczutuse: te książki są naprawdę słabe. Dobrze, że je z libgena ściągam, a nie kupuje bo bym się wściekł z wydania paru stówek na parafrazowanie dokumentacji z microsoft learna.
Takich ogólnych nie znalazłem, ale jak np. pod konkretny Microsoftwoy stack to może "The Azure Data Lakehouse Toolkit: Building and Scaling Data Lakehouses on Azure with Delta Lake, Apache Spark, Databricks, Synapse Analytics, and Snowflake" Ron L
Esteve.

Wpisz sobie data lake
  • Odpowiedz
@aczutuse: Ponieważ zajmuję się architekturą, a nie implementacją to nie polecę ci materiałów do nauki konkretnych narzędzi, ale mogę ci polecić książki które traktują o wzorcach, dobrych praktykach, praktycznych rozwiązaniach, często na przykładach.
- The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling -> dużo teorii ale też przykładów opartych na prawdziwych domenach jak finanse, e-commerce czy ubezpieczenia
- Data Mesh: Delivering Data-Driven Value at Scale -> głównie teoria o
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
Pytanie do osób w branży odnośnie ścieżki kariery w obszarze danych.
Od jakiegoś czasu uczę się w kierunku analizy danych: statystyka, sql, python (Pandas , NumPy), PowerBi. Ale z tego co ludzie piszą na grupkach juniorskich czy na takiej grupce związanej z PowerBi to że do analizy danych czy też na bi developera jest zatrzęsienie chętnych i ciężko się będzie dostać. No i tak zastanawiam się czy jest sens
via mirko.proBOT
  • 6
Anonim (nie OP): Coraz głupsze te zarzutki. Jak chcesz pracować w analizie czegoś jak sam nie potrafisz wyszukać w necie informacji o potrzebnych skillach. Bez jaj chłopaku. W życiu bym cię nie zatrudnił. Prowadzę sporo rekrutacji w roli technicznego i pierwsze czego oczekuję to samodzielności w myśleniu a nie podawania na talerzu. Danych tak nie dostaniesz. Dramat po prostu...

  • Odpowiedz
@mirko_anonim:
Kolejna branża, która jest zasrana pożal się Boże juniorami.
Wystarczy przejrzeć linkedina i content związany z BI, gdzie ludzie myślą, że są nie wiadomo jakimi analitykami, bo zrobili prezentację o kawie ze starbucksa na już obrobionym data secie xD.
Albo zestawić zasięgi twórców, którzy na filmikach pitolą jakieś ogólniki, a kozak content o daxie ma wielokrotnie mniej subskrypcji/wyświetleń.

My się przecie nauczyli wykres robić w PowerBI i selecta też umiemy,
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
TL;DR: szukam rad odnośnie ścieżki kariery w obszarze data.
Cześć, po wakacjach będę bronił inżynieria z automatyki jednak nie będę szukał pracy w branży. Zainteresowałem się tematem przetwarzania danych i od jakiegoś czasu uczę się SQL, pythona i power bi. Generalnie to mam pomysł taki żeby z tym stackiem po wakacjach szukać pracy. Jednak chciałbym się Was dopytać czego się warto uczyć dalej? Jakie są trendy na rynku i
Siedzę w data od nastu lat. SQL na 100%, ale musisz liznąć przynajmniej jeden enterprise (MSSQL albo Oracle) i jeden OpenSource (pgSQL albo MySQL).
Najlepsza opcja będzie MSSQL + pgSQL bo cały życzliwy świat ma albo chciałby mieć oracle w czterech literach. Jednakże to wymusi na Tobie przynajmniej średnia znajomość Windows + Linux już na początku (co jest dobre długoterminowo oczywiście).
Później w zależności od Twoich wyborów, sprawdź ich rozwiązania DBaaS na
  • Odpowiedz
✨️ Obserwuj #mirkoanonim
Mirki mam pytanie o przyszłość i stan rynku IT, uczę się w kierunku analizy danych chce iść w kierunku DA/BI stack: sql, power bi, podstawy pythona. Potem w chciałbym do tego dołożyć clouda i iść w kierunku data engineering/cloud engineering. Na jednej z grupek juniorskich jakaś babka pisała że zapotrzebowanie na juniorów w analizie danych będzie spadać bo do Power Bi wchodzi copilot. No i pytanie do Was czy
18+

Zawiera treści 18+

Ta treść została oznaczona jako materiał kontrowersyjny lub dla dorosłych.

Siema mireczki, jakiś czas pracuję już w #it, mimo że moje wykształcenie inżynierskie nie jest z branżą związane. Ostatnio wpadł mi do głowy pomysł rozpoczęcia #doktorat z wolnej stopy właśnie w obrębie #dataengineering któym się zajmuję. Wiecie może czy żeby podjąć się takiego doktoratu magistra/inżyniera muszę mieć z informatyki? Zastanawiam się też nad wyborem uczelni, ma ktoś może jakieś doświadczenia z rekrutacją (jakie są wymagania) oraz z samymi studiami? #studia #
Trzy tygodnie temu, chcąc zmienić pracę wysłałem ok. 40 cv. Czas odpowiedzi różny, od jednego-dwóch dni do 2-3 tygodni. Wydaje mi się, że nastąpiły pewne zmiany w porównaniu do ostatniego czasu, kiedy gdzieś aplikowałem (ok 2 lata temu), przynajmniej w moim stacku, związanym z danymi (data engineering, bi i ai).

Z reguły jest więcej etapów rekrutacji i jest ona trudniejsza. Miałem rozmowy, które trwały np. 1,5h i na których zadano kilkadziesiąt pytań.
@JamesJoyce: Jestem Senior Data Engineer i nigdy nie wysłałem więcej niż 3 CV. Wysłanie 40. to dla mnie abstrakcja. Bardziej zajmujesz się BI niż DE i pewnie Tableau a nie chmury i przetwarzanie rozproszone. Jesteś BI i tyle.
  • Odpowiedz