Treść przeznaczona dla osób powyżej 18 roku życia...
Wszystko
Najnowsze
Archiwum
@ElMatadore: polecam inną książkę, daje dużo większe możliwości
źródło: comment_1667526947TSSHDEBYQO7gWlnFcR9jVo.jpg
Pobierz- 3
@ElMatadore: przeczytałem ponad połowę i doszedłem do wniosku że i tak do klepania cruda to i tak nikt tego tak mocno nie rozkminia ( ͡° ͜ʖ ͡°)
3
Wyzwania branży data science - Porozmawiajmy o IT

Witam w 170. odcinku podcastu "Porozmawiajmy o IT", w którym rozmawiamy o wyzwaniach branży data science.
z- 1
- #
- #
- #
- #
- #
#azure #adf #dataengineering #cloud #azuredatafactory
Mam pętlę ForEach, w środku której kopiuje dane z jednej bazy do drugiej.
Czy jest jakaś opcja by podejrzeć, która tabela aktualnie się kopiuje?
Mam pętlę ForEach, w środku której kopiuje dane z jednej bazy do drugiej.
Czy jest jakaś opcja by podejrzeć, która tabela aktualnie się kopiuje?
- 1
@cohontes: dobra może przyda się potomnym, w pre copy scripcie można dać select na parametr z tableName wtedy w inpucie będzie widziana nazwa tabeli własnie w pre copy scripcie
Jak myślicie, czy trend i popularność w obszarze analizy danych zmienia się z #datascience na #dataengineering? Pracuję jako datascientist już trochę lat i wiem jak to wygląda od podszewki, i widzę że większość firm nie ma odpowiednich danych/nie wie co chce z nimi zrobić. Plus firmy chcą się chwalić że robią SI.
Wydaje mi się też, że ofert pracy jest trochę mniej niż np rok-dwa lata temu.
Wydaje mi się też, że ofert pracy jest trochę mniej niż np rok-dwa lata temu.
@JamesJoyce: moze firmy w koncu nie chca przewidywac, co bedzie sie dzialo, a skupic na tym, co sie dzieje ( ͡° ͜ʖ ͡°) tez zauwazylem mniej ofert DS. Co do DE - co ci po danych, skoro nie potrafisz ich zintegrowac, przechowywac itd
@JamesJoyce: ja pracuje w firmie która robi i DS i BI i tego drugiego sprzedaje się 10x więcej. Data science to buzzword, kręci zarządy i odblokowuje duże budżety ale nic po tym gdy menago w firmie nie wie ile wczoraj sprzedał, ile ma zysku albo ile na stocku. Albo gdy musi czekać aż ktoś mu ręcznie taki raport w excelu zrobi.
Siemka mireczki, jestem mid developerem w #businessintelligence. Zajmowałem się naprawdę różnymi rzeczami, zaczynając od PowerBI i DAX, po Data Engineering w AWS i Azure z Pythonem, zrobiłem też certa z Data Science, bo firma potrzebowała dodatkowej osoby z certyfikatem żeby coś tam uzyskać od MS.
Ogólnie dość sporo się uczę różnych rzeczy, ale mam wrażenie że przez to na niczym się porządnie nie znam ( ͡° ͜ʖ
Ogólnie dość sporo się uczę różnych rzeczy, ale mam wrażenie że przez to na niczym się porządnie nie znam ( ͡° ͜ʖ
@kijanu_riws: jak ogarniasz wszystko po troche to pojdziesz w portfolio i bedzie git
@kijanu_riws: o to tak jak ja, DS, chmury, data engineering, powerbi, daxy, sqle, pandasy, sklearny, r , tablo a finalnie potem wszystkiego liznąłem ale nigdzie człowiek nie jest ekspertem ( ͡° ʖ̯ ͡°)
Jeżeli mielibyście wybrać ścieżkę rozwoju #dataanalyst #dataengineering w chmurze to lepiej #azure czy #gcp? Pracuje w dużej firmie #bigdata, wszystkie certyfikaty są sponsorowane przez firmę, ale nie chce się uczyć dwóch technologii jednocześnie i chciałbym się określić. Technologia zależy głównie od projektu, większą wiedzę mam obecnie z GCP.
Z certow mam
AZ-900
DP-900
Google
Z certow mam
AZ-900
DP-900
- 8

@JaTobieTyMi: Azure jest raczej bardziej popularne wśród korpo ze względu na Active Direcotry, a amerykańskie startupy wolą GCP.
Ile można dostać na rękę na lvl juniora w programowaniu statystycznym/analitycznym w #sas4gl #datascience #dataengineering
#programowanie?
#programowanie?
@Matis666: tyle samo co data analyst, gdzie jest to roznie rozumiane dla kazdej firmy i niestety od 4 do 40 k xD
Chciałbym zamiast BI/ETL developerem, zostać Data Engineerem. Czego powinienem się uczyć?
Co umiem:
-SQL, T-SQL
-ETL toole (Azure Data Factory, SSIS i inne)
-Raportowanie: Power BI, Excel, Tableau, Reporting Services
Co umiem:
-SQL, T-SQL
-ETL toole (Azure Data Factory, SSIS i inne)
-Raportowanie: Power BI, Excel, Tableau, Reporting Services
@przecietnyczlowiek: Moim zdaniem Linux - tj. ogólna znalomość systemów unixowych tak, aby dostać dostęp przez SSH do czegoś, i nie panikować kiedy trzeba wykonać kilka komend, coś przepajpować i następnie posłać wyniki do SQLowej (lub nie) bazy danych.
Aktualnie sam szukam kogoś kto nadaje się do tematów bazodanowych. Coś pomiędzy Data Engineer a Business Analyst. W każdym razie, stack większości zintegrowanych u mnie systemów jest mocno linuksowy, i taki pozostanie.
Aktualnie sam szukam kogoś kto nadaje się do tematów bazodanowych. Coś pomiędzy Data Engineer a Business Analyst. W każdym razie, stack większości zintegrowanych u mnie systemów jest mocno linuksowy, i taki pozostanie.
@przecietnyczlowiek: https://awesomedataengineering.com/
Do tego dorzucę Gita (prosta sprawa akurat), podstawy Linuxa, ogarnąłbym sobie podstawy clouda np. zrób certa Azure Data Fundamentals (wbij się na microsoftowe virtual training day i dostaniesz voucher za darmo)
Do tego dorzucę Gita (prosta sprawa akurat), podstawy Linuxa, ogarnąłbym sobie podstawy clouda np. zrób certa Azure Data Fundamentals (wbij się na microsoftowe virtual training day i dostaniesz voucher za darmo)
- 0
Jest tu ktoś kto zmieniał całkowicie branże i poszedł w Data / Data science / Data engineering i chciałby opowiedzieć co i jak?
#it #sql #datascience #dataengineering #datascience
#it #sql #datascience #dataengineering #datascience
Czolem #bigdata #dataengineering
Znacie jakieś pozycje książkowe/serię artykułów, które są biblią bigdata? Chodzi mi o wysoko poziomową prezentacje tematu, rodzaj wstępu zawierający może ogólne pojęcia tj data lake, etl, może ogólne przedstawienie narzedzi. Chciałbym zacząć iść w tą stronę, więc chce sprawdzić i podbudować swoje zrozumienie tematu
Dzięki z góry
Znacie jakieś pozycje książkowe/serię artykułów, które są biblią bigdata? Chodzi mi o wysoko poziomową prezentacje tematu, rodzaj wstępu zawierający może ogólne pojęcia tj data lake, etl, może ogólne przedstawienie narzedzi. Chciałbym zacząć iść w tą stronę, więc chce sprawdzić i podbudować swoje zrozumienie tematu
Dzięki z góry
Treść przeznaczona dla osób powyżej 18 roku życia...
- 12
@jedrek1212: od 9 euro/h
Nie ma za co.
Nie ma za co.
@jedrek1212 niekoniecznie musisz znać NL żeby się zatrudnić. Profesjonalny ENG w zupełności wystarczy.
Dam ci zabawny przykład, tydzień temu znajomy pomagał Ukraince meldować się w gminie jako uchodźca, było to w czwartek, gmina mała, kiedy poznali jej zawód z miejsca zaproponowali jej pracę ktora zaczęła w poniedziałek. Pracowała w Kijowie dla firmy IT, tu w Belgii poniżej jej możliwości ale na początek nie ma co marudzić bo gmina w pakiecie dorzuciła
Dam ci zabawny przykład, tydzień temu znajomy pomagał Ukraince meldować się w gminie jako uchodźca, było to w czwartek, gmina mała, kiedy poznali jej zawód z miejsca zaproponowali jej pracę ktora zaczęła w poniedziałek. Pracowała w Kijowie dla firmy IT, tu w Belgii poniżej jej możliwości ale na początek nie ma co marudzić bo gmina w pakiecie dorzuciła
- 0
poleca ktoś jakiś kurs/ćwiczenia gdzie można się podszkolić w operacjach na tabelach typu dataframe? chodzi mi o nabranie wprawy w joinach, groupby i innych transformacjach. Fajnie by bylo poznać jakieś zaawansowane techniki itp itd.
#python #pandas #numpy #dataengineering
#python #pandas #numpy #dataengineering
- 15
Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
źródło: comment_1646820592QwqQ6VLD4OTjBYP507yOdP.jpg
Pobierz@SwissDevJobs: Mam tak właśnie od dwóch tygodni, że ani w domu, ani w pracy nie programuję. Właściwie dzięki wojnie jestem chwilowo bezrobotny. Czuję już, że wyparuje mi z głowy trochę wiedzy
- 13
Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
źródło: comment_1643797161u4OUtXcMjp9bIifMS2yoGj.jpg
Pobierz#anonimowemirkowyznania
Mireczki, Od 3 lat pracuje jako analityk danych i teraz chciałbym spróbować swoich sił bardziej jako data engineer. Coś tam umiem w Pythonie, coś tam w SQL, technologie jakie się używa też mi są mniej więcej znane bo pracuje w podobnym obszarze. Ogólnie myśle, że na juniora bym się mógł gdzieś załapać. No i tutaj pojawia się pytanie jak efektywnie szukać pracy? Ogłoszeń na juniora jest w sumie dosyć
Mireczki, Od 3 lat pracuje jako analityk danych i teraz chciałbym spróbować swoich sił bardziej jako data engineer. Coś tam umiem w Pythonie, coś tam w SQL, technologie jakie się używa też mi są mniej więcej znane bo pracuje w podobnym obszarze. Ogólnie myśle, że na juniora bym się mógł gdzieś załapać. No i tutaj pojawia się pytanie jak efektywnie szukać pracy? Ogłoszeń na juniora jest w sumie dosyć
- 10
Boje się trochę spalonych mostów, że jak gdzieś się teraz nie załapie bo po prostu jestem za słaby to w przyszłości dla tej firmy,
@AnonimoweMirkoWyznania:
To się teraz zastanów, czy w takiej firmie chciałbyś pracować ( ͡° ͜ʖ ͡°)
- 0
Boje się trochę spalonych mostów, że jak gdzieś się teraz nie załapie bo po prostu jestem za słaby to w przyszłości dla tej firmy, nawet na inne stanowisko będę już spalony, nie wiem w sumie jak to wygląda od strony #rekrutacja
@AnonimoweMirkoWyznania: Nie wiem jak to działa w DS, ale w programowaniu po prostu jest okres karencji po oblaniu rekrutacji (z reguły 1 rok) i tyle.
- 1
tldr: szukam tutoriala do Kafki, który będzie długi, możliwie nie kosztował 800zł za całość (jak jakiś kurs na udemy) i nie będzie zawierał łamanego angielskiego hindusa.
Hej, szukałem i nic sensownego nie znalazłem. Ma ktoś może do polecenia jakiś ciekawy kurs, który dosyć dokładnie wytłumaczy (pewnie z 8h+) Kafkę? Aktualnie w robo piszę głównie pipeliny, które korzystają z danych aktualizowanych max. raz dziennie, ew. codzienny webscraping, a do schedulowania używany jest Airflow,
Hej, szukałem i nic sensownego nie znalazłem. Ma ktoś może do polecenia jakiś ciekawy kurs, który dosyć dokładnie wytłumaczy (pewnie z 8h+) Kafkę? Aktualnie w robo piszę głównie pipeliny, które korzystają z danych aktualizowanych max. raz dziennie, ew. codzienny webscraping, a do schedulowania używany jest Airflow,
Mirki, czy znacie jakieś stronki z danymi statystycznymi, którymi mógłbym się pobawić?
#datascience
#dataengineering
#programowanie
#datascience
#dataengineering
#programowanie
@TheGreatCornholio: kaggle to taka pierwsza automatyczna odpowiedź. Z danych statystycznych to np strony Gusu czy instytucji unijnych: https://ec.europa.eu/eurostat/data/database
Komentarz usunięty przez autora
W pracy mam projekt gdzie pracujemy na Hadoop, Hive, Apache NiFi, Pysparku i Tableau. Mam pewien task do zrobienia: odpalać shellowy skrypt jeżeli tabela w bazie danych zostanie zaktualizowana. Jest jakiś processor w nifi który nasłuchuje i sprawdza czy wpadły nowe rekordy do tabeli? Nie wiem jak to zrobić, nie chce odpalać zapytania sql co minutę i sprawdzać ilość rekordów. Czy jest coś lepszego co mogę użyć?
#programowanie #bigdata
#programowanie #bigdata
- 0
@informatyk: pytanie brzmi czy nie zarżnę bazy wykonując często takie zapytania?
@PiotrokeJ: jak tabela w bazie danych to może jakis trigger styknie? Jaka to baza?
- 20
Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
źródło: comment_1637146504dGplFndNOzAAF6ppVM6cKI.jpg
Pobierz- 2
- 2
a cos z sysadm będzie?
@Wielki_Wladca_Wypoku: Jak nakażą robotom zawsze odczekać kilka dni do tygodnia zanim coś zrobią, to admini mogą być zagrożeni. ;P
























#programista15k #dataengineering #businessintelligence #pracait
źródło: comment_1671400048GKrkL0zaERFgoqshDIFC9C.jpg
PobierzCo do samego snowflake, to tez ostatnio widze hype na to, zarowno w sieci, jak i u klientow. Moja