#dataengineering - strona 3

19.03.2022, 10:47:10

0

poleca ktoś jakiś kurs/ćwiczenia gdzie można się podszkolić w operacjach na tabelach typu dataframe? chodzi mi o nabranie wprawy w joinach, groupby i innych transformacjach. Fajnie by bylo poznać jakieś zaawansowane techniki itp itd.

#python #pandas #numpy #dataengineering

jszafran

19.03.2022, 12:46:10

1

@FantaZy: Obczaj https://github.com/guipsamora/pandas_exercises

FantaZy

19.03.2022, 14:57:59

0

@jszafran: thx, dokladnie o cos takiego mi chodzi... learning by doing...

SwissDevJobs

09.03.2022, 10:18:45

15

Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

-------------------------------------------------------------------------------------------------------------------------------------------

Senior Data Engineer, Remote (EU) | Futurae Technologies AG
[Zurich] [65’000 - 75’000 CHF] [Senior] [Full-Time] [English] [Remote]
https://swissdevjobs.ch/jobs/Futurae-Technologies-AG-Senior-Data-Engineer-Remote-EU

Data

SwissDevJobs - Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataen... — **źródło:** comment_1646820592QwqQ6VLD4OTjBYP507yOdP.jpg
Pobierz

U.....a

konto usunięte 10.03.2022, 11:18:19

0

@SwissDevJobs: Mam tak właśnie od dwóch tygodni, że ani w domu, ani w pracy nie programuję. Właściwie dzięki wojnie jestem chwilowo bezrobotny. Czuję już, że wyparuje mi z głowy trochę wiedzy

SwissDevJobs

02.02.2022, 10:20:43

13

Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

-----------------------------------------------------------------------------------------------------------------------

Junior Financial Data Engineer | SILEX
[Genève] [70’000 - 90’000 CHF] [Junior] [Full-Time] [English]
https://swissdevjobs.ch/jobs/SILEX-Junior-Financial-Data-Engineer

Data Engineer | Covario AG

AnonimoweMirkoWyznania

20.01.2022, 10:56:06 via AMWv2

4

#anonimowemirkowyznania
Mireczki, Od 3 lat pracuje jako analityk danych i teraz chciałbym spróbować swoich sił bardziej jako data engineer. Coś tam umiem w Pythonie, coś tam w SQL, technologie jakie się używa też mi są mniej więcej znane bo pracuje w podobnym obszarze. Ogólnie myśle, że na juniora bym się mógł gdzieś załapać. No i tutaj pojawia się pytanie jak efektywnie szukać pracy? Ogłoszeń na juniora jest w sumie dosyć mało, myślałem

mutencath

20.01.2022, 11:25:12

10

Boje się trochę spalonych mostów, że jak gdzieś się teraz nie załapie bo po prostu jestem za słaby to w przyszłości dla tej firmy,

@AnonimoweMirkoWyznania:
To się teraz zastanów, czy w takiej firmie chciałbyś pracować ( ͡° ͜ʖ ͡°)

Strus

20.01.2022, 15:24:09

0

Boje się trochę spalonych mostów, że jak gdzieś się teraz nie załapie bo po prostu jestem za słaby to w przyszłości dla tej firmy, nawet na inne stanowisko będę już spalony, nie wiem w sumie jak to wygląda od strony #rekrutacja

@AnonimoweMirkoWyznania: Nie wiem jak to działa w DS, ale w programowaniu po prostu jest okres karencji po oblaniu rekrutacji (z reguły 1 rok) i tyle.

Dorken

16.01.2022, 18:50:51

1

tldr: szukam tutoriala do Kafki, który będzie długi, możliwie nie kosztował 800zł za całość (jak jakiś kurs na udemy) i nie będzie zawierał łamanego angielskiego hindusa.

Hej, szukałem i nic sensownego nie znalazłem. Ma ktoś może do polecenia jakiś ciekawy kurs, który dosyć dokładnie wytłumaczy (pewnie z 8h+) Kafkę? Aktualnie w robo piszę głównie pipeliny, które korzystają z danych aktualizowanych max. raz dziennie, ew. codzienny webscraping, a do schedulowania używany jest Airflow,

Hadzik

16.01.2022, 19:03:49

3

@Dorken: ja robiłem Kafka i Kafka Connect od Stephane Maarek, nie było to wybitne ale można było się czegoś nauczyć

Dorken

16.01.2022, 20:02:24 via Android

1

@w__k ee?

TheGreatCornholio

14.12.2021, 11:32:24

1

Mirki, czy znacie jakieś stronki z danymi statystycznymi, którymi mógłbym się pobawić?

#datascience
#dataengineering
#programowanie

o.....6

konto usunięte 14.12.2021, 11:34:41

2

@TheGreatCornholio: kaggle to taka pierwsza automatyczna odpowiedź. Z danych statystycznych to np strony Gusu czy instytucji unijnych: https://ec.europa.eu/eurostat/data/database

hora_curka

14.12.2021, 11:34:59

2

Komentarz usunięty przez autora

PiotrokeJ

17.11.2021, 22:08:24

0

W pracy mam projekt gdzie pracujemy na Hadoop, Hive, Apache NiFi, Pysparku i Tableau. Mam pewien task do zrobienia: odpalać shellowy skrypt jeżeli tabela w bazie danych zostanie zaktualizowana. Jest jakiś processor w nifi który nasł#!$%@? i sprawdza czy wpadły nowe rekordy do tabeli? Nie wiem jak to zrobić, nie chce odpalać zapytania sql co minutę i sprawdzać ilość rekordów. Czy jest coś lepszego co mogę użyć?

#programowanie #bigdata #dataengineering
#nifi

PiotrokeJ

18.11.2021, 00:35:55

0

@informatyk: pytanie brzmi czy nie zarżnę bazy wykonując często takie zapytania?

plusujemny

18.11.2021, 08:31:49 via Wykop Mobilny (Android)

0

@PiotrokeJ: jak tabela w bazie danych to może jakis trigger styknie? Jaka to baza?

SwissDevJobs

17.11.2021, 10:57:07

20

Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

----------------------------------------------------------------------------------------------------------------------------------

Senior Data Science Architect | SEBA Bank AG
[Zug] [120’000 - 145’000 CHF] [Senior] [Full-Time] [English]
https://swissdevjobs.ch/jobs/SEBA-Bank-AG-Senior-Data-Science-Architect

Data Engineer |

saif3r

17.11.2021, 11:01:52

2

SEBA Bank AG

@SwissDevJobs: ( ͡° ͜ʖ ͡°)

w__k

17.11.2021, 11:41:12

2

a cos z sysadm będzie?

@Wielki_Wladca_Wypoku: Jak nakażą robotom zawsze odczekać kilka dni do tygodnia zanim coś zrobią, to admini mogą być zagrożeni. ;P

PiotrokeJ

10.11.2021, 09:34:03

0

Cześć, dostałem mały projekt w pracy w pysparku. Mała transformacja danych i wrzucenie wyników do nowej tabeli. W punktach opiszę co trzeba zrobić:
1. 4 uniony
2. Pobrać tabelę z mappingiem
3. Zrobić joina (te 4 uniony i mapping)
5. Przerobić 2 kolumny na podstawie wartości, i dodać dwie puste kolumny
4. Wykonać prostą agregacje danych -> groupby po 5 kolumnach.
6. Wrzucić wyniki do nowej tabeli

Tabela z unionami ma łącznie

o.....6

konto usunięte 10.11.2021, 09:36:45

2

@PiotrokeJ: 7k rekordów w sparku? Jebnij im to w sql, pandas albo excelu.

inny_89

26.11.2021, 11:51:32

1

Apache Ambari

@PiotrokeJ: To już jest kwestia samego zarządzania (wybacz ale nie mam pojęcia jak to inaczej ubrać w słowa) translacją samego SQL na MapReduce na Hadoopie.

W tym przypadku Hadoop trochę inaczej ogarnia takie zapytanie niż spark. Dlatego jak odpalasz coś bezpośrednio na hadoopie to możesz dostać wyniki (błędne lub dobre), a w sparku już nie.

W bardzo prostych słowach i bardzo ogólnie (pomijając wszelkie niuanse) wytłumaczono to tutaj:
https://searchdatamanagement.techtarget.com/definition/SQL-on-Hadoop

SwissDevJobs

13.10.2021, 08:45:07

8

Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

----------------------------------------------------------------------------------------------------------------------------------------------------

Data Engineer | Covario AG
[Zug] [80’000 - 120’000 CHF] [Regular] [Full-Time] [English]
https://swissdevjobs.ch/jobs/Covario-AG-Data-Engineer

Senior Data Scientist - Growth team

SwissDevJobs

08.09.2021, 08:56:07

9

Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

------------------------------------------------------------------------------------------------------------------------------------

Senior Data Scientist - Growth team | Smallpdf GmbH
[Zurich] [120’000 - 120’000 CHF] [Senior] [Full-Time] [English]
https://swissdevjobs.ch/jobs/Smallpdf-GmbH-Senior-Data-Scientist---Growth-team

Senior Data

SwissDevJobs

04.08.2021, 09:21:39

5

Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

-----------------------------------------------------------------------------------------------------------------------------------
Data Engineer | Covario AG
[Zug] [80’000 - 120’000 CHF] [Regular] [Full-Time] [English]
https://swissdevjobs.ch/jobs/Covario-AG-Data-Engineer

Internship Programme in Big Data Engineering

f.....-

konto usunięte 05.08.2021, 17:02:35

0

Komentarz usunięty przez moderatora

SwissDevJobs

23.06.2021, 09:30:35

8

Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

--------------------------------------------------------------------------------------------------------------------------------

Data Engineer (Lausanne) | Unit8 SA
[1008 Prilly] [80’000 - 110’000 CHF] [Regular] [Full-Time] [English]
https://swissdevjobs.ch/jobs/Unit8-SA-Data-Engineer-Lausanne

Senior Data Warehouse Architect

neekerit

27.05.2021, 13:31:59

0

Siema mirki. Mam rozmowę na posadę Data Engineering Intern w Santanderze. Ktoś miał może taką rozmowę i chce się podzielić pytaniami( nie chodzi o santandera ale ogólnie na podobne stanowisko)? Nie powiem stack wymagany jest dosyć spory(Tableau, Spark, Kafka, Hadoop, Python, Flink, roziązania Cloudowe). Podstawy mam dosyć dobre jeżeli chodzi o Big Data, Hurtownie Danych i robiłem trochę we wszystkim zwłaszcza w PySpark, ale nadal się trochę cykam. ( ͡° ͜

Popcornn1

27.05.2021, 20:43:54

1

Spore wymagania jak na Interna :O

neekerit

28.05.2021, 13:11:28

1

@Popcornn1: Już po. Spoko było chyba. Pytanka typowo pythonowe z przykładami kodów co robią(lambdy, jakieś funkcje, listy etc.), zadanka jakieś logiczne i wyjaśnienie co to hurtownie danych, po co są, etc. Ogółem specyficzna bardzo rozmowa bo nie było żadnych pytań z sekcji soft skill(dla mnie na plus mocno) i sami prowadzący rozmowy byli koks. (⌐ ͡■ ͜ʖ ͡■)

SwissDevJobs

19.05.2021, 09:06:54

3

Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Data Engineer | Covario AG [Zug] [80’000 - 120’000 CHF] [Regular] [Full-Time] [English]
https://swissdevjobs.ch/jobs/Covario-AG-Data-Engineer

Big Data Engineer | Swissquote [Gland]

SwissDevJobs

14.04.2021, 10:02:44

11

Kilka ofert z kategorii #datascience, #dataengineering i okolic, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)

(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter | Facebook)

Tag do obserwowania / czarnolistowania: #swissdevjobs

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Senior ML Engineering Consultant | Innovation Process Technology AG [Zurich] [125’000 - 140’000 CHF] [Regular] [Full-Time] [German]
https://swissdevjobs.ch/jobs/Innovation-Process-Technology-AG-Senior-ML-Engineering-Consultant

Senior Data Engineering Consultant

SwissDevJobs - Kilka ofert z kategorii #datascience, #dataengineering i okolic, dla c... — **źródło:** comment_1618394521GDmLmIaW6WCCsYediVXJcU.jpg
Pobierz

inny_89

25.07.2020, 22:23:24

3

Witam Przyjaciele,
Mam do speców z #datascience, #machinelearning, #dataengineering i ogólnie #data prośbę o pokierowanie na to jak rozwiązać poniżej opisany poroblem.

Jak widzicie na załączonym obrazku mam rozpisany mocno ogólny ale oddający główną istotę problemu przykład, z którym się mierzę.

Otóż:
1. Mam dwie tablice (dataset.1 i dataset.2) składające się z kolumn: [*id] [Imię] [Nazwisko] [Adres] [Miasto] [NrTel]
2. W dataset.1 bazując na danych teleadresowych, imieniu i

inny_89 - Witam Przyjaciele,
Mam do speców z #datascience, #machinelearning, #dataen... — **źródło:** comment_1595715799r0qzy4X8hJ1zOMabEOs6K9.jpg
Pobierz

Pyxelr

25.07.2020, 23:24:26

2

@inny_89: Nigdy nie przyszło mi mierzyć się z takim problemem, ale szybko wygooglałem, że Twój problem może znaleźć rozwiązanie po zagłębieniu tematu "Fuzzy Matching".

Dla przykładu znalazłem artykuł autora biblioteki splink którą możesz użyć w Sparku. Jeśli dobrze zrozumiałem, to działa ona właśnie na podstawie obliczania prawdopodobieństwa dopasowań, co zostało opisane we wspomnianym wpisie pod nagłówkiem "How it works".
Polecam sprawdzić interaktywne demo zbliżone do Twojego problemu (znalezione w

inny_89

25.07.2020, 23:52:31

2

@Pyxelr: Dziękuję! Na pierwszy rzut oka wydaje mi się, że to dobry trop. Jakoś w moich poszukiwaniach w odmętach internetu za bardzo przywiązałem się do hasła: "Proximate Matching". Teraz jak czytam o "Fuzzy matching" to faktycznie jest to bliskie temu co potrzebuję.

W tygodniu postaram się to sprawdzić w robocie. Jeśli coś z tego wyjdzie to będę wołać z podziękowaniami i wrażeniami. :)

P.....r

konto usunięte 01.08.2018, 15:12:45 via Wykop Mobilny (Android)

7

Mirki, jest tutaj ktos pracujacy, jako Data Engineer? Mam zagadke, poniewaz zaoferowano mi takie stanowisko na internship/traineeship, ale nie mam pojecia, czy to bedzie faktycznie interesujace dla mnie. Lubie machine learning, deep learning, data science, ale data engineering wydaje mi sie mocno backendowym zajeciem, ktore zwyczajnie moze mi sie znudzic. Chcialbym porozmawiac z kims, kto ma z tym stycznosc na codzien, moze to wyglada zupelnie inaczej, niz moje wyobrazenie. Bede bardzo wdzieczny