Wszystko

Najnowsze

Archiwum

PiotrokeJ
  • 0
W pracy mam projekt gdzie pracujemy na Hadoop, Hive, Apache NiFi, Pysparku i Tableau. Mam pewien task do zrobienia: odpalać shellowy skrypt jeżeli tabela w bazie danych zostanie zaktualizowana. Jest jakiś processor w nifi który nasłuchuje i sprawdza czy wpadły nowe rekordy do tabeli? Nie wiem jak to zrobić, nie chce odpalać zapytania sql co minutę i sprawdzać ilość rekordów. Czy jest coś lepszego co mogę użyć?

#programowanie #bigdata
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
Cześć, dostałem mały projekt w pracy w pysparku. Mała transformacja danych i wrzucenie wyników do nowej tabeli. W punktach opiszę co trzeba zrobić:
1. 4 uniony
2. Pobrać tabelę z mappingiem
3. Zrobić joina (te 4 uniony i mapping)
5. Przerobić 2 kolumny na podstawie wartości, i dodać dwie puste kolumny
4. Wykonać prostą agregacje danych -> groupby po 5 kolumnach.
  • 20
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
inny_89
  • 1
Apache Ambari


@PiotrokeJ: To już jest kwestia samego zarządzania (wybacz ale nie mam pojęcia jak to inaczej ubrać w słowa) translacją samego SQL na MapReduce na Hadoopie.

W tym przypadku Hadoop trochę inaczej ogarnia takie zapytanie niż spark. Dlatego jak odpalasz coś bezpośrednio na hadoopie to możesz dostać wyniki (błędne lub dobre), a w sparku już
  • Odpowiedz
neekerit
neekerit
  • 0
Siema mirki. Mam rozmowę na posadę Data Engineering Intern w Santanderze. Ktoś miał może taką rozmowę i chce się podzielić pytaniami( nie chodzi o santandera ale ogólnie na podobne stanowisko)? Nie powiem stack wymagany jest dosyć spory(Tableau, Spark, Kafka, Hadoop, Python, Flink, roziązania Cloudowe). Podstawy mam dosyć dobre jeżeli chodzi o Big Data, Hurtownie Danych i robiłem trochę we wszystkim zwłaszcza w PySpark, ale nadal się trochę cykam. ( ͡° ͜
  • 11
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
inny_89
  • 3
Witam Przyjaciele,
Mam do speców z #datascience, #machinelearning, #dataengineering i ogólnie #data prośbę o pokierowanie na to jak rozwiązać poniżej opisany poroblem.

Jak widzicie na załączonym obrazku mam rozpisany mocno ogólny ale oddający główną istotę problemu przykład, z którym się
inny_89 - Witam Przyjaciele, Mam do speców z #datascience, #machinelearning, #dataen...

źródło: comment_1595715799r0qzy4X8hJ1zOMabEOs6K9.jpg

Pobierz
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Pyxelr
  • 2
@inny_89: Nigdy nie przyszło mi mierzyć się z takim problemem, ale szybko wygooglałem, że Twój problem może znaleźć rozwiązanie po zagłębieniu tematu "Fuzzy Matching".

Dla przykładu znalazłem artykuł autora biblioteki splink którą możesz użyć w Sparku. Jeśli dobrze zrozumiałem, to działa ona właśnie na podstawie obliczania prawdopodobieństwa dopasowań, co zostało opisane we wspomnianym wpisie pod nagłówkiem "How it works".
Polecam sprawdzić interaktywne demo zbliżone do Twojego problemu (znalezione
  • Odpowiedz
inny_89
  • 2
@Pyxelr: Dziękuję! Na pierwszy rzut oka wydaje mi się, że to dobry trop. Jakoś w moich poszukiwaniach w odmętach internetu za bardzo przywiązałem się do hasła: "Proximate Matching". Teraz jak czytam o "Fuzzy matching" to faktycznie jest to bliskie temu co potrzebuję.

W tygodniu postaram się to sprawdzić w robocie. Jeśli coś z tego wyjdzie to będę wołać z podziękowaniami i wrażeniami. :)
  • Odpowiedz
P.....r
P.....r
konto usunięte via Wykop Mobilny (Android)
  • 7
Mirki, jest tutaj ktos pracujacy, jako Data Engineer? Mam zagadke, poniewaz zaoferowano mi takie stanowisko na internship/traineeship, ale nie mam pojecia, czy to bedzie faktycznie interesujace dla mnie. Lubie machine learning, deep learning, data science, ale data engineering wydaje mi sie mocno backendowym zajeciem, ktore zwyczajnie moze mi sie znudzic. Chcialbym porozmawiac z kims, kto ma z tym stycznosc na codzien, moze to wyglada zupelnie inaczej, niz moje wyobrazenie. Bede bardzo wdzieczny
  • 11
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach

Powiązane tagi