Wszystko

Najnowsze

Archiwum

neekerit
neekerit
  • 0
Siema mirki. Mam rozmowę na posadę Data Engineering Intern w Santanderze. Ktoś miał może taką rozmowę i chce się podzielić pytaniami( nie chodzi o santandera ale ogólnie na podobne stanowisko)? Nie powiem stack wymagany jest dosyć spory(Tableau, Spark, Kafka, Hadoop, Python, Flink, roziązania Cloudowe). Podstawy mam dosyć dobre jeżeli chodzi o Big Data, Hurtownie Danych i robiłem trochę we wszystkim zwłaszcza w PySpark, ale nadal się trochę cykam. ( ͡° ͜
  • 11
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
inny_89
  • 3
Witam Przyjaciele,
Mam do speców z #datascience, #machinelearning, #dataengineering i ogólnie #data prośbę o pokierowanie na to jak rozwiązać poniżej opisany poroblem.

Jak widzicie na załączonym obrazku mam rozpisany mocno ogólny ale oddający główną istotę problemu przykład, z którym się
inny_89 - Witam Przyjaciele, Mam do speców z #datascience, #machinelearning, #dataen...

źródło: comment_1595715799r0qzy4X8hJ1zOMabEOs6K9.jpg

Pobierz
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Pyxelr
  • 2
@inny_89: Nigdy nie przyszło mi mierzyć się z takim problemem, ale szybko wygooglałem, że Twój problem może znaleźć rozwiązanie po zagłębieniu tematu "Fuzzy Matching".

Dla przykładu znalazłem artykuł autora biblioteki splink którą możesz użyć w Sparku. Jeśli dobrze zrozumiałem, to działa ona właśnie na podstawie obliczania prawdopodobieństwa dopasowań, co zostało opisane we wspomnianym wpisie pod nagłówkiem "How it works".
Polecam sprawdzić interaktywne demo zbliżone do Twojego problemu (znalezione
  • Odpowiedz
inny_89
  • 2
@Pyxelr: Dziękuję! Na pierwszy rzut oka wydaje mi się, że to dobry trop. Jakoś w moich poszukiwaniach w odmętach internetu za bardzo przywiązałem się do hasła: "Proximate Matching". Teraz jak czytam o "Fuzzy matching" to faktycznie jest to bliskie temu co potrzebuję.

W tygodniu postaram się to sprawdzić w robocie. Jeśli coś z tego wyjdzie to będę wołać z podziękowaniami i wrażeniami. :)
  • Odpowiedz
P.....r
P.....r
konto usunięte via Wykop Mobilny (Android)
  • 7
Mirki, jest tutaj ktos pracujacy, jako Data Engineer? Mam zagadke, poniewaz zaoferowano mi takie stanowisko na internship/traineeship, ale nie mam pojecia, czy to bedzie faktycznie interesujace dla mnie. Lubie machine learning, deep learning, data science, ale data engineering wydaje mi sie mocno backendowym zajeciem, ktore zwyczajnie moze mi sie znudzic. Chcialbym porozmawiac z kims, kto ma z tym stycznosc na codzien, moze to wyglada zupelnie inaczej, niz moje wyobrazenie. Bede bardzo wdzieczny
  • 11
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach

Powiązane tagi