PiotrokeJ
  • 0
Cześć, dostałem mały projekt w pracy w pysparku. Mała transformacja danych i wrzucenie wyników do nowej tabeli. W punktach opiszę co trzeba zrobić:
1. 4 uniony
2. Pobrać tabelę z mappingiem
3. Zrobić joina (te 4 uniony i mapping)
5. Przerobić 2 kolumny na podstawie wartości, i dodać dwie puste kolumny
4. Wykonać prostą agregacje danych -> groupby po 5 kolumnach.
  • 20
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
@inny_89: 1. Ok, postaram się. Jednak chciałbym dowiedzieć się co robię źle.
2. Zrobie left joina po jednej kolumnie:
dfjoined = resultdf.join(dfmapping, resultdf['bill'].cast('int') == df_mapping['stp'], how='left')
3. Tego nie wiem, nie ja zarządzam architekturą
4. GC wyrzuca albo po agregacji jak chciałem zrobić df.count() na tabeli zagregowanej, lub przy inserInto jak chciałem wrzucić dataframe do tabeli SQL (jeżeli nie robie counta to zatrzymuje się na insercie,
  • Odpowiedz
PiotrokeJ
  • 0
@inny_89: @LollyPoop: @ostrykuc666: Przerzuciłem wszystko na sql, jednak cały czas otrzymuje błędy podczas wykonywania insertInto do tabeli. "An error occured while calling o73.insertInto. Job aborted due to stage failure: task 0 i insta 83.0 failed 4 times, most recent failure lost task 0.3 in stage 83.0 TID xxx. java.lang.IndexOutOfBoundsException: toIndex =212". Jakieś pomysły na to? Łącze 4 tabele unionem i ma wyjść 9k rekordów
  • Odpowiedz
PiotrokeJ
  • 1
@inny_89: Dzięki, jedno i drugie działa :) Teraz pytanie z innej beczki, wiesz dlaczego w Apache Ambari kiedy puszczam zapytanie dostaje wyniki, jak puszę identyczne zapytanie przez pysparka i dam np. df.count() albo chce wrzucć dataframe do nowej tabeli do dostaje error An error occured while calling o73.count. Job aborted due to stage failure: task 0 i insta 83.0 failed 4 times, most recent failure lost task 0.3 in stage
  • Odpowiedz
PiotrokeJ
  • 0
W pracy mam projekt gdzie pracujemy na Hadoop, Hive, Apache NiFi, Pysparku i Tableau. Mam pewien task do zrobienia: odpalać shellowy skrypt jeżeli tabela w bazie danych zostanie zaktualizowana. Jest jakiś processor w nifi który nasłuchuje i sprawdza czy wpadły nowe rekordy do tabeli? Nie wiem jak to zrobić, nie chce odpalać zapytania sql co minutę i sprawdzać ilość rekordów. Czy jest coś lepszego co mogę użyć?

#programowanie #bigdata
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
#wielkabrytania
#uk

19/11 przylatuje do Londynu na kilka dni, potrzebuje kupić 7 testów antygenowych. Czy udało się komuś znaleźć taniej niż 15 funtów z przesyłką lub ewentualnie z odbiorem gdzieś w 1/2 strefie w Londynie?
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 3
#stolarz #slask #katowice #remontujzwykopem

Poszukuje stolarza który wykona zabudowę kuchni, salonu, łazienki, sypialni i szafę wnękową. Najlepiej gdyby stolarzowi odpisywał na maile/sms chociaż raz w tygodniu. Trzymał się w miarę terminów i nie robił fuszerki. Macie jakiś zaufanych stolarzy?
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
piiar
piiar
  • 4
@PiotrokeJ nie wiem jak na Śląsku ale w Małopolsce nie ma stolarzy o podanych parametrach:-) pojawiają się jak odklikuje okienko termin albo fuszerka (zamiennie) :-)))))
  • Odpowiedz
PiotrokeJ
  • 0
Mam samochód w leasingu. Chce zrobić cesję i wziąć coś innego. Jeżeli chce 25k netto odstępnego to na fvat wystawiam 30750zł. Nie korzystam z kilometrówki, także odliczam tylko 50%vatu. Czy jak wystawiam fvat na odstępne to muszę oddać 100% vatu czy tylko 50%?

#jdg #cesja #leasing
#podatki
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
Szukam słuchawek bezprzewodowych nausznych. Potrzebuje do telekonferencji, muzyki, filmów i gier. Po prostu do wszystkiego. Zależy mi na niskim opóźnieniu(żeby nie było problemu podczas oglądania filmów), dobrym dźwięku. ANC wskazane ale nie musi być jakieś super wypaśne. Budżet 1200-1500zł. Teraz jest promocja na Sony MX4 - 1179zł. Czy warto je brać w tej cenie? Czy lepiej MX3 za 950zł? Chyba że w tym budżecie znajdziemy coś lepszego?

#komputery #sony
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
#leasing #motoryzacja

Ktoś może mi wykonać kalkulacje lub podpowiedzieć na jaki maksymalny wykup mogę liczyć przy aucie za 170000zł brutoo rocznik 2017 i 230000 brutto rocznik 2020. Oba auta używane. Chciałbym wpłacić maksymalnie 10% i rozłożyc na największą ilość rat np. 59/60.
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 3
Ale p------a akcja, zamówiłem RTX3070 w grudniu (za pobraniem). Nawet o tym zamówieniu zapominałem bo już gdzie indziej zamówiłem kartę graficzną. Dzisiaj dzwoni x-kom i pytają czy mogą anulować zamówienie w zamian dadzą mi bon na 500zł na zakupy w xkomie. Inny sklep pewnie by anulował i nawet maila nie wysłał. Trochę ich szanuje za takie podejście do klienta.
#xkom #sklepinternetowy #kartygraficzne #komputery
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
majk3l
  • 4
Gdybyś takich zamówień miał np. 100 z różnych emaili to byś dostał bony na 50000.


@ptt_: a nie, bo już dawno po prostu anulowali jak ktoś miał więcej niż jedno. chyba w marcu.
  • Odpowiedz
PiotrokeJ
  • 0
#wakacje #biuropodrozy #itaka
Cześć, mam problem z reklamacją w Itace. Byłem w czerwcu na wakacjach - wycieczka wykupiona w Itace. Na miejscu okazało się że zamiast hotelu 5 gwiazdkowego dostaliśmy 4, karaluchy pierwszego dnia - pomogła zmiana pokoju, brak obiadów w restauracjach a'la carte, brak baru na plaży, brak bezpłatnych leżaków. Ogólnie sporo słabiej niż planowaliśmy. Różnica w cenie miedzy tymi dwoma wycieczkami to około 700zł/os.
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
Jaki największy wykup mogę mieć na auto nowe (2021 rocznik) z okresem 71/72mc. Przy wpłacie 0/10 lub 20%. Interesuje mnie Stinger nowy a oferta Kii jest średnia. Cena auta 240k brutto.

#leasing
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
#czarnogora #chorwacja #austria #slowacja #wakacje #leasing
Planuje wakacje zagranicą. Chce pojechać samochodem jednak samochód mam w leasingu. Wiem że potrzebuje upoważnienie na wyjazd zagranicę. Czy potrzebuję upoważnienia potwierdzonego notarialnie? Czy wystarczy mi opcja 1 lub 2? Opcja nr 3 kosztuje 150 netto więc wolałbym to przeznaczyć na obiad w Czarnogórze.

Upoważnienie wygenerowane automatycznie (bez podpisu pracownika mLeasing)
Upoważnienie podpisane cyfrowo
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
Czy macie jakieś polecane noclegi w #czarnogora. Wybieramy się na samochodem na około tydzień. Jeszcze nie zdecydowaliśmy w którym mieście zostajemy. W które miasto/region powinienem celować aby mieć dobrą bazę wypadową i jak najwięcej zobaczyć a zarazem żeby też w okolicy była jakaś fajna plaża
#czarnogora #wakacje #podroze
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
Czy da radę zrobić większy wykup niż 30% na samochód z 2020 roku (używany 25k przebiegu - BMW) przy okresie leasingowania 5 lat? Czy 30% to maksimum? Obecna cena to 260k zł brutto.
#leasing
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 1
#bmw #audi #motoryzacja #mercedes #vag #samochody #cupra

Szukam auta, ostatnio mi pomogliście i wybrałem Seata Leon Cupra wersja ST niestety wybrałem FWD i to był błąd. Teraz szukam czegoś mocniejszego lub platformy pod tuning. Budżet 140-150k zł. Obecnie mam Cuprę ST290 KM. Szukam czegoś mocniejszego jednak zauważyłem że w tym budżecie ciężko jest coś znaleźć. BMW M2 za
  • 14
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
piwakk
piwakk
  • 1
@PiotrokeJ: No 290KM przy trakcji na przód to domyślam się, że dramat. Ja mam inne auto, ale około 230KM na przód i jest ciężko jak jest chociaż trochę mokro ( ͡° ͜ʖ ͡°) Ostatnio wracałem w nocy, wcześniej jechało auto co myje drogę i nie byłem w stanie ruszyć szybko, bo koła mieliły w miejscu...

Znajdziesz S3 w takim budżecie. Przykładowo:

https://www.otomoto.pl/oferta/audi-s3-krajowy-vat-23-mmi-navigation-ID6DMOP2.html#26824ecccc
  • Odpowiedz
PiotrokeJ
  • 2
Chce w mieszaniu zbudować sobie namiastkę inteligentnego domu. Zależy mi aby z jednej aplikacji kontrolować temperaturę (klimatyzacja + grzejniki - smart głowice), światło, smart gniazdka jak i czujniki ruchu lub otwarcia drzwi/okien. Z czasem może kontrola nad roletami. Ogólnie chodzi o to aby system był przyszłościowy i z czasem będę mógł dołożyć kolejne elementy. Budżetu nie mam sprecyzowanego, zależy mi na stabilności jednak dobrze by było gdyby wyszło taniej niż Fibaro.
Jaki
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
dran2
  • 3
@PiotrokeJ Homasistant + conbee + zigbee2mqtt, daje ci to dostęp do tysięcy urządzeń zigbee i wifi od różnych producentów z których możesz już sobie wybierać w zależności od potrzeb.
  • Odpowiedz
d.....r
d.....r
  • 1
@PiotrokeJ: wszystko zależy od pieca.
DeDietrich - współpracuje z Somfy
Bosch/Buderus - fajne ale zamknięte rozwiązanie.
Viessmann - da się zintegrować z homeassistant

Ja poszedłem w Boscha i mam wszystko sterowane z ich apkami. Mam na myśli pralkę, suszarkę, ogrzewanie. Działa out of
  • Odpowiedz

Osiągnięcia