Wszystko

Wszystkie

Archiwum

legion_9000
legion_9000
  • 0
#programista25k #pjatk #bigdata #informatyka #programowanie #programista15k #datascience
Pytanie do osób związanych BI, BD i DS ostatnio zainteresowałem się ta branżą, zawsze lubiłem statystkę i analizowanie danych i tak sobie stwierdziłem ze to chyba to co mogę robić w życiu. Obecnie można powiedzieć ze sql mam dość dobrze opanowanego w python tez coś nie coś potrafię oraz Power Bi. Zastanawiam się nad podyplomowka na pjatk z big data ale analizując program stwierdziłem ze
Sad_poyato
Sad_poyato
  • 1
@legion_9000: Problem z podyplomówkami czy dodatkowymi studiami jest taki, że zajmują bardzo długo, a tylko mały procent wiedzy zostanie w przyszłej pracy przez Ciebie wykorzystany, a reszt w kilka lat pójdzie w zapomnienie. Sam papier może pomoc przy szukaniu pierwszej pracy (większa szansa, że ktoś oddzwoni), ale "przewaga" jaką daje jest niewspółmierna do kosztów czasu jakie trzeba poświecić na jego zdobycie, szczególnie, że przy weryfikacji technicznej już nie ma znaczenia. sama
aczutuse
aczutuse
  • 5
Pamiętajcie se, że jak shardujecie dane czyli dzielicie je na różne partycje to do decydowania na którą partycję #!$%@?ć możecie wybrać:
- klucz np. data
- hash tego klucza

w 1 przypadku przy "range queries" macie elegancko szypko śmiga, ale może się zdarzyć hot spot czyli rekordy rozłożą się nierównomiernie.

w 2 przypadku unikacie hot spota, ale przy "range queries" musicie odpytać każdą partycję ech i jusz tak nie śmiga.
#programowanie #
aczutuse - Pamiętajcie se, że jak shardujecie dane czyli dzielicie je na różne partyc...

źródło: comment_1668022084OlcCgT2m5xpUH29rnodNrV.jpg

Pobierz
hu-nows
hu-nows
  • 0
#bigdata działa wyśmienicie, ledwo czlowiek odebrał mieszkanie i już banki nie wiadomo jak poinformowane podsyłają propozycje ubezpieczenia lub opłacania rachunków i faktur "na jedno kliknięcie"
Arogancky
Arogancky
  • 5
@Metylo: ja na data engeneera dostałem pytania ze SQLa i pytona z listy: 100 popularnych pytań na rozmowę z pytona xD plus czy znam snowflake, powerBI i czy kojarzę co to oltp i olap. Potem miałem zadanie z pytona a ze SQLa nic. Więc zależy jak trafisz - jak gadam z analitykami to czasem mam wrażenie że sami nie ogarniają swoich tematów. Grunt to iść na pierwszą rozmowę i zobaczyć o
AnonimoweMirkoWyznania
AnonimoweMirkoWyznania
  • 4
#anonimowemirkowyznania
Czy #programowanie jest ogólnie trudne? Warto zaczynać przed 30-stką?

W internetach są niestety skrajne opinie na ten temat i jedni mówią TAK - "to dla każdego i polecamy nasz bootcamp", inni NIE – "prawdziwy programista robi to od 6 roku życia". To wszystko na pierwszy rzut oka brzmi też dla osoby spoza IT jak czarna magia – nazwy technologii, funkcji, gdy ktoś opowiada o jakimś projekcie, itd. Dlaczego chciałbym zacząć?
1)
AnonimoweMirkoWyznania - #anonimowemirkowyznania Czy #programowanie jest ogólnie tru...

źródło: comment_16618042821EZBpbWBXeWin2OiPlD1yh.jpg

Pobierz
Bananek2
Bananek2
  • 15
@blacktyg3r: w ogóle cała koncepcja, czy warto coś robić mając >30 jest absurdalna jakby średnia życia to było 35 lat. Czy jest cokolwiek na tym świecie co opłacałoby się robić mając 20 lat, a po 30 by przestawało być warto? Co najwyżej rodzenie dzieci u kobiet po >40 może być kontrowersyjne, ale sytuacja pod względem uczenia się nowych umiejętności 30 latka jest podobna do 20 latka. Ludzie tworzą sobie tylko jakąś
PiotrokeJ
PiotrokeJ
  • 0
Ładuje dane do postgresa, najszybszą metodą jest kopiowanie całej csv do bazy wykorzystując copy_from. Ja nie zapisuje csv tylko zapisują ją w pamięci czyli tworzę stream wykorzystując stringIO. Teraz pytanie jak poradzić sobie z dużymi plikami gdzie będę miał po kilkaset tysięcy/miliony wierszy. Chciałbym aby buffor był doładowywany na bieżąco a z drugiej strony konsumowany czyli dane z bufforu będą kopiowane/wrzucane do bazy danych.
#programowanie #python #bigdata
ludzik
ludzik
  • 0
Ktoś słyszał może o jakiejś pracy na part time w danych? #mssql i #etl here. Mogę przejść sobie na inną bazę ale będzie mi trzeba marginesu że mogę nie znać części ficzerów. Mam #jdg więc niewiele papierologii.

Ewentualnie jakiś open projekt gdzie mógłbym liznąć jakichś współczesnych mechanizmów typu #bigdata czy inne snowflaki
#bazydanych
janek_
janek_
  • 2
@wachlarz149: polecam rozwiązywanie ćwiczeń ze strony sql-ex[kropka]ru wraz z ich kursem. Kurs dotyczy głównie dialektu MS SQL, natomiast ćwiczenia można rozwiązywać w następujących dialektach: MS SQL, MySQL, Oracle oraz PGSQL.
W zadaniach pracujemy na pięciu przykładowych bazach danych (sklep komputerowy, firma recyklingowa, lotnisko, statki, malowanie) i musimy napisać zapytanie, które zwróci wymagane rekordy uwzględniając strukturę danych i relacje istniejące w danej bazie, np. wyświetl producenta najtańszego komputera, albo wyświetl miasta do
asdfghjkl
asdfghjkl
  • 2
@boubobobobou: od accu weather który sprzedaje dane pozyskane z państwowego instytuty metodologicznego. afera była nawet z tym że z podatków amerykanów utrzymywane są instytutu metrologiczne (nawet wojsko i sprzęt wojskowy jest w to angażowany) i jako publiczna instytucja muszą udostępniać dane za darmo a accu weather zarabia na tym
AnonimoweMirkoWyznania
AnonimoweMirkoWyznania
  • 2
#anonimowemirkowyznania
Mirki chciałbym się przebranżowić ale z głową. Nie mam nic wspólnego z IT. Kiedyś bawiłem się w gimpie i jakieś obróki graficzne. Wiem mniej więcej co można robić w IT ale nie wiem co byłoby ciekawe dla mnie więc.. obecnie pracuje z excelem, różne ilości danych, różne raporty. Podoba mi się wyciąganie danych z nich, tworzeniem formuł, kombinowaniem jak je połączyć, jak znaleźć różnicę, itd. Podobaja mi się też projekty (które
clubcard
clubcard
  • 1
@AnonimoweMirkoWyznania: ucz sie Javy, Springa, Postgresa, Kafki, Terraforma, AWSa (SQS, SNS, DynamoDB), Kubernetes, Dockera, z frontu - React. Technologie - REST, OpenAPI.

Rob projekty na githubie, byle co, byle w tych technologiach. Pare pomysłów.
- sklep z rejestracją i obsługą stanów magazynowych
- Facebook bis
- siepomaga bis
- blog z panelem administracyjnym

Postaw to na dockerze a najlepiej AWSie

Zintegruj się z Dotpayem albo PayPalem testowo.

Nie musisz byc bystry
Kielbasiarz
Kielbasiarz
  • 0
Mircy potrzebuje pobrac sobie tweety z danym slowem kluczowym/hastagiem z calego 2021 i 2020 roku.

Zalozylem sobie konto deweloperskie na twitterze ale niestety z tego co widze to zwykly darmowy dostep do ich API obejmuje tylko pobieranie tweetow z ostatnich 7 dni. Sa jakies plany premium i ewentualnie dostep uczelniany do celow resaerchowych.

I tutaj moje pytanie, czy ktos moze pobieral masowo tweety i zna jakis w miare dobry i tani sposob
AnonimoweMirkoWyznania
AnonimoweMirkoWyznania
  • 2
#anonimowemirkowyznania
Chciałabym się przebranżowić na IT. Co sądzicie o liście poniżej? Kolejność podpunktów ma znaczenie a lista zawiera rzeczy, które polecane są dla przebranżawiających się*
Cel listy: ogarnięcie co można robić w IT, znalezienie dla siebie ścieżki pod kątem stopnia trudności i dopasowania pod swoje preferencje później
Stopień trudności: w stosunku do wszystkich pozostałych ścieżek IT dla przeciętnej osoby spoza IT będącej już po studiach

1. Łatwiejsze dla osób spoza IT,
AnonimoweMirkoWyznania - #anonimowemirkowyznania Chciałabym się przebranżowić na IT....

źródło: comment_1654456980NG8XrXBBMQ1mfgVYhXVLFv.jpg

Pobierz
belmond324
belmond324
  • 27
@AnonimoweMirkoWyznania: jak ta lista niby jest zbudowana?! punkty 1. i 3. to mniej więcej jakieś ścieżki rozwoju w IT, natomiast punkt 2. to z dupy wypisane 2 języki programowania xD W C++ można robić zarówno ML jak i backend jak i 10 innych rzeczy, to jest tylko język. Tak jakbyś zrobił listę ścieżek dla budowlańca:
1. malowanie ścian, układanie paneli
2. młotek, śrubokręt
3. układanie płytek
( ͡° ͜ʖ

Powiązane tagi