Wszystko

Najnowsze

Archiwum

legion_9000
legion_9000
  • 0
#programista25k #pjatk #bigdata #informatyka #programowanie #programista15k #datascience
Pytanie do osób związanych BI, BD i DS ostatnio zainteresowałem się ta branżą, zawsze lubiłem statystkę i analizowanie danych i tak sobie stwierdziłem ze to chyba to co mogę robić w życiu. Obecnie można powiedzieć ze sql mam dość dobrze opanowanego w python tez coś nie coś potrafię oraz Power Bi.
  • 9
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Sad_poyato
Sad_poyato
  • 2
@legion_9000: Strata czasu, lepiej zrobisz i więcej praktycznych rzeczy się nauczysz jak skupisz się na podstawach łatwo dostępny i dostaniesz do branży, a dalsze kształcenie ukierunkujesz na technologie do których będziesz miał dostęp i z którymi będziesz pracował.
  • Odpowiedz
a.....e
a.....e
  • 5
Pamiętajcie se, że jak shardujecie dane czyli dzielicie je na różne partycje to do decydowania na którą partycję w--------ć możecie wybrać:
- klucz np. data
- hash tego klucza

w 1 przypadku przy "range queries" macie elegancko szypko śmiga, ale może się zdarzyć hot spot czyli rekordy rozłożą się nierównomiernie.

w
a.....e - Pamiętajcie se, że jak shardujecie dane czyli dzielicie je na różne partycj...

źródło: comment_1668022084OlcCgT2m5xpUH29rnodNrV.jpg

Pobierz
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
hu-nows
  • 0
#bigdata działa wyśmienicie, ledwo czlowiek odebrał mieszkanie i już banki nie wiadomo jak poinformowane podsyłają propozycje ubezpieczenia lub opłacania rachunków i faktur "na jedno kliknięcie"
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
ode45
  • 0
Mirki, robił ktoś studia #podyplomowe na Politechnice Warszawskiej na wydziale WEiTI z tematyki #bigdata #datascience lub #businessintelligence ? Poszukuję opinii, czy uważacie ten czas i pieniądze za dobrze spożytkowane czy szkoda prądu?
Interesuje mnie szczególnie, czy nauczanie jest skupione na robieniu projektów pod okiem ludzi z biznesu, czy typowo akademickie.

#studbaza #pracbaza #programowanie #programista15k
  • 22
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
E.....r
  • 4
@ode45: data science to naciaganie na kase. Wiekszego gowna nie znajdziesz. Nic z tego nie wyniesiesz po za stwierdzeniami abys szedl na kolejne szkolenia od sages. Taka gowno reklama za 10k.
  • Odpowiedz
Arogancky
  • 5
@Metylo: ja na data engeneera dostałem pytania ze SQLa i pytona z listy: 100 popularnych pytań na rozmowę z pytona xD plus czy znam snowflake, powerBI i czy kojarzę co to oltp i olap. Potem miałem zadanie z pytona a ze SQLa nic. Więc zależy jak trafisz - jak gadam z analitykami to czasem mam wrażenie że sami nie ogarniają swoich tematów. Grunt to iść na pierwszą rozmowę i zobaczyć
  • Odpowiedz
AnonimoweMirkoWyznania
  • 4
#anonimowemirkowyznania
Czy #programowanie jest ogólnie trudne? Warto zaczynać przed 30-stką?

W internetach są niestety skrajne opinie na ten temat i jedni mówią TAK - "to dla każdego i polecamy nasz bootcamp", inni NIE – "prawdziwy programista robi to od 6 roku życia". To wszystko na pierwszy rzut oka brzmi też dla osoby spoza IT jak czarna magia – nazwy technologii, funkcji, gdy ktoś opowiada o jakimś projekcie, itd. Dlaczego
AnonimoweMirkoWyznania - #anonimowemirkowyznania Czy #programowanie jest ogólnie tru...

źródło: comment_16618042821EZBpbWBXeWin2OiPlD1yh.jpg

Pobierz
  • 14
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Bananek2
  • 15
@blacktyg3r: w ogóle cała koncepcja, czy warto coś robić mając >30 jest absurdalna jakby średnia życia to było 35 lat. Czy jest cokolwiek na tym świecie co opłacałoby się robić mając 20 lat, a po 30 by przestawało być warto? Co najwyżej rodzenie dzieci u kobiet po >40 może być kontrowersyjne, ale sytuacja pod względem uczenia się nowych umiejętności 30 latka jest podobna do 20 latka. Ludzie tworzą sobie tylko
  • Odpowiedz
PiotrokeJ
  • 0
Ładuje dane do postgresa, najszybszą metodą jest kopiowanie całej csv do bazy wykorzystując copy_from. Ja nie zapisuje csv tylko zapisują ją w pamięci czyli tworzę stream wykorzystując stringIO. Teraz pytanie jak poradzić sobie z dużymi plikami gdzie będę miał po kilkaset tysięcy/miliony wierszy. Chciałbym aby buffor był doładowywany na bieżąco a z drugiej strony konsumowany czyli dane z bufforu będą kopiowane/wrzucane do bazy danych.
#programowanie #python #bigdata
  • 12
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
JaTobieTyMi
  • 0
Jeżeli mielibyście wybrać ścieżkę rozwoju #dataanalyst #dataengineering w chmurze to lepiej #azure czy #gcp? Pracuje w dużej firmie #bigdata, wszystkie certyfikaty są sponsorowane przez firmę, ale nie chce się uczyć dwóch technologii jednocześnie i chciałbym się określić. Technologia zależy głównie od projektu, większą wiedzę mam obecnie z GCP.

Z certow mam
AZ-900
DP-900
Google
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
ludzik
  • 0
Ktoś słyszał może o jakiejś pracy na part time w danych? #mssql i #etl here. Mogę przejść sobie na inną bazę ale będzie mi trzeba marginesu że mogę nie znać części ficzerów. Mam #jdg więc niewiele papierologii.

Ewentualnie jakiś open projekt gdzie mógłbym liznąć jakichś współczesnych mechanizmów typu #bigdata czy inne snowflaki
#bazydanych
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
wachlarz149
  • 0
Chciałbym nauczyć się podstaw #sql #bigdata, macie jakiś polecany kurs albo usystematyzowany sposób nauki? Chciałem zmienić branże i nauczyć się czegoś nowego. W grę wchodzi nawet zmiana pracy.
Nadmienie, że wykształcenie mam ekonomiczne.

#programowanie
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
janek_
  • 2
@wachlarz149: polecam rozwiązywanie ćwiczeń ze strony sql-ex[kropka]ru wraz z ich kursem. Kurs dotyczy głównie dialektu MS SQL, natomiast ćwiczenia można rozwiązywać w następujących dialektach: MS SQL, MySQL, Oracle oraz PGSQL.
W zadaniach pracujemy na pięciu przykładowych bazach danych (sklep komputerowy, firma recyklingowa, lotnisko, statki, malowanie) i musimy napisać zapytanie, które zwróci wymagane rekordy uwzględniając strukturę danych i relacje istniejące w danej bazie, np. wyświetl producenta najtańszego komputera, albo wyświetl miasta
  • Odpowiedz
asdfghjkl
  • 2
@boubobobobou: od accu weather który sprzedaje dane pozyskane z państwowego instytuty metodologicznego. afera była nawet z tym że z podatków amerykanów utrzymywane są instytutu metrologiczne (nawet wojsko i sprzęt wojskowy jest w to angażowany) i jako publiczna instytucja muszą udostępniać dane za darmo a accu weather zarabia na tym
  • Odpowiedz
AnonimoweMirkoWyznania
  • 2
#anonimowemirkowyznania
Mirki chciałbym się przebranżowić ale z głową. Nie mam nic wspólnego z IT. Kiedyś bawiłem się w gimpie i jakieś obróki graficzne. Wiem mniej więcej co można robić w IT ale nie wiem co byłoby ciekawe dla mnie więc.. obecnie pracuje z excelem, różne ilości danych, różne raporty. Podoba mi się wyciąganie danych z nich, tworzeniem formuł, kombinowaniem jak je połączyć, jak znaleźć różnicę, itd. Podobaja mi się też
  • 13
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
clubcard
  • 1
@AnonimoweMirkoWyznania: ucz sie Javy, Springa, Postgresa, Kafki, Terraforma, AWSa (SQS, SNS, DynamoDB), Kubernetes, Dockera, z frontu - React. Technologie - REST, OpenAPI.

Rob projekty na githubie, byle co, byle w tych technologiach. Pare pomysłów.
- sklep z rejestracją i obsługą stanów magazynowych
- Facebook bis
-
  • Odpowiedz
Kielbasiarz
  • 0
Mircy potrzebuje pobrac sobie tweety z danym slowem kluczowym/hastagiem z calego 2021 i 2020 roku.

Zalozylem sobie konto deweloperskie na twitterze ale niestety z tego co widze to zwykly darmowy dostep do ich API obejmuje tylko pobieranie tweetow z ostatnich 7 dni. Sa jakies plany premium i ewentualnie dostep uczelniany do celow resaerchowych.

I tutaj moje pytanie, czy ktos moze pobieral masowo tweety i zna jakis w miare dobry i tani sposob
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach

Powiązane tagi