SRzeyamlon
Wyobraźcie sobie, że jest 50 tysięcy PDFów, każdy zapisany zgodnie z widzi misię autora, ale każdy ma wspólną część danych (np. przychody firmy, ilość pracowników - tylko różnie są zapisane, np. w tabelce lub bez)

Da się to jakoś poukładać wrzucając w jakiś soft, aby wyciągnąć excela z tymi informacjami + informacjami nie pasującymi do wzoru? (czyli jakiś OCR + jakieś wstępne poukładanie danych zgodnie z regułami, które trzeba wymyślić)?

Jakieś wskazówki
  • Najlepsze
  • Wszystkie komentarze
GienekZFabrykiOkienek
@SRzeyamlon: Stażyści ( ͡° ͜ʖ ͡°)
Supaplex
@SRzeyamlon: albo praktykanci ( ͡° ͜ʖ ͡°)
AnonimoweMirkoWyznania
#anonimowemirkowyznania
Mam 35 lat, skończyłem studia techniczne ale nie infe, pracuje w branży nie związanej z IT. Od kilku miesięcy uczę się SQLa i tableau, do tego ogarnąłem sobie podstawy pythona.
Co polecacie nauczyć się samemu w domu żeby dostać zaproszenie na rozmowę dla junior data analysta czy bi developera? Robię teraz portfolio, projekt na podstawie datasetu z kaggle.
Czy ciężko się dostać dostać do obecnie do pierwszej pracy? Czy
  • Najlepsze
  • Wszystkie komentarze
wiaderkoo
@AnonimoweMirkoWyznania: poczytaj o PowerQuery. Jak ogarniasz sql to zajmie Ci to dwa wieczory, a czasem się przydaje.
E.....r
@AnonimoweMirkoWyznania: zależy co chcesz robić. Samo tableau + sql wystarcza aby mieć fajna pracę.
Zrób certyfikat z tableau chociaż 1 poziomu, porób boardy i szukaj roboty
mg1998
mg1998
Siemanko mirki,

Ile zarabiacie jako taki standardowy analityk danych SQL, Python, Excel?

#pracait #analizadanych #datascience #programista15k
#datascience #bigdata #pracait #praca
  • Najlepsze
  • Wszystkie komentarze
jerry_owies
@mg1998: 2500 netto
brakslow
brakslow
@Szumimiwelbie: to jakaś ściema.

@mg1998: po znajomych to tak srednio 7-9k netto, plus premię. Warszawa korpo. Trafiają się perełki, głównie b2b w granicach 20-25k brutto
legion_9000
legion_9000
#programista25k #pjatk #bigdata #informatyka #programowanie #programista15k #datascience
Pytanie do osób związanych BI, BD i DS ostatnio zainteresowałem się ta branżą, zawsze lubiłem statystkę i analizowanie danych i tak sobie stwierdziłem ze to chyba to co mogę robić w życiu. Obecnie można powiedzieć ze sql mam dość dobrze opanowanego w python tez coś nie coś potrafię oraz Power Bi.
  • Najlepsze
  • Wszystkie komentarze
Sad_poyato
Sad_poyato
@legion_9000: Strata czasu, lepiej zrobisz i więcej praktycznych rzeczy się nauczysz jak skupisz się na podstawach łatwo dostępny i dostaniesz do branży, a dalsze kształcenie ukierunkujesz na technologie do których będziesz miał dostęp i z którymi będziesz pracował.
markaron
@legion_9000: Skup się na szukaniu pierwszej pracy w zawodzie i zdobywaniu doświadczenia.
DziewczynkaBezZapalek3
DziewczynkaBezZapalek3
Mireczki, Mirabelki.
Szukam kogoś w trakcie /po studiach podyplomowych z Data science/Big data na Politechnice Warszawskiej, warto? Polecacie?#studiapodyplomowe #datascience #bigdata #opiniaeksperta #opinie #pytaniezdupy
ヽ( ͠°෴ °)ﾉ
a.....e
a.....e
Pamiętajcie se, że jak shardujecie dane czyli dzielicie je na różne partycje to do decydowania na którą partycję w--------ć możecie wybrać:
- klucz np. data
- hash tego klucza

w 1 przypadku przy "range queries" macie elegancko szypko śmiga, ale może się zdarzyć hot spot czyli rekordy rozłożą się nierównomiernie.

w
hu-nows
#bigdata działa wyśmienicie, ledwo czlowiek odebrał mieszkanie i już banki nie wiadomo jak poinformowane podsyłają propozycje ubezpieczenia lub opłacania rachunków i faktur "na jedno kliknięcie"
ode45
ode45
0
Mirki, robił ktoś studia #podyplomowe na Politechnice Warszawskiej na wydziale WEiTI z tematyki #bigdata #datascience lub #businessintelligence ? Poszukuję opinii, czy uważacie ten czas i pieniądze za dobrze spożytkowane czy szkoda prądu?
Interesuje mnie szczególnie, czy nauczanie jest skupione na robieniu projektów pod okiem ludzi z biznesu, czy typowo akademickie.

#studbaza #pracbaza #programowanie #programista15k
  • Najlepsze
  • Wszystkie komentarze
Metylo
Mirki chciałbym aplikować na stanowisko analityka danych (i podobne). Czy macie jakieś tipy co było najważniejszym kryterium dlaczego dostaliście te prace. Pytanie bardziej do świeżaków i osób po innym kierunku studiów niż IT/big data.

#datascience #programowanie #sql #programista15k #bigdata #excel #powerbi
  • Najlepsze
  • Wszystkie komentarze
AnonimoweMirkoWyznania
#anonimowemirkowyznania
Czy #programowanie jest ogólnie trudne? Warto zaczynać przed 30-stką?

W internetach są niestety skrajne opinie na ten temat i jedni mówią TAK - "to dla każdego i polecamy nasz bootcamp", inni NIE – "prawdziwy programista robi to od 6 roku życia". To wszystko na pierwszy rzut oka brzmi też dla osoby spoza IT jak czarna magia – nazwy technologii, funkcji, gdy ktoś opowiada o jakimś projekcie, itd. Dlaczego
  • Najlepsze
  • Wszystkie komentarze
PiotrokeJ
Ładuje dane do postgresa, najszybszą metodą jest kopiowanie całej csv do bazy wykorzystując copy_from. Ja nie zapisuje csv tylko zapisują ją w pamięci czyli tworzę stream wykorzystując stringIO. Teraz pytanie jak poradzić sobie z dużymi plikami gdzie będę miał po kilkaset tysięcy/miliony wierszy. Chciałbym aby buffor był doładowywany na bieżąco a z drugiej strony konsumowany czyli dane z bufforu będą kopiowane/wrzucane do bazy danych.
#programowanie #python #bigdata
  • Najlepsze
  • Wszystkie komentarze
JaTobieTyMi
Jeżeli mielibyście wybrać ścieżkę rozwoju #dataanalyst #dataengineering w chmurze to lepiej #azure czy #gcp? Pracuje w dużej firmie #bigdata, wszystkie certyfikaty są sponsorowane przez firmę, ale nie chce się uczyć dwóch technologii jednocześnie i chciałbym się określić. Technologia zależy głównie od projektu, większą wiedzę mam obecnie z GCP.

Z certow mam
AZ-900
DP-900
Google
  • Najlepsze
  • Wszystkie komentarze
ludzik
Ktoś słyszał może o jakiejś pracy na part time w danych? #mssql i #etl here. Mogę przejść sobie na inną bazę ale będzie mi trzeba marginesu że mogę nie znać części ficzerów. Mam #jdg więc niewiele papierologii.

Ewentualnie jakiś open projekt gdzie mógłbym liznąć jakichś współczesnych mechanizmów typu #bigdata czy inne snowflaki
#bazydanych
  • Najlepsze
  • Wszystkie komentarze
wachlarz149
Chciałbym nauczyć się podstaw #sql #bigdata, macie jakiś polecany kurs albo usystematyzowany sposób nauki? Chciałem zmienić branże i nauczyć się czegoś nowego. W grę wchodzi nawet zmiana pracy.
Nadmienie, że wykształcenie mam ekonomiczne.

#programowanie
  • Najlepsze
  • Wszystkie komentarze
boubobobobou
Skąd apki czy strony typu windy, ventusky, blitzortung biorą dane?
#pogoda #burza #burze #webdev #bigdata
  • Najlepsze
  • Wszystkie komentarze
AnonimoweMirkoWyznania
#anonimowemirkowyznania
Mirki chciałbym się przebranżowić ale z głową. Nie mam nic wspólnego z IT. Kiedyś bawiłem się w gimpie i jakieś obróki graficzne. Wiem mniej więcej co można robić w IT ale nie wiem co byłoby ciekawe dla mnie więc.. obecnie pracuje z excelem, różne ilości danych, różne raporty. Podoba mi się wyciąganie danych z nich, tworzeniem formuł, kombinowaniem jak je połączyć, jak znaleźć różnicę, itd. Podobaja mi się też
  • Najlepsze
  • Wszystkie komentarze
Kielbasiarz
Mircy potrzebuje pobrac sobie tweety z danym slowem kluczowym/hastagiem z calego 2021 i 2020 roku.

Zalozylem sobie konto deweloperskie na twitterze ale niestety z tego co widze to zwykly darmowy dostep do ich API obejmuje tylko pobieranie tweetow z ostatnich 7 dni. Sa jakies plany premium i ewentualnie dostep uczelniany do celow resaerchowych.

I tutaj moje pytanie, czy ktos moze pobieral masowo tweety i zna jakis w miare dobry i tani sposob
  • Najlepsze
  • Wszystkie komentarze

Powiązane tagi