[jszafran]

#programowanie #analizadanych
W 2021 chcialem poanalizowac dane dla ofert na rynku IT w Polsce i ustawilem sobie malego crona w AWSie, ktory raz dziennie zaciagal dane z JustJoinIT (z endpointu wystawiajacego wszystkie oferty) i zapisywal otrzymanego JSONa do bucketu w S3. Zarzucilem projekt z braku czasu, natomiast cron dzialal sobie caly czas i nazbieralo sie troche danych - pierwszy zaciagniety dzien to 2021-10-23, a ostatni dzien to 2023-09-25 (no i brakuje 32 dni z powodu #!$%@? kodu lambdy).

Postanowilem opublikowac ten dataset, wiec jak ktos ma ochote pogrzebac w tych danych, to mozna je sciagnac tutaj: https://www.kaggle.com/datasets/jszafranqb/justjoinit-job-offers-data-2021-10-2023-09

1GB po skompresowaniu, ~8.5GB bez kompresji, 1 plik JSON per dzien.

[K.....o]

@jszafran good job mirku ( ͡~ ͜ʖ ͡°)

[Pan_latarka]

@jszafran: Ile pieniędzy ściągnął ci amazon?

[jszafran]

@Kamokamo Dzieki!

@Pan_latarka Compute w calosci za darmo - wszystko we free tierze (Lambda + wywolujacy ja trigger w EventBridge). Za storage place w tej chwili $0.26 (wliczajac podatek) - pliki trzymane jako S3 standard.

[FocentDiutt]

@jszafran: taktyk

[GHJ567]

@jszafran: ciekawi mnie jaka jest różnica między ofertami a faktyczną stawką w umowie. Ja na przykład zostałem kiedyś zatrudniony na kwotę X na stanowisko gdzie w ofercie była kwota od X do Y (w sensie: dolna stawka). Kwota wciąż była dobra, ale takie justjoinit zapewne podając "przeciętne zarobki programisty" obliczy średnią z tych dwóch ( ͡° ͜ʖ ͡°)

[GHJ567]

@jszafran: btw wrzuć to na https://4programmers.net/ tam dużo ludzi zainteresujesz tym

[jszafran]

@GHJ567: Zgadzam sie, ze bylyby to bardzo ciekawe dane (tak jak transakcyjne ceny mieszkan ;)), ale niestety nie do zdobycia. A co do 4programmers: dobry pomysl, stworzylem wlasnie temat https://4programmers.net/Forum/Kariera/370915-dataset_z_danymi_ofert_z_justjoinit_2021_10_2023_09). Dzieki!

[Pasterz30]

@jszafran: @Kamokamo jak chcecie to moge wrzucic to na api + zrobic wizualizacje

[jszafran]

@Pasterz30: jak tylko masz czas i ochote, to "the floor is yours" ;)

[piategogrudnia]

Taktyk