[zackson]

chcę napisać web scrapper w Javie który będzie pchał wydarte dane do bazy, potem server w nodejs serwuje strone z tymi danymi. Na czym postawić to wszystko, tak żeby scrapper odpalał się raz na parę dni? W ogóle nie umiem w infrastrukturę. Jakiś #aws ?
#programowanie #devops

[Narrorek]

@zackson: pierw zastanów się nad tym co chcesz scrapować - jeżeli aplikacje np SPA (VUE, react) to będziesz potrzebował headless chrome np.

Co do samego pytania - pewnie najtaniej na GCP z free trialem.

[kszych]

@zackson: możesz użyć springowego mechanizmu do schedulingu:

https://spring.io/guides/gs/scheduling-tasks/

wtedy deployujesz springową apkę gdziekolwiek i ona ogarnia odpalanie tasków cyklicznie, bez jakichś dodatkowych mechanizmów chmurowych.

[Strzalka]

@zackson: scraper na rpi u Ciebie w chacie.
skrapuje sobie tak wykop:
https://consuming-olm-0670.dataplicity.io/mi_top/statistic/all/