[ojsak]

Siema, mam rozkminę dot. scrapowania danych. Chcę zrobić projekt który polegałby na gromadzeniu danych z API jednej strony internetowej i późniejszej ich analizie używając skryptu Pythona. Problem jest taki ze scrapping planuję puścić bez przerwy przez kilka miesięcy. Co waszym zdaniem byłoby najrozsądniejszym rozwiązaniem w takiej sytuacji? AWS VM, pythonanywhere, mały domowy serwer?
#programowanie #informatyka #python #webscraping #api

[dziekuje]

@ojsak: malinka albo jakikolwiek vps

[wytrzzeszcz]

@dziekuje: @ojsak: albo stary netbook
Ważne by HDD nie karta

[dziekuje]

@ojsak: poszukaj, bo może znajdziesz jakąś promocje gdzie masz rok za darmo.

[l.....i]

@ojsak: u mnie NAS robi 24/7 torrenty + KODI, tam bym to postawił. wygoda że moduły i wersje postawisz takie jak zechcesz...

[b__g]

@ojsak: https://cloud.google.com/free/
12 miesięcy free w tym $300 na usługi (w tym vps). Celuj raczej w coś w czym będziesz mógł zmieniać wyjściowe IP ( ͡° ͜ʖ ͡°) bo nie każdy lubi, gdy się hurtowo pobiera dane.

[ojsak]

@b__g, @dziekuje ja sie obawiam że na free tierach zabraknie mi pojemności, szacuję 30GB mc, blokowanie IP to już inna sprawa

[dziekuje]

@ojsak: No to coś swojego postaw.

[ojsak]

@dziekuje: tak pewnie trzeba będzie zrobić

[dziekuje]

@ojsak: ewentualnie archiwizuj sobie te dane wysyłaj na chmurę ( ͡° ͜ʖ ͡°), albo pobieraj do siebie na PC.