[xDrope]

Mam takie rozkminki. Potrzebuję serwera pod crawler/crawlery. Zastanawiam się nad jakimś tanim VPSem lub alternatywnie raspberry pi u mnie na hacjencie. Zastanawiam się co będzie lepszym rozwiązaniem i jakie są wady i zalety obu rozwiązań.
#vps #hosting #raspberrypi

[Mr_Przyjemny]

@xDrope u mnie wyszlo ze malinka ma za slaba moc i skonczylo sie na netbooku (niski pobor pradu + podtrzymanie bateria wbudowane) i tak juz sobie smiga 2 lata bezobsługowo

[JamesMoriarty]

@xDrope: Zależy jak dużo workerków będzie miał crawler i co właściwie poza odwiedzaniem konkretnych lokalizacji będzie jeszcze robił (zapisywał, przetwarzał, podążał za jakimś schematem).

Ja postawiłem sobie lokalnie cluster z Raspberry Pi pod dowództwem Docker Swarm i aktualnie 3 malinki są jego częścią, plus jedna osobno na bazę danych.

[d.....s]

@xDrope: Zależy w jaki sposób i jakie crawlery chcesz mieć. Malinka to urządzenie bardzo budżetowe o niskiej wydajności. Nie wiem co dokładnie robisz ale przy dużym ruchu jak skanujesz duże serwisy mogą ci się pojawić problemy z zgłoszeniami abuse do twojego operatora. Znacznie łatwiej załatwić to w jakimś data center. Moim zdaniem taka zabawa z domu jest kompletnie bez sensu. Mówię to jako osoba która wie jakie problemy powoduje np. masscan

[xDrope]

@Mr_Przyjemny: @JamesMoriarty: właściwie to na początku obstawiałem jako problem czas odpowiedzi strony. Chyba zdecyduję się na VPSa/chmurę i jak będę wiedział ile zasobów potrzebuję to sobie ogarnę coś lokalnego.

@devones: właśnie chyba skończę na jednym z tych rozwiązań, chociaż bardziej z tego powodu, że nie wiem ile zasobów będę potrzebował. Pierwsze crawlery już pisałem i używałem, ale po raz pierwszy będę chciał na poważnie coś postawić.

[JamesMoriarty]

@xDrope: Polecam DigitalOcean do testowania. Naliczają czas pracy serwera za minutę.

[d.....s]

DigitalOcean

@xDrope: Jak chcesz potestować digitalocean nie zapomnij wpisać w google "digitalocean trial" - znajdziesz 100$ na pierwsze 60 dni bezpłatnie ( ͡° ͜ʖ ͡°)

[xDrope]

@JamesMoriarty: super :D, bo same VPSy aruba ma taniej

@devones: ( ͡° ͜ʖ ͡°) dzięki, będzie śmigane