
✨ Obserwuj #mirkoanonim
Mam 5 vpsów (wkrótce będzie 50 albo 500), do każdego mam podpięte duże bloki IPv4, adresacja będzie wykorzystana do data scraping i udostępniania zescrapowanych danych klientom przez json.
Klient będzie łączył się z głównym serwerem z którego zapytanie będzie przesyłane na jeden z vpsów, zwracane na serwer główny i przekazywane klientowi.
Aktualnie w testach cała infrastruktura robi 50 req/sec, docelowo będzie musiała pociągnąć 1-3k req/sec.
50req/s = około 60TB miesięcznie na samo zescrapowanie danych.
Mam dwie opcje do wyboru:
1. Mogę na każdym z vpsów trzymać skrypty pobierające i obrabiające dane - w ten sposób oszczędzam na transferze z racji, że vps wysyła do głównego serwera odpowedź w json.
2. Mogę na każdym VPS zainstalować squida, używać adresacji IP jako proxy i obrabiać dane na głównym serwerze. Taka opcja wydaje mi się prostsza, ale będę musiał wydać więcej na transfer.
Którą opcje byście wybrali i dlaczego ( ͡° ͜ʖ ͡°)?
P.S.
W sumie mógłbym zrezygnować z serwera głównego i zamiast tego postawić load balancer, ale spora część vpsów nie ma (i nie będzie miała) ochrony antyddos... jak konkurencja kupi jakiś ddos to leżym i kwiczym.
#programowanie
#programista15k
#devops
─────────────────────
· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: RamtamtamSi
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
Mam 5 vpsów (wkrótce będzie 50 albo 500), do każdego mam podpięte duże bloki IPv4, adresacja będzie wykorzystana do data scraping i udostępniania zescrapowanych danych klientom przez json.
Klient będzie łączył się z głównym serwerem z którego zapytanie będzie przesyłane na jeden z vpsów, zwracane na serwer główny i przekazywane klientowi.
Aktualnie w testach cała infrastruktura robi 50 req/sec, docelowo będzie musiała pociągnąć 1-3k req/sec.
50req/s = około 60TB miesięcznie na samo zescrapowanie danych.
Mam dwie opcje do wyboru:
1. Mogę na każdym z vpsów trzymać skrypty pobierające i obrabiające dane - w ten sposób oszczędzam na transferze z racji, że vps wysyła do głównego serwera odpowedź w json.
2. Mogę na każdym VPS zainstalować squida, używać adresacji IP jako proxy i obrabiać dane na głównym serwerze. Taka opcja wydaje mi się prostsza, ale będę musiał wydać więcej na transfer.
Którą opcje byście wybrali i dlaczego ( ͡° ͜ʖ ͡°)?
P.S.
W sumie mógłbym zrezygnować z serwera głównego i zamiast tego postawić load balancer, ale spora część vpsów nie ma (i nie będzie miała) ochrony antyddos... jak konkurencja kupi jakiś ddos to leżym i kwiczym.
#programowanie
#programista15k
#devops
─────────────────────
· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: RamtamtamSi
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim

- Najlepsze
- Wszystkie komentarze







─────────────────────
· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: Nighthuntero
SPOF to mogę sam zafundować jak to spieprze( ͡° ͜ʖ ͡°)
Jeżeli masz na myśli że SPOFem będzie serwer do którego klient będzie wysyłał requesty - tutaj uprościłem sprawę bo
Skrypty nie będą się różnić. Trochę mnie "przeraża" zarządzanie taką ilością vpsów, sync logów z kilkudziesięciu/kilkuset maszyn. Monitorowanie zużycia zasobów etc. Nie mam w tym doświadczenia i pewnie dlatego trzęse dupką.
jeżeli na każdym VPS będzie działał tylko squid to mniej rzeczy może sie schrzanić, ale może to złudne ( ͡°
Cloudflare + "ARGO Tunnel" pozwala Ci podpiąć dowolną lokalizacje (pojedynczy host lub całą sieć) do swojej infrastruktury, a przy pomocy reguł możesz określić kto ma mieć dostęp - czy zezwalasz na dostęp z internetu, czy tworzysz w ten sposób intranet i separujesz silniki od dostępu z zewnątrz.
Z ARGO możesz sobie nawet podpiąć swój własny host z domu (za