✨️ Obserwuj #mirkoanonim Mam 5 vpsów (wkrótce będzie 50 albo 500), do każdego mam podpięte duże bloki IPv4, adresacja będzie wykorzystana do data scraping i udostępniania zescrapowanych danych klientom przez json.
Klient będzie łączył się z głównym serwerem z którego zapytanie będzie przesyłane na jeden z vpsów, zwracane na serwer główny i przekazywane klientowi.
Aktualnie w testach cała infrastruktura robi 50 req/sec, docelowo będzie musiała pociągnąć 1-3k req/sec. 50req/s = około 60TB miesięcznie na samo zescrapowanie danych.
Mam dwie opcje do wyboru: 1. Mogę na każdym z vpsów trzymać skrypty pobierające i obrabiające dane - w ten sposób oszczędzam na transferze z racji, że vps wysyła do głównego serwera odpowedź w json.
2. Mogę na każdym VPS zainstalować squida, używać adresacji IP jako proxy i obrabiać dane na głównym serwerze. Taka opcja wydaje mi się prostsza, ale będę musiał wydać więcej na transfer.
Którą opcje byście wybrali i dlaczego ( ͡°͜ʖ͡°)?
P.S. W sumie mógłbym zrezygnować z serwera głównego i zamiast tego postawić load balancer, ale spora część vpsów nie ma (i nie będzie miała) ochrony antyddos... jak konkurencja kupi jakiś ddos to leżym i kwiczym.
✨️ Autor wpisu (OP): @bin-bash nie ma autoskalowania bo VPSy z adresacją IP są rozsiane po różnych providerach w EU i USA - nie mam w tej kwestii nic do gadania. Mam dostarczone VPSy z adresacja IP, a całość ma działać.
SPOF to mogę sam zafundować jak to spieprze( ͡°͜ʖ͡°)
Jeżeli masz na myśli że SPOFem będzie serwer do którego klient będzie wysyłał requesty - tutaj uprościłem sprawę bo
✨️ Autor wpisu (OP): @Blomex Skrypty nie będą się różnić. Trochę mnie "przeraża" zarządzanie taką ilością vpsów, sync logów z kilkudziesięciu/kilkuset maszyn. Monitorowanie zużycia zasobów etc. Nie mam w tym doświadczenia i pewnie dlatego trzęse dupką.
jeżeli na każdym VPS będzie działał tylko squid to mniej rzeczy może sie schrzanić, ale może to złudne ( ͡°
@mirko_anonim: rozsianie po świecie i różna adresacja nie jest żadnym problemem.
Cloudflare + "ARGO Tunnel" pozwala Ci podpiąć dowolną lokalizacje (pojedynczy host lub całą sieć) do swojej infrastruktury, a przy pomocy reguł możesz określić kto ma mieć dostęp - czy zezwalasz na dostęp z internetu, czy tworzysz w ten sposób intranet i separujesz silniki od dostępu z zewnątrz. Z ARGO możesz sobie nawet podpiąć swój własny host z domu (za
Mam 5 vpsów (wkrótce będzie 50 albo 500), do każdego mam podpięte duże bloki IPv4, adresacja będzie wykorzystana do data scraping i udostępniania zescrapowanych danych klientom przez json.
Klient będzie łączył się z głównym serwerem z którego zapytanie będzie przesyłane na jeden z vpsów, zwracane na serwer główny i przekazywane klientowi.
Aktualnie w testach cała infrastruktura robi 50 req/sec, docelowo będzie musiała pociągnąć 1-3k req/sec.
50req/s = około 60TB miesięcznie na samo zescrapowanie danych.
Mam dwie opcje do wyboru:
1. Mogę na każdym z vpsów trzymać skrypty pobierające i obrabiające dane - w ten sposób oszczędzam na transferze z racji, że vps wysyła do głównego serwera odpowedź w json.
2. Mogę na każdym VPS zainstalować squida, używać adresacji IP jako proxy i obrabiać dane na głównym serwerze. Taka opcja wydaje mi się prostsza, ale będę musiał wydać więcej na transfer.
Którą opcje byście wybrali i dlaczego ( ͡° ͜ʖ ͡°)?
P.S.
W sumie mógłbym zrezygnować z serwera głównego i zamiast tego postawić load balancer, ale spora część vpsów nie ma (i nie będzie miała) ochrony antyddos... jak konkurencja kupi jakiś ddos to leżym i kwiczym.
#programowanie
#programista15k
#devops
─────────────────────
· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: RamtamtamSi
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
źródło: m8
PobierzSPOF to mogę sam zafundować jak to spieprze( ͡° ͜ʖ ͡°)
Jeżeli masz na myśli że SPOFem będzie serwer do którego klient będzie wysyłał requesty - tutaj uprościłem sprawę bo
Skrypty nie będą się różnić. Trochę mnie "przeraża" zarządzanie taką ilością vpsów, sync logów z kilkudziesięciu/kilkuset maszyn. Monitorowanie zużycia zasobów etc. Nie mam w tym doświadczenia i pewnie dlatego trzęse dupką.
jeżeli na każdym VPS będzie działał tylko squid to mniej rzeczy może sie schrzanić, ale może to złudne ( ͡°
─────────────────────
· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: Nighthuntero
Cloudflare + "ARGO Tunnel" pozwala Ci podpiąć dowolną lokalizacje (pojedynczy host lub całą sieć) do swojej infrastruktury, a przy pomocy reguł możesz określić kto ma mieć dostęp - czy zezwalasz na dostęp z internetu, czy tworzysz w ten sposób intranet i separujesz silniki od dostępu z zewnątrz.
Z ARGO możesz sobie nawet podpiąć swój własny host z domu (za