z.....n
chcę napisać web scrapper w Javie który będzie pchał wydarte dane do bazy, potem server w nodejs serwuje strone z tymi danymi. Na czym postawić to wszystko, tak żeby scrapper odpalał się raz na parę dni? W ogóle nie umiem w infrastrukturę. Jakiś #aws ?
#programowanie #devops
  • Najlepsze
  • Wszystkie komentarze
Narrorek
@zackson: pierw zastanów się nad tym co chcesz scrapować - jeżeli aplikacje np SPA (VUE, react) to będziesz potrzebował headless chrome np.

Co do samego pytania - pewnie najtaniej na GCP z free trialem.
kszych
@zackson: możesz użyć springowego mechanizmu do schedulingu:

https://spring.io/guides/gs/scheduling-tasks/

wtedy deployujesz springową apkę gdziekolwiek i ona ogarnia odpalanie tasków cyklicznie, bez jakichś dodatkowych mechanizmów chmurowych.
htfhere
#programowanie jaki jest waszym zdaniem najlepszy sposób hostowania apki #react na #aws ?

najlepszy sposób? W komentarzu dopiszcie prosze dlaczego tak uważacie ;)

  • S3 + cloudfront 64.3% (18)
  • amplify 7.1% (2)
  • elastic beanstalk 3.6% (1)
  • lightsail 3.6% (1)
  • ec2 + asg + lb 17.9% (5)
  • inny 3.6% (1)

28 głosów

  • Najlepsze
  • Wszystkie komentarze
LaylaTichy
@htfhere: k8s eks trochę kosztowny / ecs docker

A dlaczego? Większa kontrola niż np prowadzące obecnie s3, łatwość skalowania ale i też łatwość przeniesienia gdziekolwiek
IdzieGrzesPrzezWies
@htfhere: zależy co chcesz z tą apką robić i jaką mieć nad nią kontrolę. dla małego ruchu na początek tylko s3
FreakyYak
FreakyYak
Spytam bo może trace czas, macie jakieś dobre kursy/tutoriale do AWS (mogą być płatne), konkretnie Lambda, cloudfront, route 53, s3 i IAM + jak to debugować, plus minus tam ogarniam ale chciałem to porządnie zrozumieć, a dokumentacja AWS to jest porażka jakaś.

#programowanie #informatyka #aws #pytanie #kiciochpyta #pytaniedoeksperta
  • Najlepsze
  • Wszystkie komentarze
olrajt
@FreakyYak: Kursy Cantrilla są ponoć nastawione na dużą ilość praktyki, ale sam się jeszcze nie zabrałem:

https://learn.cantrill.io/
nuszki
nuszki
@FreakyYak: ścieżka AWS Certified Developer – Associate (DVA-C01) na pluralsight
PiersiowkaPelnaZiol
Jakieś dobre kursy od aws/gcp itp?

Chce nauczyć się obsługi chmurowej by znaleźć pracę w tym zakresie, bo widzę studia to jest tragedia i na nie kompletnie się nie nadaję.

Oczywiście uczę się matematyki samodzielnie + angielskiego i zaczynam francuski.

znalazłem
  • Najlepsze
  • Wszystkie komentarze
GienekZFabrykiOkienek
@PiersiowkaPelnaZiol: Początkującym na pewno łatwiej jest znaleźć pracę ze studiami. Żeby wskoczyć na stanowisko menadżerskie też raczej trzeba mieć studia. Jeżeli masz doświadczenie i interesują cię stanowiska techniczne to nie mają większego znaczenia.
olrajt
@PiersiowkaPelnaZiol: Jak chcesz AWS się nauczyć, to te kursy są bardzo polecane:

https://learn.cantrill.io/

Zacznij od AWS Certified Solutions Architect - Associate (SAA-C02)
wpiot
wpiot
wpiot
0
Jaką ścieżkę certyfikacji AWS możecie polecić?
Aktualnie używam AWS, ale raczej javowe SDK w monolicie, a ustawienia robią devopsi.
Robiłem już kurs który pokazywał kilka usług razem, a certyfikat ma mnie zmusić do wysiłku, odnowienia wiedzy.
mam 10lat expa jako programista (i raczej będę się trzymał technologii). Niestety mam słabą pamięć długotrwałą do super detali, raczej lubię big picture.

Myślę o Cloud Practitioner na początek a potem Architect
#aws #
  • Najlepsze
  • Wszystkie komentarze
beethoven
@wpiot: zrób architekta od razu
youknowiknow
@wpiot: Jeśli używasz AWS i masz doświadczenie w developmencie, to tak jak pisali przedmówcy @beethoven oraz @mmichal lepiej od razu skupić się na certyfikatach Associate. Jeśli tak jak wspomniałeś wolisz "big picture", to może faktycznie warto spróbować certyfikacji Solutions Architect, co nie oznacza, że nie będziesz do tego potrzebował sporej ilości detali i pewnego przygotowania (bez niego nawet przy "hands on experience" może być ciężko). Od siebie jako
mstarzec
mstarzec
#mstarzecnews #webdev #programowanie #nodejs #javascript #go #rustlang #it #bash #aws #apple #elektronika

JS:
Biblioteka js która ułatwia integrowanie twojej frontowej appki z usługami AWS - https://github.com/aws-amplify/amplify-js
Blaznig fast markdown parser napisany w WebAssembly - https://www.infoq.com/news/2020/10/markdown-wasm-fast-parser/
Jak w js zrobić filtr na kamerę internetową - w przykładzie filtr typu komiks (Sketchy)
Benghazi
#wordpress lub amazon #aws od jakiegoś czasu tworzy mi dziwne subdomeny typu test.domena, demo.domena itp. a następnie google zamiast indeksować wpisy prawidłowo, indeksuje je właśnie pod tymi subdomenami (-‸ლ)

Do tego jetpack wyrzuca mi takie komunikaty

jetpack has been placed into safe mode because we noticed this is an exact copy of


Pomoże ktoś?
  • Najlepsze
  • Wszystkie komentarze
rzezbi
rzezbi
ludzie buduja klastry z raspberry pi. Powie mi czy to ma jakies sensowne zastosowanie czy tylko po to aby sie czegos nauczyc? Co z takim klasterm mozna zrobic?

#komputery #programowanie #docker #kubernetes #cloud #chmura #googlecloud #aws #amazon #azure #raspberrypi
  • Najlepsze
  • Wszystkie komentarze
f.....f
f.....f
Mam problem z limitem miejsca na Lambdzie #aws biblioteki pythona zajmują więcej niż te 250 MB. Co robicie w takim wypadku? Pierwsze co przychodzi mi do głowy to ręczne odchudzanie niepotrzebnych bibliotek, bo z niektórych zassane są pojedyncze funkcje. Mogłoby być jakieś automatyczne narzędzie do tego (╥﹏╥)

#cloud #devops #python
  • Najlepsze
  • Wszystkie komentarze
MamCieNaHita
Są te różne free tier cloudy jak #aws z ec2 czy #gcp i #oracle z odpowiednikami, ale czy na którymś z nich da się ustawić jakieś limity, żeby nie wylecieć poza free tier przy np. wyczerpaniu darmowego transferu, żeby nie narazić się na koszty?

#komputery #vps #serwery #hosting #cebula #cloud
  • Najlepsze
  • Wszystkie komentarze
PanObserwator
PanObserwator
Znacie jakiś dobry #terminal na #macbook ?
Standardowy jest strasznie nieczytelny i słabo koloruje składnie. Może być nawet płatny. Korzystam głównie z #git #aws cli i standardowe operacje systemowe.

#programowanie #ios #macos #console
  • Najlepsze
  • Wszystkie komentarze
cycun
cycun
cycun
0
Robię projekt, który opsiany jest w cloudformation. Czy jest szansa, że jak po zdeployowaniu coś zmienię w atrybutach klikając na stronie (np. minimalna liczba znaków w haśle w cognito) to mógłbym dostać zaktualizowany template do cloudformation?

Bawię się teraz w aws i bardzo ułatwiłoby to życie.

#aws #devops #programowanie
  • Najlepsze
  • Wszystkie komentarze
htfhere
#programowanie robiliście certyfikaty #aws ? Słyszałem, że najlepiej się do nich przygotować robiąc po prostu testy, skąd braliście testy?
  • Najlepsze
  • Wszystkie komentarze
mstarzec
mstarzec
#mstarzecnews #webdev #programowanie #nodejs #javascript #go #rustlang #it #bash #aws #apple #elektronika

JS:
Alternatywa dla Vercel (zeit now) - prosty deployment appki node.js - https://www.zoop.sh/
Async hooks z czym to sie je - https://blog.appsignal.com/2020/09/30/exploring-nodejs-async-hooks.html inny przykład https://github.com/krzys1u/nodeAsyncHooks
SunnO
SunnO
1
Siemanko Mireczki.

Mam problem z botem #discord Odpalam go na instancji #aws i wszystko jest cacy dopóki jestem połączony z instancją przez PuTTY. W momencie zamknięcia okienka PuTTY bot przestaje działać. Jest online i jest połączony z kanałem ale nie wykonuje tego co powinien robić. Używam pm2 żeby sam się odpalał w razie czego ale wychodzi na to że to tylko go utrzymuje online. Raczej wątpię żeby problem
  • Najlepsze
  • Wszystkie komentarze
mstarzec
mstarzec
  • Najlepsze
  • Wszystkie komentarze
meh0wski

Co lepsze

  • Amazon Web Services 55.2% (53)
  • Microsoft Azure 44.8% (43)

96 głosów

  • Najlepsze
  • Wszystkie komentarze
zjadlbymbanana
Mirki, stawiam aplikację na AWS EC2. Moja instancja ma pobierać kod z GitHuba i uruchamiać program w node. Problem w tym, że aplikacja potrzebuję danych konfiguracyjnych które są zmienne i tajne (w pliku .env) - klucze, tokeny, adresy URL. Macie pomysł gdzie można takie rzeczy przechowywać?
#pytanie #informatyka #programista15k #aws #amazon
  • Najlepsze
  • Wszystkie komentarze
xmaniox
Cześć devopsy,

Mam pytanie związane z Application Load Balancer na AWS. Mianowicie, kiedy wskazuję mu target na service, który wystawia API na porcie załóżmy 8080, to fajnie, odzywa się do niego i widzi. Dodałem regułę w Listener na load balancerze, aby każdy request, który na w ścieżke /admin-api/* leciał do tego targetu na port 8080. Problem tylko w tym, że jeśli w ścieżce dodam cokolwiek po /admin-api/ to ciągle zwraca mi stronę
  • Najlepsze
  • Wszystkie komentarze
zibizz1
zibizz1
Mirki, co polecacie jako usługę wyszukiwania? Mam kilka tysięcy a kiedyś pewnie kilkadziesiąt a może kilkaset tysięcy dokumentów z różnymi polami i chce je gdzieś wrzucić i potem mieć dostęp do API żeby wyszukiwać. Tylko chce żeby to działało lepiej niż wyszukiwarka wykopowa tzn.

Funkcjonalności.
-1. wysyłanie/aktualizwoanie danych w JSON
0. Szukanie wśród wszystkich pól dokumentu i wielkość liter bez znaczenia
1. mispelle np "Przyszli" "Pryszli"
  • Najlepsze
  • Wszystkie komentarze