Mam kilka mikroserwisów które zrzucają eventy do kafki. Chciałbym z tych eventów wyciagnąc pare statystyk i raportów i zastanawiam się jak to zrobić zgodnie ze sztuką. Mam dwa pomysły:
- kolejny mikroserwis, ktory zczytuje te eventy, na bierząco zlicza statystyki i robi inserty i update do nowej bazy relacyjnej np postgres - zacząłem troche czytac w tym temacie to natknąłem się na takie rzeczy jak ETL, #businessintelligence a potem Apache Airflow. Co
Airflow to jest tylko scheduler do uruchamiania jobow. Tak koszerne to było by zrzucać eventy na hdfs, później możesz sobie pisać querki którymi będziesz obliczał dane do raportów. Jak potrzebujesz te querki puszczać regularnie to możesz sobie napisać joba na airlfow, ale w najprostszym wydaniu pewnie cron wystarczy. Jak danych jest mało albo nie trzymacie danych na hdfs w firmę to pewnie można napisać serwis którzy zrzuca te dane do jakiejś bazki.
A dzisiaj na kolacje, chrupka bagietka z chimichurri szarpana wolowinka i szybkimi kiszonkami, warte czekania 6 godzin na wołowinkę. Ogólnie jest w pytę #gotujzwykopem #pooledpork #chimichurri
W jakich sytuacjach najlepiej używać firebase-a? Wczoraj dowiedziałem się od Mirków, że mogę używać tej usługi do przesyłania komunikatów na telefon, ale widzę, że jest jeszcze tu dostępna baza danych i storage. Czy jest jakiś sens korzystania z takiej bazy danych w sytuacji gdy ma się gotowy serwer napisany załóżmy w Django web framework, który korzysta se swojej bazy danych?
Firebase jest w sumie spoko do prototypowania rozwiązań można łatwym kosztem szybko wystawić sobie jakaś webapke która ma jakaś tam bazę danych plus proste funkcje. Do tego firebase daje ci autoryzacje z Google/Facebook za darmo wiec można bardzo szybko dostarczyć gotowy produkt. Ale tak naprawdę jak ktoś tego zacznie używać i pojawiają się klienci to najlepiej napisać własny backend na porządnie
@Solidly: moment w którym twój serwer przestaje sobie radzić z ruchem jest najpewniej momentem w którym masz na tyle dużo użytkowników ze powinieneś na nich zarabiać na tyle żeby zatrudnić kogoś kto ci to ogarnie infrastrukturę
@11_01_010_1010_00_10: Jak piszesz większy projekt gdzie pojawia się trochę logiki biznesowej to wygodniej dużo jest napisać swój backend niż korzystać z firebaseowych funkcji. Przy bardziej rozbudowanej logice utrzymanie funkcji nie należy do najprostszych i najprzyjemniejszych zadań. Dodatkowo przez to ze piszesz w js to nie jest to wyjątkowo wydajne rozwiązanie. A i przy firebase trzeba uważać bardzo na limity bo przy darmowej wersji albo pierwszym płatnym poziomie łatwo bardzo jest wystukać
@11_01_010_1010_00_10: Co do naliczania kosztów to zgadza się to co opisałeś. Warto agregować dane w dokumentach, ale trzeba tez pilnować żeby te dokumenty nie zrobiły się za duże bo ucierpi na tym wydajność twojego czatu. Przy firebase warto sobie założyć dwa projekty jeden produkcyjny i jeden testowy na którym będziesz sobie klikał po apce. Dzięki temu łatwo wykryć co zjada limity.
Ja raz przez przypadek wrzuciłem sobie ciągła aktualizacje stanu w
Normalnie do tworzenia aplikacji używam Javy, Springa, Spring Data, relacyjnych baz danych (bo to wszystko znam).
Teraz jednak chcę strzelać do pewnego API (wiele różnych strzałów), które zwraca mi dane (JSON-y nawet po kilka MB), wrzucać je do bazy, żeby potem to przetwarzać (zrobić jakieś zliczenia, agregacje itd).
Pomyślałem, że napiszę apkę w Javie, która wrzuci mi to do MongoDB jako JSON-y (czy lepiej do tego użyć innej bazy?).
Mongo powinno sobie dac rade spokojnie z takim problemem. Co do springa i spring data, jak nie interesuje cię co znajduje się w tych dokumentach możesz porostu to co wyciągniesz z bazy zrzutować na np ObjectNode nie musisz tworzyć modelu w Javie, a Spring jest poprostu wygodny i szybciej zakodzisz gotowe rozwiązanie zwłaszcza jak znasz springa
Moje pierwsze bułki na hambugery wyszły raczej średnio :( bułki robione z przepisu z książki „Burgerdream” zamiast ładnie wyrosnąć poprostu się rozlały. Potrzebuje porady co zrobic żeby w przyszłości tego uniknąć, pewnie ja coś źle zrobiłem ;) Jak dla mnie było zbyt mało maki i ciasto było wyjątkowo płynne po wyrobieniu #gotujzwykopem
Dla Java developera na co lepiej iść: Devoxx czy Geecon?
Ceny, czas i miejsce podobne. Chodzi o merytorykę.
- Ja specjalizuję się i chciałbym posłuchać głównie o Javie i Springu. (Oprócz tego też Angular, ale to nieistotne.) Ale także o zastosowaniach. - Confitura bardzo mi się podobała. - WJUG jest bardzo fajny, ale często zdarzają się tematy "przegadane" (wychodzi architekt z 20 lat doświadczenia i
Jak dla mnie najlepsza confitura, luźna atmosfera, tanio, czasem się trafi kilka ciekawych prezentacji. Na devoxxx i geecon większość prezentacji można już gdzieś wcześniej zobaczyć w internecie, poza tym zwłaszcza w polskich edycjach nie ma za dużo ciekawych prezentacji :(
Taki tam vlog sobie machnąłem :) jak komuś nie szkoda stracić kilku minut z życia to może oglądnąć i ocenić :) wszystkie uwagi mile widziane :) Wszystkie komentarze mile widziane :) a jak się spodoba to polecam resztę :D
- kolejny mikroserwis, ktory zczytuje te eventy, na bierząco zlicza statystyki i robi inserty i update do nowej bazy relacyjnej np postgres
- zacząłem troche czytac w tym temacie to natknąłem się na takie rzeczy jak ETL, #businessintelligence a potem Apache Airflow. Co