Aktywne Wpisy
karetpoker +12
#ukraina #rosja #wojna
Wam jest do śmiechu, że Ukraińcy wjechali w Rosję, ale mnie nie do końca. Doktryna jądrowa Rosji stanowi, że w przypadku zagrożonej integralności terytorialnej Federacyji Rosyjskiej, ta może użyć broni atomowej. A Ukraina właśnie to robi. Po #!$%@? tak igrać? Co ten rajd daje? Na moje to przekraczanie pewnych czerwonych linii.
Wam jest do śmiechu, że Ukraińcy wjechali w Rosję, ale mnie nie do końca. Doktryna jądrowa Rosji stanowi, że w przypadku zagrożonej integralności terytorialnej Federacyji Rosyjskiej, ta może użyć broni atomowej. A Ukraina właśnie to robi. Po #!$%@? tak igrać? Co ten rajd daje? Na moje to przekraczanie pewnych czerwonych linii.
Gours +28
Ci, którzy mają problem z tym, że nie kibicuję pato-Julce z Konfederosji. To nie tak, że polityka jest tak ważna, ale trzeba postawić pewne granice.
Fakty są następujące: ona nie tylko popiera, ale i startowała w wyborach z list Konfederacji. To znaczy, że utożsamia się z ich poglądami. A są to poglądy prorosyjskie, antyukraińskie i antyzachodnie. To jest skandal, że mając wojnę za granicą mamy olimpijkę, która otwarcie wręcz wyraża takie poglądy.
Agnieszka Radwańska była twardo za PiS (którego nie cierpię), a nie widziałem jakoś problemu, by jej kibicować. No ale właśnie - trzeba stawiać jasne bariery.
Tak
Fakty są następujące: ona nie tylko popiera, ale i startowała w wyborach z list Konfederacji. To znaczy, że utożsamia się z ich poglądami. A są to poglądy prorosyjskie, antyukraińskie i antyzachodnie. To jest skandal, że mając wojnę za granicą mamy olimpijkę, która otwarcie wręcz wyraża takie poglądy.
Agnieszka Radwańska była twardo za PiS (którego nie cierpię), a nie widziałem jakoś problemu, by jej kibicować. No ale właśnie - trzeba stawiać jasne bariery.
Tak
Aktywne Znaleziska
Może opowiedzielibyście swoje doświadczenia, a tym samym zaproponowali jakąś bazę, narzędzia, software?
W jakim środowisku działaliście(np. AWS/Azure/..., C++/Java/Python/PHP/..., Ubuntu/CentOS/Debian/..., Nginx/Apache/IIS/...)?
Jestem szczególnie ciekawy jak PHP współpracuje z takimi rozwiązaniami. (✌ ﾟ ∀ ﾟ)☞
Może znajdzie się tu jakiś inżynier Google'a, Facebooka, czy innego Microsoftu za $15k/tydzień. ( ͡° ͜ʖ ͡°)
#php #programowanie #skalowalnosc #bazydanych #bigdata
1. Jakie dyski? SSD?
2. Jakiś cache?
3. Ile RAM-u zjada MySQL przy takim obciążeniu?
4. Ile zajmują pliki baz?
5. MyISAM czy InnoDB? (
1. nie moja bajka, coś mi się kojarzy, że jak ze dwa lata temu pytałem to były talerzowce 10k rpm w RAIDzie, teraz chyba SSD
2. kesze różnych rodzajów:
* zamiast zliczać ilości – przy dodaniu powiązanego rekordu zwiększam licznik w jego tabeli (być może czasem się to rozsynchronizuje, ale nie jest to aż tak istotne i co jakiś czas indywidualnie podliczam, żeby to fixnąć)
*
1. Jakiej specyfikacji były te maszyny? Stały w chmurze publicznej(np. AWS), wynajmowanej dedykowanej, czy w siedzibie firmy?
2. Bardzo mnie to interesuje - mniej więcej ile rekordów(czy jakkolwiek to się nazywa w Hadoopie, Cassandrze, itd.) i tabel było w bazach(tzn. infrastrukturach) przy których
@5z7k9: Ale tak ogólnie to co masz zamiar zrobić?
2) Napisz aplikację tak że gdy zatrudnisz ekspertów do jej przepisania było to możliwe.
Z góry przepraszam za wrzucanie tu i ówdzie angielskiego słownictwa - niestety taki nawyk, bo to język, w którym "pracuję" i niektórych słów nawet nie znam w Polskiej wersji, albo dziwnie mi po Polsku brzmią :P
Co do pytań - po
Hadoop / Spark (tego teraz używam) generuje dane "przyrostowo" - tzn. cały czas dodaje nowe dane do starych (tworząc nowe "zbiory" danych - słowo klucz to "immutable"), ale nigdy nie nadpisuje starych i na każdym etapie przetwarzania tworzy "snapshoty", od których potem potrafi "wznowić" przetwarzanie kolejnego dnia, a następnie ładuje dane do bazy nadpisując "stary" stan świata nowym (słowo klucz - "idempotent").
Tzn. wyobraź sobie system, który codziennie zbiera dane z czujników w - dajmy na to - fabryce, które raportują swój stan co sekundę i prezentuje je w postaci statystyk. Statystyki mają być godzinowe, dzienne, tygodniowe, miesięczne, kwartalne i roczne (statystyki "real time" też da się z tego zrobić i idealnie nada się tu Kafka, ale to by był jeszcze dłuższy wykład). To, jak taki system może działać to: wszystko bez przerwy trafia na HDFS / Amazon S3 do katalogu, który zawiera datę z dokładnością do godziny, następnie co godzinę odpala się "job" (Spark / Hadoop), który w jakiś sposób agreguje te dane. Najpierw te godzinowe (po zakończeniu godziny), potem (na koniec dnia) te dziennie, potem dzienne do miesięcznych itd. Następnego dnia nie musisz przeliczać od "dnia 0" wszystkich danych co godzinę, bo dla danych miesięcznych masz gdzieś przeliczone wszystkie dni - jeśli masz przeliczone 30 dni i dzisiaj jest 31, ostatni dzień miesiąca, to używasz gotowych danych z 30 dni (być może nawet wstępnie zagregowanych to "niepełnego" miesiąca) i przeliczasz od zera tylko ostatni dzień, a potem wszystko to agregujesz do miesiąca. Dzięki temu każdego dnia dostajesz tylko "deltę" (różnicę), którą ładujesz w ciemno - ma ona np. 10, 20, może 50 GB, a nie 30 TB (cała