Mireczki, polecicie coś ciekawego do poczytania o Big Data i narzędziach tam używanych?
#naukaprogramowania #bazydanych #bigdata
#naukaprogramowania #bazydanych #bigdata
Wszystko
Najnowsze
Archiwum
Hej mirki znacie może jakieś książki do dziedziny IT zwanej big data? Najlepiej od podstaw
#kiciochpyta #bigdata troszke #programowanie
#kiciochpyta #bigdata troszke #programowanie
@Xantras: Poszukaj ksiazek zwiazanych z jezykiem R, uczac sie tego jezyka podlapiesz podstawy analizy danych.
@Xantras: Ci goście mają fajny podcast, zakładam że materiały też umieją wybrać:
http://www.partiallyderivative.com/resources/
http://www.partiallyderivative.com/resources/
Globalne ocieplenie w 2100 roku: najnowsze prognozy!
Dane i symulacje zgromadzone przez NEX, platformę analiz działającą w ramach NASA, są już dostępne publicznie. Pozwolą na lepszą ocenę lokalnych i globalnych czynników ryzyka.
z- 7
- #
- #
- #
- #
- #
- #
Związek między miesiącem urodzenia a 55 chorobami
Badacze wykorzystali dane medyczne 1,7 miliona nowojoroczyków, by z pomocą algorytmu zidentyfikować schorzenia korelujące z porą narodzin. Jak Wam się poszczęściło? ;)
z- 1
- #
- #
- #
- #
- #
Mirki z #krakow - są jacyś zainteresowani #bigdata #neuropsychologia #er ? Dziś o 17:00 na UEKu startuje mirkoSFI rejestracja
(⌐ ͡■ ͜ʖ ͡■)
(⌐ ͡■ ͜ʖ ͡■)
@KrowkaAtomowka: Tylko wiekszosci nikt nie tlumaczy, mosku.
@Kresse: ale ta jest przetlumaczona o ja poszukuje
konto usunięte via Android
https://code.facebook.com/posts/1433093613662262/-under-the-hood-facebook-s-cold-storage-system-/?hn=1
Typowe problemy #bigdata - rack mający 2 petabajty dysku ważył 1100 kg.
#gindenpoleca
Typowe problemy #bigdata - rack mający 2 petabajty dysku ważył 1100 kg.
#gindenpoleca
Właśnie ruszył ciekawy, bezpłatny kurs Pogromcy danych, poświęcony przetwarzaniu danych oraz ich wizualizacji i modelowaniu w R. Pierwszą część zaplanowano na dni od 8. do 29. kwietnia: http://pogromcydanych.icm.edu.pl/
#bigdata #programowanie
#bigdata #programowanie
źródło: comment_M26CWrhj4wnbcUI8mWka0u3JNzrbi7YU.jpg
Pobierz
Czy jakiś mirek pracował na ogromnych(miliardy rekordów, miliony aktywnych użytkowników), dobrej wydajności, wysokiej dostępności, skalowalnych bazach danych, oraz ogółem systemach informatycznych?
Może opowiedzielibyście swoje doświadczenia, a tym samym zaproponowali jakąś bazę, narzędzia, software?
W jakim środowisku działaliście(np. AWS/Azure/..., C++/Java/Python/PHP/..., Ubuntu/CentOS/Debian/..., Nginx/Apache/IIS/...)?
Jestem szczególnie ciekawy jak PHP współpracuje z takimi rozwiązaniami. (✌ ﾟ ∀ ﾟ)☞
Może znajdzie się tu jakiś inżynier Google'a, Facebooka, czy innego Microsoftu za $15k/tydzień. (
Może opowiedzielibyście swoje doświadczenia, a tym samym zaproponowali jakąś bazę, narzędzia, software?
W jakim środowisku działaliście(np. AWS/Azure/..., C++/Java/Python/PHP/..., Ubuntu/CentOS/Debian/..., Nginx/Apache/IIS/...)?
Jestem szczególnie ciekawy jak PHP współpracuje z takimi rozwiązaniami. (✌ ﾟ ∀ ﾟ)☞
Może znajdzie się tu jakiś inżynier Google'a, Facebooka, czy innego Microsoftu za $15k/tydzień. (
@5z7k9: Dla Hadoopa to raczej niewiele, wszak to raczej "offline storage", a nie baza danych "online". http://www.techrepublic.com/article/why-the-worlds-largest-hadoop-installation-may-soon-become-the-norm/ - "Yahoo! has more than 100,000 CPUs in over 40,000 servers running Hadoop, with its biggest Hadoop cluster running 4,500 nodes. All told, Yahoo! stores *455 petabytes* of data in Hadoop."
Z góry przepraszam za wrzucanie tu i ówdzie angielskiego słownictwa - niestety taki nawyk, bo to język, w którym "pracuję" i niektórych słów
Z góry przepraszam za wrzucanie tu i ówdzie angielskiego słownictwa - niestety taki nawyk, bo to język, w którym "pracuję" i niektórych słów
@dagon_666: Nie do końca od nowa. Nie chcę się rozpisywać, ale spróbuję w skrócie opowiedzieć:
Hadoop / Spark (tego teraz używam) generuje dane "przyrostowo" - tzn. cały czas dodaje nowe dane do starych (tworząc nowe "zbiory" danych - słowo klucz to "immutable"), ale nigdy nie nadpisuje starych i na każdym etapie przetwarzania tworzy "snapshoty", od których potem potrafi "wznowić" przetwarzanie kolejnego dnia, a następnie ładuje dane do bazy nadpisując "stary" stan
Hadoop / Spark (tego teraz używam) generuje dane "przyrostowo" - tzn. cały czas dodaje nowe dane do starych (tworząc nowe "zbiory" danych - słowo klucz to "immutable"), ale nigdy nie nadpisuje starych i na każdym etapie przetwarzania tworzy "snapshoty", od których potem potrafi "wznowić" przetwarzanie kolejnego dnia, a następnie ładuje dane do bazy nadpisując "stary" stan
Mirki potrzebuję książki wprowadzające do #sztucznainteligencja #siecineuronowe po polsku. Totalne podstawy, żeby tylko załapać kontekst ;)
#programowanie #bigdata
#programowanie #bigdata
konto usunięte via Android
@kujaw: a tego to nie znam...
Ale możesz się również zainteresować książką Tadeusiewicza na ten temat:
http://winntbg.bg.agh.edu.pl/skrypty/0001/
Dostępna za darmo :-)
Ale możesz się również zainteresować książką Tadeusiewicza na ten temat:
http://winntbg.bg.agh.edu.pl/skrypty/0001/
Dostępna za darmo :-)
Mirki, czy znacie może stronę, która za darmo udostępnia access logi ze swojego serwera WWW? Potrzebuję realnych danych do analizy.
#bigdata #webdev #programowanie
#bigdata #webdev #programowanie
@kradzionyLogin: chętnie przyjmę :) na maila?
@fizdejko: przefiltruję najpierw przesyłane hasła i tokeny, podaj email na pw
Big data, big problem?
Czy dostawcy usług internetowych ryzykują, śledząc swoich klientów? W USA jawnie robiły to dwie firmy: AT&T i Verizon. Po kontrowersjach pierwsza wycofała się z tego pomysłu. Druga nie zamierza rezygnować...
z- 0
- #
- #
- #
- #
Big Data: Co wiedzą o nas banki?
"Skoro opłacasz co miesiąc rachunek za gaz, a w miesiącach jesienno-zimowych Twoje wydatki za gaz znacznie wzrastają, to prawdopodobnie masz w mieszkaniu/domu ogrzewanie gazowe." Co jeszcze bank może wywnioskować z historii naszych płatności?
z- 2
- #
- #
- #
- #
- #
Eksplozja danych i przykłady jej wykorzystania.
Przetwarzanie danych jest stare jak cyfrowy świat, ale systematyczne gromadzenie cyfrowych danych przechodzi z Big Data do nowego wymiaru – zarówno w pozytywnym, jak i negatywnym aspekcie.
z- 0
- #
- #
- #
- #
- #
- #
#bigdata #hadoop #mirkostatbotdev #hadooplearning
Moja stara Javowa implementacja Mirkostatbota chyba troszkę szybciej działała niż ta uber-hadoopowa wersja która liczy ledwo kilka podstawowych statów ;)
Moja stara Javowa implementacja Mirkostatbota chyba troszkę szybciej działała niż ta uber-hadoopowa wersja która liczy ledwo kilka podstawowych statów ;)
źródło: comment_Jp8TSvmvAZGP4ibKZQHtDtVkv6WvSgME.jpg
Pobierz
@pulse: Tak, ale z tego co wiem to tylko do streamingu i processowania danych w pamieci. Mało wiem i o Sparku i o Hadoopie jeszcze :D
@Grizwold: tez nie za wiele wiem.
mignal mi dzisiaj art http://opensource.com/business/15/1/apache-spark-new-world-record i skojarzylo mi sie z twoim wpisem ( ͡° ͜ʖ ͡°)
mignal mi dzisiaj art http://opensource.com/business/15/1/apache-spark-new-world-record i skojarzylo mi sie z twoim wpisem ( ͡° ͜ʖ ͡°)
Dla wszystkich, którzy zaczynają lub uczą się #programowanie:
lista list (słowem metalista (ʘ‿ʘ)) materiałów do nauki czego Wam sie tylko zamarzy ( ͡° ͜ʖ ͡
lista list (słowem metalista (ʘ‿ʘ)) materiałów do nauki czego Wam sie tylko zamarzy ( ͡° ͜ʖ ͡
@fmfd: #maciejpsuje
@fmfd: Jeszcze:
https://github.com/bayandin/awesome-awesomeness
https://github.com/t3chnoboy/awesome-awesome-awesome
https://github.com/bayandin/awesome-awesomeness
https://github.com/t3chnoboy/awesome-awesome-awesome
A curated list of curated lists of awesome lists.
#hadoop #bigdata #hortonworks
Zna ktos jakieś dobre materiały do konfiguracji klastra (3 nodes - sandbox odpada) od zera do odpalenia wordcount?
Mile widziane także materiały korzystające z Ambari. :)
Zna ktos jakieś dobre materiały do konfiguracji klastra (3 nodes - sandbox odpada) od zera do odpalenia wordcount?
Mile widziane także materiały korzystające z Ambari. :)
@Grizwold: Do Ambari powinna wystarczyć dokumentacja ze stronki Hortona. A tak poza tym to może Hadoop Operations i do konfiguracji samego OS-a można się wspomóc papierkiem wypuszczonym przez Della.
@Grizwold: Nie powinno być większych problemów - jak dokładnie zrobisz to co w dokumentacji, to Ambari w większości przypadków sobie poradzi. Co do stronki z GUI: zainstaluj sobie manualnie Hue - jest w repo pakietów Hortona. Potem trzeba go jeszcze ręczenie dokonfigurować (namiary na serwery itp) przez edycję hue.ini. To też jest krótko opisane w dokumentacji.
konto usunięte via iOS
Analiza statystyczna i data mining najbardziej poszukiwaną umiejętnością wsród pracowników w 2014: http://blog.linkedin.com/2014/12/17/the-25-hottest-skills-that-got-people-hired-in-2014/
#bigdata
#bigdata
@Vealheim: tja a potem idzies do pracy a tam sru 4-5tys. pln brutto mediana za big data
Komentarz usunięty przez autora