Hej mirki znacie może jakieś książki do dziedziny IT zwanej big data? Najlepiej od podstaw
#kiciochpyta #bigdata troszke #programowanie
#kiciochpyta #bigdata troszke #programowanie
Wszystko
Najnowsze
Archiwum
@Xantras: Poszukaj ksiazek zwiazanych z jezykiem R, uczac sie tego jezyka podlapiesz podstawy analizy danych.
@Xantras: Ci goście mają fajny podcast, zakładam że materiały też umieją wybrać:
http://www.partiallyderivative.com/resources/
http://www.partiallyderivative.com/resources/
Globalne ocieplenie w 2100 roku: najnowsze prognozy!
Dane i symulacje zgromadzone przez NEX, platformę analiz działającą w ramach NASA, są już dostępne publicznie. Pozwolą na lepszą ocenę lokalnych i globalnych czynników ryzyka.
z- 7
- #
- #
- #
- #
- #
- #
Związek między miesiącem urodzenia a 55 chorobami
Badacze wykorzystali dane medyczne 1,7 miliona nowojoroczyków, by z pomocą algorytmu zidentyfikować schorzenia korelujące z porą narodzin. Jak Wam się poszczęściło? ;)
z- 1
- #
- #
- #
- #
- #
Mirki z #krakow - są jacyś zainteresowani #bigdata #neuropsychologia #er ? Dziś o 17:00 na UEKu startuje mirkoSFI rejestracja
(⌐ ͡■ ͜ʖ ͡■)
(⌐ ͡■ ͜ʖ ͡■)
@KrowkaAtomowka: Tylko wiekszosci nikt nie tlumaczy, mosku.
@Kresse: ale ta jest przetlumaczona o ja poszukuje
konto usunięte via Android
https://code.facebook.com/posts/1433093613662262/-under-the-hood-facebook-s-cold-storage-system-/?hn=1
Typowe problemy #bigdata - rack mający 2 petabajty dysku ważył 1100 kg.
#gindenpoleca
Typowe problemy #bigdata - rack mający 2 petabajty dysku ważył 1100 kg.
#gindenpoleca
Właśnie ruszył ciekawy, bezpłatny kurs Pogromcy danych, poświęcony przetwarzaniu danych oraz ich wizualizacji i modelowaniu w R. Pierwszą część zaplanowano na dni od 8. do 29. kwietnia: http://pogromcydanych.icm.edu.pl/
#bigdata #programowanie
#bigdata #programowanie
źródło: comment_M26CWrhj4wnbcUI8mWka0u3JNzrbi7YU.jpg
Pobierz
Czy jakiś mirek pracował na ogromnych(miliardy rekordów, miliony aktywnych użytkowników), dobrej wydajności, wysokiej dostępności, skalowalnych bazach danych, oraz ogółem systemach informatycznych?
Może opowiedzielibyście swoje doświadczenia, a tym samym zaproponowali jakąś bazę, narzędzia, software?
W jakim środowisku działaliście(np. AWS/Azure/..., C++/Java/Python/PHP/..., Ubuntu/CentOS/Debian/..., Nginx/Apache/IIS/...)?
Jestem szczególnie ciekawy jak PHP współpracuje z takimi rozwiązaniami. (✌ ﾟ ∀ ﾟ)☞
Może znajdzie się tu jakiś inżynier Google'a, Facebooka, czy innego Microsoftu za $15k/tydzień. (
Może opowiedzielibyście swoje doświadczenia, a tym samym zaproponowali jakąś bazę, narzędzia, software?
W jakim środowisku działaliście(np. AWS/Azure/..., C++/Java/Python/PHP/..., Ubuntu/CentOS/Debian/..., Nginx/Apache/IIS/...)?
Jestem szczególnie ciekawy jak PHP współpracuje z takimi rozwiązaniami. (✌ ﾟ ∀ ﾟ)☞
Może znajdzie się tu jakiś inżynier Google'a, Facebooka, czy innego Microsoftu za $15k/tydzień. (
@5z7k9: Dla Hadoopa to raczej niewiele, wszak to raczej "offline storage", a nie baza danych "online". http://www.techrepublic.com/article/why-the-worlds-largest-hadoop-installation-may-soon-become-the-norm/ - "Yahoo! has more than 100,000 CPUs in over 40,000 servers running Hadoop, with its biggest Hadoop cluster running 4,500 nodes. All told, Yahoo! stores *455 petabytes* of data in Hadoop."
Z góry przepraszam za wrzucanie tu i ówdzie angielskiego słownictwa - niestety taki nawyk, bo to język, w którym "pracuję" i niektórych słów
Z góry przepraszam za wrzucanie tu i ówdzie angielskiego słownictwa - niestety taki nawyk, bo to język, w którym "pracuję" i niektórych słów
@dagon_666: Nie do końca od nowa. Nie chcę się rozpisywać, ale spróbuję w skrócie opowiedzieć:
Hadoop / Spark (tego teraz używam) generuje dane "przyrostowo" - tzn. cały czas dodaje nowe dane do starych (tworząc nowe "zbiory" danych - słowo klucz to "immutable"), ale nigdy nie nadpisuje starych i na każdym etapie przetwarzania tworzy "snapshoty", od których potem potrafi "wznowić" przetwarzanie kolejnego dnia, a następnie ładuje dane do bazy nadpisując "stary" stan
Hadoop / Spark (tego teraz używam) generuje dane "przyrostowo" - tzn. cały czas dodaje nowe dane do starych (tworząc nowe "zbiory" danych - słowo klucz to "immutable"), ale nigdy nie nadpisuje starych i na każdym etapie przetwarzania tworzy "snapshoty", od których potem potrafi "wznowić" przetwarzanie kolejnego dnia, a następnie ładuje dane do bazy nadpisując "stary" stan
Mirki potrzebuję książki wprowadzające do #sztucznainteligencja #siecineuronowe po polsku. Totalne podstawy, żeby tylko załapać kontekst ;)
#programowanie #bigdata
#programowanie #bigdata
konto usunięte via Android
@kujaw: a tego to nie znam...
Ale możesz się również zainteresować książką Tadeusiewicza na ten temat:
http://winntbg.bg.agh.edu.pl/skrypty/0001/
Dostępna za darmo :-)
Ale możesz się również zainteresować książką Tadeusiewicza na ten temat:
http://winntbg.bg.agh.edu.pl/skrypty/0001/
Dostępna za darmo :-)
Mirki, czy znacie może stronę, która za darmo udostępnia access logi ze swojego serwera WWW? Potrzebuję realnych danych do analizy.
#bigdata #webdev #programowanie
#bigdata #webdev #programowanie
@kradzionyLogin: chętnie przyjmę :) na maila?
@fizdejko: przefiltruję najpierw przesyłane hasła i tokeny, podaj email na pw
Big data, big problem?
Czy dostawcy usług internetowych ryzykują, śledząc swoich klientów? W USA jawnie robiły to dwie firmy: AT&T i Verizon. Po kontrowersjach pierwsza wycofała się z tego pomysłu. Druga nie zamierza rezygnować...
z- 0
- #
- #
- #
- #
Big Data: Co wiedzą o nas banki?
"Skoro opłacasz co miesiąc rachunek za gaz, a w miesiącach jesienno-zimowych Twoje wydatki za gaz znacznie wzrastają, to prawdopodobnie masz w mieszkaniu/domu ogrzewanie gazowe." Co jeszcze bank może wywnioskować z historii naszych płatności?
z- 2
- #
- #
- #
- #
- #
Eksplozja danych i przykłady jej wykorzystania.
Przetwarzanie danych jest stare jak cyfrowy świat, ale systematyczne gromadzenie cyfrowych danych przechodzi z Big Data do nowego wymiaru – zarówno w pozytywnym, jak i negatywnym aspekcie.
z- 0
- #
- #
- #
- #
- #
- #
#bigdata #hadoop #mirkostatbotdev #hadooplearning
Moja stara Javowa implementacja Mirkostatbota chyba troszkę szybciej działała niż ta uber-hadoopowa wersja która liczy ledwo kilka podstawowych statów ;)
Moja stara Javowa implementacja Mirkostatbota chyba troszkę szybciej działała niż ta uber-hadoopowa wersja która liczy ledwo kilka podstawowych statów ;)
źródło: comment_Jp8TSvmvAZGP4ibKZQHtDtVkv6WvSgME.jpg
Pobierz
@pulse: Tak, ale z tego co wiem to tylko do streamingu i processowania danych w pamieci. Mało wiem i o Sparku i o Hadoopie jeszcze :D
@Grizwold: tez nie za wiele wiem.
mignal mi dzisiaj art http://opensource.com/business/15/1/apache-spark-new-world-record i skojarzylo mi sie z twoim wpisem ( ͡° ͜ʖ ͡°)
mignal mi dzisiaj art http://opensource.com/business/15/1/apache-spark-new-world-record i skojarzylo mi sie z twoim wpisem ( ͡° ͜ʖ ͡°)
Dla wszystkich, którzy zaczynają lub uczą się #programowanie:
lista list (słowem metalista (ʘ‿ʘ)) materiałów do nauki czego Wam sie tylko zamarzy ( ͡° ͜ʖ ͡
lista list (słowem metalista (ʘ‿ʘ)) materiałów do nauki czego Wam sie tylko zamarzy ( ͡° ͜ʖ ͡
@fmfd: #maciejpsuje
@fmfd: Jeszcze:
https://github.com/bayandin/awesome-awesomeness
https://github.com/t3chnoboy/awesome-awesome-awesome
https://github.com/bayandin/awesome-awesomeness
https://github.com/t3chnoboy/awesome-awesome-awesome
A curated list of curated lists of awesome lists.
#hadoop #bigdata #hortonworks
Zna ktos jakieś dobre materiały do konfiguracji klastra (3 nodes - sandbox odpada) od zera do odpalenia wordcount?
Mile widziane także materiały korzystające z Ambari. :)
Zna ktos jakieś dobre materiały do konfiguracji klastra (3 nodes - sandbox odpada) od zera do odpalenia wordcount?
Mile widziane także materiały korzystające z Ambari. :)
@Grizwold: Do Ambari powinna wystarczyć dokumentacja ze stronki Hortona. A tak poza tym to może Hadoop Operations i do konfiguracji samego OS-a można się wspomóc papierkiem wypuszczonym przez Della.
@Grizwold: Nie powinno być większych problemów - jak dokładnie zrobisz to co w dokumentacji, to Ambari w większości przypadków sobie poradzi. Co do stronki z GUI: zainstaluj sobie manualnie Hue - jest w repo pakietów Hortona. Potem trzeba go jeszcze ręczenie dokonfigurować (namiary na serwery itp) przez edycję hue.ini. To też jest krótko opisane w dokumentacji.
konto usunięte via iOS
Analiza statystyczna i data mining najbardziej poszukiwaną umiejętnością wsród pracowników w 2014: http://blog.linkedin.com/2014/12/17/the-25-hottest-skills-that-got-people-hired-in-2014/
#bigdata
#bigdata
@Vealheim: tja a potem idzies do pracy a tam sru 4-5tys. pln brutto mediana za big data
Big Data Technology Fundamentals
Big Data Technology Fundamentals provides baseline general knowledge of the technologies used in big data solutions. It covers the development of big data solutions using the Hadoop ecosystem, including MapReduce, HDFS, and the Pig and Hive programming frameworks. This web-based course helps you build a foundation for working with AWS services for big data solutions. This course is offered at no charge, and can be used on its own
Big Data Technology Fundamentals provides baseline general knowledge of the technologies used in big data solutions. It covers the development of big data solutions using the Hadoop ecosystem, including MapReduce, HDFS, and the Pig and Hive programming frameworks. This web-based course helps you build a foundation for working with AWS services for big data solutions. This course is offered at no charge, and can be used on its own
#naukaprogramowania #bazydanych #bigdata
Komentarz usunięty przez moderatora