BIG DATA: muszę na stud bazie opowiedzieć o jakimś przykładowym algorytmie za pomocą jakiego wyszukuje się informacji. Może ktoś co wie? Chociaż hasło podrzuci? Szukam i szukam i nic, a to na przedmiot który jako poboczny, więc to nie moja branża nawet :D
Też zależy. Są różne wersje i implementacje. Jeśli ma to być do celów prezentacji to ja bym wziął kNN lub k-means. Jest dużo materiałów, ładne wykresy powstają, da się zrozumieć. Jak wejdziesz w jakiegoś Bayesa, to się zakopiesz w matematyce.
@rurek49 Wszystko co wymienili powyzej to nie algorytmy wyszukiwania informacji w big data. Zapoznaj sie z map reduce od hadoopa, albo jak dziala spark.
@biwalencik: z tego co się już dowiedziałem to kNN to algorytm do klasyfikacji danych. Dlaczego miałby nie działać przy wielkich zbiorach danych? Nie atakuje Cię czy coś, tylko się zastanawiam :P
@biwalencik: @mk321: powiedziałem troszkę o kNN, troszkę o mapreduce i dostałem 5/5pkt, bo mówił że tyle wystarczy abym wiedział :D także dziękuje jeszcze raz :)
@rurek49 No wiec wszystko jasne. Big data sa przechowywane w bardzo charakterystyczny sposob. Mamy niejako dwie warstwy (w uproszczeniu): 1. HDFS (system plikow hadoop) 2. MapReduce - warstwa wyszukujaca i agregujaca informacje z nodow HDFS.
Sadzilem, ze to o ten algorytm do znajdowania danych/ informacji w rozproszonym systemie plikow Ci chodzi. Tobie zas chodzilo o roznorodne algorytmy obrobki danych. Niekoniecnie tych big.
@biwalencik: tzn facet z którym mam zajęcia powiedział to co i Ty mi pisałeś o kNN, lecz uznał że też służy do obróbki danych, więc możemy do celów prezentacji uznać że kNN mieści się w temacie. Mimo wszystko, tak jak piszesz. MapReduce to typowo algorytm pod Big Data :)
#programowanie #pytanie #informatyka #sztucznainteligencja #systemyekspertowe
@rurek49: zależy od przyjętego podziału.
Według tego najpopularniejsza jest regresja: https://www.kdnuggets.com/2016/09/poll-algorithms-used-data-scientists.html (ale nic dziwnego jak cały Machine Learning z tego korzysta, to taki "ogólny" algorytm)
Też zależy. Są różne wersje i implementacje. Jeśli ma to być do celów prezentacji to ja bym wziął kNN lub k-means. Jest dużo materiałów, ładne wykresy powstają, da się zrozumieć. Jak wejdziesz w jakiegoś Bayesa, to się zakopiesz w matematyce.
A może PageRank przejdzie?
Edit: popatrzę też na to PageRank. Gość od nas nie wymaga jakiś cudów to może też się nada :)
Nie atakuje Cię czy coś, tylko się zastanawiam :P
1. HDFS (system plikow hadoop)
2. MapReduce - warstwa wyszukujaca i agregujaca informacje z nodow HDFS.
Sadzilem, ze to o ten algorytm do znajdowania danych/ informacji w rozproszonym systemie plikow Ci chodzi. Tobie zas chodzilo o roznorodne algorytmy obrobki danych. Niekoniecnie tych big.