[Przegrywek123]

Dzień dobry, dzisiaj naganiam na apple.

Generalnie, Nvidia zaliczyła tak kosmiczny wzrost, bo jest dostawcą sporej większości firm zainteresowanych ML/AI, bo ich karty są najwydajniejsze (aktualnie) do tego typu zadań, przez (głównie) technologie CUDA i Tensor. Tesla, AWS, google, netflix - biorą od nich czipy. Ich kapitalizacja rynkowa wybiła na takie poziomy, bo aktualnie są de facto monopolistami w dziedzinie - nie ma nic wydajniejszego.

Rynek próżni i monopolu nie lubi, więc naturalnym krokiem będzie teraz oczekiwanie na firmy, które zechcą sobie wykroić trochę tortu z samej produkcji chipów. Jak wspomniałem, Nvidia wygrywa aktualnie w czystej wydajności, ale baardzo przegrywa w wydajności. Tj. ich karty potrzebują ogromnych ilości energii, co nie jest problemem w serwerach, ale jest dużym problemem w podkategorii AI która dopiero się rozwinie, tj. AI mobilne. W tą kategorię wchodzą nie tylko telefony, laptopy, ale również wszelkiego typu roboty, drony (zastosowania militarne również), czyli wszystko, gdzie będzie konieczna długa praca na baterii.

I w tej kategorii, już teraz wygrywa Apple, które ma dużo ambitniejsze plany. Zaprezentowany miesiąc temu chip M4 ma mieć zajebiście dużą wydajność, jak na pobór mocy, dzięki Applowemu NPU (neural processing unit, apple trzyma tu mocny patent). Apple ma plany (podobno), na tworzenie również własnych czipów serwerowych - patrząc na ich procesory z serii M, to może być mocny game changer. Również ich framework Metal (odpowiednik CUDA) staje się coraz lepszy.

Jeśli więc apple pójdzie w tą stronę i im to wyjdzie, to jest potencjał na duże wzrosty. Ich konkurentami na ten moment będzie intel i qualcomm (AMD raczej do #!$%@? już idzie, zaspali za mocno), ale still wydaje mi się, że w kwestii mobilnej, za 2-3 lata, będą mieli duży monopol. Ten mobilny rynek AI dopiero się rozwinie - aktualnie nie ma odpowiednich mocy przerobowych + efektywności energetycznej, żeby to działało na dłuższą metę. Ale to się zmieni, i Apple będzie tutaj górą, bo już aktualnie w "prymitywnych" zastosowaniach AI (jakość zdjęć, siri itp) jest górą.

Z ryzyk, to klasycznie - ale to obejmuje dosłownie każdego dostawcę chipów, nvidię, amd, intela itp - większość samej produkcji czipów zapewnia TSMC, które jest na Tajwanie, więc jedna bomba od Chin i te stocki lecą po 90% w dół i mamy globalny kryzys.

https://patents.google.com/patent/US20210103803A1/en
https://www.tomshardware.com/pc-components/cpus/alleged-apple-m4-geekbench-scores-show-incremental-improvement-in-machine-learning-over-last-gen
https://www.macrumors.com/2024/04/23/apple-developing-its-own-ai-server-processor/

#gielda

[CorniShon007]

@Przegrywek123: M4 ma mieć premierę koniec 24 początek 25. Może warto zakupić w jakimś dołku

[sqrvol]

@Przegrywek123: łap plusa za dobry post. Ja jednak stawiam na AWS i AI w chmurze.

[jombsik]

@Przegrywek123: mogłeś o tej konkurencji ze strony Intela napisać wcześniej to nie marnowałbym czasu na czytanie trzech akapitów.

[Przegrywek123]

@jombsik: przecież czipy Intela, o ile są mocne, to są absurdalnie wręcz prądożerne. Desktopowe trzeba undervoltowac bo wbijają TDP 200w i 100 stopni w 10 sekund. Laptopowe przy większym loadzie drainuja baterie w 2-3h, podczas gdy mac sobie na M2 może cały dzień konwolucyjne sieci liczyć. I nie zanosi się na żaden upgrade w tym zakresie, oni robią większe i bardziej prądożerne, nie zależy im na efektywności - a Apple

[jombsik]

@Przegrywek123: piszesz, że energooszczędność to "nisza" dla Appla a potem piszesz, że konkurencją dla niego jest Intel co mnie rozbawiło a teraz sam dodajesz, że Intel to energochłonne potwory. Pogubiłem się.

Już pomijając to, że absolutnie błędnie widzisz potencjał desktopowego AI. To nie będzie prawdziwy rynek, to będzie coś, co będzie miał każdy procesor do lokalnych gówno-zadań i nikt nie będzie do tego przykładał większej uwagi.

[Przegrywek123]

@jombsik: że potencjalną konkurencją może być Intel, jednak raczej nie osiągnie dominacji.

Ależ oczywiście że będą, aktualnie potencjał AI drzemie tylko w brute force, llama najnowsza miała ponad 50000x więcej mocy obliczeniowej przy treningu niż gpt-2. Modele były tylko marginalnie ulepszane (funkcje aktywacyjne np), co spowodowało prawdziwy wzrost wydajności, to moc obliczeniowa i brute force. Apple ma potencjał na wprowadzenie tego samego, ale do sektora mobilnego - i wtedy nie

[jombsik]

@Przegrywek123: nie będzie. Gówno-zadania będą lokalnie na tych pierdziawkach NPU, a poważne rzeczy będą w chmurze.

[Przegrywek123]

@jombsik: nie doceniasz możliwości wzrostu wydajności. Gpt 2 wyszło w 2019. 5 lat do dzisiaj - 50 tysięcy razy wzrosły moce obliczeniowe kierowane w to. Za kolejne 5 lat, rzeczy które aktualnie są robione w chmurze i zajmują dni, będą robione na telefonach, lokalnie, na baterii.

[jombsik]

@Przegrywek123: to ty przeceniasz możliwości lokalnych obliczeń i ich użyteczności. Przekonamy się za kolejne 5 lat.

[pigmej4ever]

@Przegrywek123: Dorzucę troszkę goryczy do tej analizy jako osoba pracująca w AI. Niestety hardware i możliwość jego wyprodukowania nie są najistotniejsze z punktu widzenia branży. Nvidia nie ma konkurencji nie dlatego że jedyna jest w stanie wyprodukować rdzenie tensorowe. Takie rozwiązania wspiera też google (TPU) i AMD(ROC). Po stronie hardware nie ma żadnej filozofii czy magii to po prostu maszynki zdolne do wykonywania szybkich obliczeń macierzowych i dostarczone do nich

[pigmej4ever]

@pigmej4ever: Dla klasyfikacji google tworzył swoje TPU i systematycznie dodaje wsparcie dla różnych modeli dla tej architektury, natomiast wciąż TPU są bardziej ciekawostka w świecie AI a nie poważnym graczem, do tego stopnia że od paru lat w zasadzie bez problemu można za darmo uzyskać dostęp do tych maszyn za darmoszke, bo google liczy na popularyzację technologii wśród środowiska devów i naukowców

[Przegrywek123]

@pigmej4ever: przecież metal od Apple dość mocno się rozpycha, jest spory support. Większość popularnych libek (jakieś tensorflowy itp) ten support ma - no i Apple jak to Apple, celuje w zamknięte środowisko, więc jak będzie trzeba, to sami zrobią.