[abraca]

Oho, chyba Dojo wchodzi w fazę produkcji. Chciałbym o tym więcej się dowiedzieć co tam knują, jak im z tym idzie, szczególnie w skali, i ile to daje.
https://twitter.com/Tesla_AI/status/1671586539233501184
#tesla #ai #sztucznainteligencja

[FLAC]

@abraca: ciekawe jaki będzie to miało wpływ na jakość FSD.

[anonimowy_programista]

@FLAC: powinno się to przełożyć dwojako. (na mój chłopski rozum rozumienia ML)

- Będą mogli pozwolić sobie na więcej interacji treningowych swoich sieci neuronowych (mniejszy impact... bowiem zgaduję, że doskonale widzą kiedy dodatkowy trening przestaje dawać lepsze rezultaty)
- będą mogli szybciej iterować, a co za tym idzie, będą mogli częściej wypuszczać nowe buildy, szybciej testować nowe tezy, itd. Więc, jeżeli jakaś architektóra nie będzie się sprawdzała, szybciej się będą o

[zibizz1]

@abraca Tesla rozbudowuje swoją baze treningową o nowe przykłady, powiększenie bazy dwukrotnie powoduje że trening trwa 2x dłużej. Dojo pozwoli zredukować ten czas.
Modele trenuje się do bólu zazwyczaj czyli yeah długo aż się osiąga lepszy rezultat zwiększając czas trenowania i tutaj dodatkowa moc obliczeniowa nic nie poprawi jeśli chodzi o jakość
Ale może poprawić architekture i parametry modelów bo po każdej zmianie w tym zakresie trzeba wytrenować model i sprawdzić jak

[abraca]

jak te kilkadziesiąt sieci które tworzą FSD połączyć zwykłym kodem

@zibizz1: A to już nie testowali pojedynczej sieci do wszystkiego? Tak czy inaczej jest tych sieci coraz mniej i w końcu zostanie jedna, i ten zwykły kod nie będzie miał dużo do roboty.

[zibizz1]

@abraca: Nie, przez ostatnie lata dokładali sieci neuronowe czyli zwykły kod który coś wyliczał na piechote zamieniali na sieć neuronową. Nadal jest to zlepek sieci neuronowych aby trennig był dużo szybszy i dało się to debugować, wątpie zeby w obecnym momencie to robili, może sie do tego przygotowują ale to wymagą ogrmnej mocy obliczeniowej którą nie dlugo będa mieli.

pod koniec 2021 informowali o 48 sieciach i 70tys godzin GPU aby