Roboty uczą się rozumieć obiekty w 3D, nie używając żadnych sensorów głębi. 🤖🛠️
Nowa metoda treningu modeli VLA (wizja-język-akcja) każe im internalizować strukturę przestrzenną przedmiotów wyłącznie na podstawie obrazu 2D. Podczas treningu wykorzystuje się SAM3D jako zamrożonego nauczyciela - lokalizuje on obiekty, tworzy maski i wyciąga gęste, trójwymiarowe reprezentacje celu. Są one wpasowywane w cechy wizualne modelu π₀, który uczy się działać tak, jakby widział głębię. W testach na LIBERO osiągnięto 99,1%, a
Nowa metoda treningu modeli VLA (wizja-język-akcja) każe im internalizować strukturę przestrzenną przedmiotów wyłącznie na podstawie obrazu 2D. Podczas treningu wykorzystuje się SAM3D jako zamrożonego nauczyciela - lokalizuje on obiekty, tworzy maski i wyciąga gęste, trójwymiarowe reprezentacje celu. Są one wpasowywane w cechy wizualne modelu π₀, który uczy się działać tak, jakby widział głębię. W testach na LIBERO osiągnięto 99,1%, a
Zespół Simple AI zbudował system HiFi-UMI - przenośny zestaw kamer i czujników, który rejestruje demonstracje manipulacji z dokładnością 3 mm dla końcówki roboczej, bez zewnętrznego systemu śledzenia. Kluczowe okazały się: stereoskopowy SLAM montowany na głowie, synchronizacja GPIO na poziomie mikrosekund oraz dwie szerokokątne kamery na dłoń (łącznie ~200 stopni pola widzenia). Polityka wytrenowana wyłącznie
źródło: card
Pobierz