Model vision-language może sterować robotem bez treningu na konkretnym ciele, przez prosty interfejs semantyczny. 🤖🛠️
Show-Harness to warstwa pośrednia, która zamienia intencje modelu VLM na dyskretne jednostki akcji. Interpretery dla konkretnego ciała robota zamieniają je deterministycznie na lokalne ruchy, więc VLM odpowiada za decyzje fizyczne. Dzięki temu czołowe zamknięte modele VLM mogą działać zero-shot, a małe otwarte modele da się dostroić w kilka godzin GPU. GUMI rozszerza ten sam język akcji na zbieranie
Show-Harness to warstwa pośrednia, która zamienia intencje modelu VLM na dyskretne jednostki akcji. Interpretery dla konkretnego ciała robota zamieniają je deterministycznie na lokalne ruchy, więc VLM odpowiada za decyzje fizyczne. Dzięki temu czołowe zamknięte modele VLM mogą działać zero-shot, a małe otwarte modele da się dostroić w kilka godzin GPU. GUMI rozszerza ten sam język akcji na zbieranie
W Nature Communications opisano eksperyment, w którym fale w wodzie tworzyły fizyczny rezerwuar obliczeniowy. Sieć fal przetwarzała sygnały z czujników i sterowała pojazdem; rozpoznawanie przeszkód osiągnęło niemal doskonałą dokładność, po czym robot poruszał się autonomicznie, omijając przeszkody. Symulacje mikromagnetyczne przenoszą ten pomysł na fale spinowe w nanourządzeniu magnetycznym, wzbudzane elektrycznie przy gigahercach, co wskazuje drogę do
źródło: card
Pobierz