TOPZNANIE

Цифровая практика без сложностей

Выберите город
MET Norway · CC BY 4.0
← На главную

· Общий обзор

Как мы прикрутили старенький Quest 2 к AgiBot X2 Ultra

На первом видео я поднимаю правую руку и наклоняюсь вбок. AgiBot X2 Ultra повторяет жест, а ступни остаются на полу. В руке у меня обычный Touch, на голове старенький Quest 2. По картинке кажется, что достаточно передать роботу координаты контроллеров. Мы с этого и начали. Первым сдался локоть.

Я Лев Ларин, инженер Unibot. Мы подключили Quest 2 к NavStudio, вывели в шлем изображение с робота и сделали два режима управления. На месте X2 повторяет руки, голову и корпус. Для ходьбы есть стики и штатный балансир. Ниже разберу, как пришли к этим двум режимам и что измерили на железе.

NavStudio — наша разработка в Unibot, веб-панель для работы с AgiBot X2 Ultra. В ней сохраняем карты и точки, собираем экскурсии с рассказами на остановках и запускаем сценарии. На самом X2 уже есть русские голосовые команды, сопровождение выбранного человека и Social Gaze: робот поворачивает голову к собеседнику. Навыки ставятся отдельными плагинами. VR Control добавили так же, а управление движением оставили за общим бортовым диспетчером Motion Owner.

Кисть на месте, локоть гуляет

Первый вход сделали через WebXR. Браузер отдавал позу шлема и контроллеров, и этого хватало, чтобы ставить задачу «приведи кисть сюда». У X2 Ultra семь степеней свободы на руку. В одну и ту же точку с одним и тем же поворотом кисти он может прийти с локтем у бока или с отведённым локтем. При переносе жеста эта разница видна сразу. Спецификация AimDK X2.

Мы перешли на нативное приложение на базе Meta OpenXR SDK. Body Tracking даёт плечо, локоть и запястье, Touch отдельно отдаёт кнопки и аналоговые стики. У каждой позы есть флаги валидности. Если их проигнорировать, можно принять заполненный буфер за измерение. В первой диагностической серии один вызов возвращал 84 элемента и успех, а валидных поз было ноль. В прогоне с надетым шлемом получали 84 валидные позиции и 70 ориентаций. Даже такой кадр сам по себе ничего не говорит о точности стоп, поэтому управление ногами из скелета в рабочую сборку не вошло. Как Meta описывает чтение поз и флагов.

OpenXR ведёт XR-сессию. Внутри неё лежит обычная панель NavStudio на Android WebView, выведенная в quad layer через Android Surface. В панели камера и управление, а луч контроллера работает как указатель. Картинка в шлеме идёт с левой фронтальной камеры X2: JPEG шириной до 1024 пикселей, до восьми кадров в секунду. Meta OpenXR SDK.

Панель NavStudio VR в стендовом прогоне. В области камеры тестовая мишень. Справа — схема рук, которую можно вывести кнопкой Y.

Как мы прикрутили старенький Quest 2 к AgiBot X2 Ultra

Как локоть попал в расчёт

Начало координат для обеих рук ставим между плечами оператора. Из кадра убираем поворот корпуса, приводим оси OpenXR к осям X2 и масштабируем поперечную координату по ширине плеч, остальные две — по длине руки. Если оператор сводит кисти перед собой, середина у него и у робота остаётся в одном месте относительно плеч. Для ориентации запястья опираемся на штатную T-позу Meta.

Дальше берём готовый x2ik. Он решает задачу для позы кисти с ограничениями суставов, а мы выбираем вариант по положению локтя. Всего в пакетном вызове до 131 угла для поиска. Если несколько решений укладываются в 2 мм от лучшей ошибки локтя, выигрывает то, для которого суставам нужно меньше всего сместиться от предыдущей команды. Так положение локтя остаётся частью жеста, а выбор ветки IK меньше дёргает руку. Исходники AgiBot Community.

Боковой захват Touch работает как муфта. Отпустил — команда этой руки удерживается. Зажал снова — рука идёт к текущей позе оператора в той же системе координат. Позицию при новом захвате заново за ноль не принимаем. Шаг команды ограничивает бортовой цикл: до 0,04 рад за такт на 50 Гц. Голова берёт отклонение шлема от направления при старте, корпус следует ориентации торса.

Как мы прикрутили старенький Quest 2 к AgiBot X2 Ultra

Кадры можно выбрасывать. Нажатие STOP должно дойти

Позы идут по WebSocket. На принимающей стороне хранится свежий кадр, пока решатель работает с предыдущим. Если за это время пришло пять поз, после расчёта берём последнюю. Доигрывать очередь движений после паузы Wi-Fi опасно: человек уже опустил руку, пока робот только собирается её поднять.

Кнопки живут по другому правилу. APK считает фронты A, B, X и Y и передаёт накопленные счётчики вместе с кадром. Короткое нажатие B переживает замену промежуточной позы и обрабатывается даже при пропавшем скелете. A запускает выбранный режим, B завершает его, X переключает ходьбу и жесты, Y показывает положение рук по суставной телеметрии.

У просроченной позы нет права продлить управление. После 350 мс без действительного задания бортовой Motion Owner обнуляет скорость и удерживает руки. При явном STOP он завершает ту же операцию и запрашивает штатное стояние. Камера остаётся открытой. Похожий сбой со старым вводом мы уже ловили на колёсном роботе. «Джойстик отпустили. Робот не в курсе».

Почему ходьбу вынесли на X

Мы пробовали одновременно держать независимые цели для рук и передавать скорость. В опыте X2 завибрировал, полезного движения не получилось. В журнале контроллер пять раз запросил переход из UPPERBODY_REMOTE_SPLIT в LOCOMOTION_DEFAULT и получил No transition rule. Почему возникла сама вибрация, из этой записи установить нельзя. Временный профиль сняли.

В рабочей версии X последовательно завершает текущую операцию и запускает другую. Для ходьбы левый стик задаёт продольное и боковое направление, правый — поворот. Корпус при этом ведёт штатная модель движения. Для жестов X возвращает позы рук, головы и корпуса, поступательная скорость задана нулевой. Если нажать B во время переключения, ожидающий запуск отменяется.

С первым профилем VR X2 слабо поворачивал, медленно пятился и вообще не получал боковую ось. Записали штатный пульт. В потоке увидели задания до ±1,8 м/с вдоль корпуса, ±1,0 м/с поперёк и ±1,0 рад/с на поворот. Перенесли масштаб на сервер, шлем шлёт три нормированные оси. Штатный режим скорости сохранили: в нашей пробе он ограничивал продольную команду до 0,8 м/с вперёд и 1 м/с назад.

Что записали на роботе

В прогоне с NavStudio VR 0.8.0 и APK 1.7.6 проверили ходьбу вперёд и назад, боковой шаг, поворот и оба перехода по X. В записи ходьбы — 3211 команд, в среднем 47,64 Гц, медианный интервал 20,69 мс, p95 26,87 мс. В последней записи жестов — 2595 пакетов на 49,97 Гц. Самая длинная пауза между пакетами составила 52,37 мс. Эти цифры относятся к потокам команд. Задержку от движения руки до физического отклика по ним определить нельзя.

Запись с X2. Слева — команды ходьбы, одометрия и интервалы пакетов. Справа — углы локтей, головы и корпуса в режиме жестов.

После B по телеметрии вернулся STAND_DEFAULT, измеренная линейная скорость была около 0,0013 м/с. Затем сам возобновился Social Gaze: робот снова поворачивал голову к человеку без команды из шлема.

У танца на видео граница видна по ногам. Там я работаю руками и корпусом, а X2 стоит. Чтобы пройти пару шагов, переключаюсь кнопкой X. Привязку стоп к оператору пока оставили на стенде.

Теги:

  • Quest 2
  • OpenXR
  • телеуправление
  • NavStudio
  • AgiBot X2 Ultra

Хабы:

  • Робототехника