Microsoft считается одним из пионеров в разработке систем, отслеживающих движение, в первую очередь благодаря устройству Kinect. Несмотря на существенный прогресс в этой области за последние годы, цифровая техника пока что не может с достаточной точностью определить жесты, которые люди могут делать с помощью рук.

По мнению сотрудников исследовательского центра Microsoft Research, им удалось совершить существенный прорыв в данной области, разработав технологию Handpose. Данная система позволяет точно определить и интерпретировать любое движение руки с помощью камеры. Отслеживания действий рук является очень сложной задачей по сравнению с отслеживанием положения тела человека в целом. Рука имеет намного меньший размер, а её пальцы и кисти являются очень гибкими, поэтому их действия сложно интерпретировать.

Handpose точно следит за заданным объектом, быстро восстанавливая фокус, даже если рука на время покинула поле зрения. В Microsoft подчёркивают, что новой системе не нужно держать объект на определённом расстоянии от камеры. Пользователь может, например, ходить по комнате в очках дополненной реальности HoloLens, взаимодействуя при этом с компьютером с помощью жестов. Если добавить к этому поддержку голосовых команд с помощью ассистента Cortana, выстраивается система, при которой человеку не требуется использовать классические средства ввода, такие как мышка и клавиатура. Помимо применения c HoloLens система Handpose также откроет новые возможности для авторов игр и различных интерактивных приложений.