Тестирование Kinect 2

Продолжая эксперименты с Kinect, пришлось постигать азы OpenGL. Долго провозился с сопоставлением цветного изображения от камеры с картой глубины. Думал, что несоответствие связано с особенностями хранения изображений в OpenGL. Оказалось, что смещение было вызвано аппаратными особенностями камеры — объектив камеры и ИК-сенсор физически находятся на некотором расстоянии друг от друга.
Читать далее

Рубрика: Kinect, Проект | Оставить комментарий

Тестирование Kinect

В декабре, в дополнение к «самодельному» драйверу для Kinect, написанному энтузиастами, вышла вполне официальная версия от компания PrimeSense, технологии которой были использованы при создании устройства Microsoft Kinect.
Драйвер называется OpenNI. Это открытый кросс-платформенный проект, код которого открыт под лицензиями GPLv3/LGPLv3.
OpenNI имеет продуманную модульную архитектуру и API, предоставляющий разработчикам широкие возможности для реализации собственных версий естественных интерфейсов взаимодействия с ПК. При этом заявлена полная обратная совместимость на бинарном уровне.

Мне все-таки удалось своими руками потестировать данное устройство. Драйвер libfreenect заработал сразу, а вот с OpenNI пришлось повозиться — основная стабильная версия работать почему-то отказалась. Решил проблему путем установки в качестве драйвера сенсора форка SensorKinect от avin2, который потребовал последней unstable ветки OpenNI.

Немного подправил стандартный пример захвата и отслеживания человека и получил заготовку для программы распознавания жестов.

В целом, качество трекинга рук считаю удовлетворительным. Опасения насчет времени отклика камеры не подтвердились, задержки особо не ощущаются.

Теперь нужно поподробнее изучить API OpenNI и написать анализатор формы кистей рук, который, несомненно, понадобится для уверенного распознавания жестовой речи в системе автоматического сурдоперевода.

Рубрика: Kinect, Проект | Оставить комментарий

Литература по теме: визуальные методы распознавания жестов

1. Jonathan Alon, Vassilis Athitsos, Quan Yuan, and Stan Sclaroff «Simultaneous Localization and Recognition of Dynamic Hand Gestures», 2005

2. Yan Ke , Rahul Sukthankar, Martial Hebert «Efficient Visual Event Detection using Volumetric Features», 2005

3. Helen Cooper and Richard Bowden «Large Lexicon Detection of Sign Language», 2007

4. Helen Cooper and Richard Bowden «Sign Language Recognition: Working with Limited Corpora», 2009

5. Helen Cooper, Richard Bowden, «Sign Language Recognition using Linguistically Derived Sub-Units», 2010

6. Richard Bowden, David Windridge, Timor Kadir, Andrew Zisserman, and Michael Brady «A Linguistic Feature Vector for the Visual Interpretation of Sign Language», 2004

7. J.K. Aggarwal, Sangho Park «Human Motion: Modeling and Recognition of Actions and Interactions», 2004

8. Morteza Zahedi, Daniel Keysers, and Hermann Ney «Appearance-Based Recognition of Words in American Sign Language», 2005

9. Ulrich von Agris and Karl-Friedrich Kraiss «Towards a Video Corpus for Signer-Independent Continuous Sign Language Recognition», 2004

10. Vassilis Athitsos, Carol Neidle, Stan Sclaroff, Joan Nash, Alexandra Stefan, Ashwin Thangali, Haijing Wang, and Quan Yuan, «Large Lexicon Project: American Sign Language Video Corpus and Sign Language Indexing/Retrieval Algorithms», 2010

11. Philippe Dreuw and Jens Forster and Hermann Ney «Tracking Benchmark Databases for Video-Based Sign Language Recognition», 2010

12. www.signspeak.eu — Annual Public Report «Scientific understanding and vision-based technological development for continuous sign language recognition and translation», 2007

Рубрика: Без рубрики | 7 комментариев

Microsoft Kinect

Поискал информацию о Kinect. Удивительно, как много программ было разработано всего за месяц, прошедший с момента выхода новинки на рынок. Сам драйвер, позволяющий использовать камеру на PC, был написан спустя всего 3 часа после официального начала продаж Kinect в Европе (Kinect open source driver demo).
Принцип получения камерой карты глубины основан на использовании структурированной подсветки в инфракрасном диапазоне и понятен из следующего ролика: Kinect filmed with a night vision camera.
В целом, довольно интересная технология, которая позволит упростить создание жестового интерфейса. Единственное, что вызывает частое нарекание — это высокая латентность интерфейса. На этом видео хорошо заметны задержки между движением и откликом камеры. Хотя, может быть эти задержки вносятся программой рисующей световой меч. Не имея самого устройства на руках, трудно что-то понять. Надеюсь, все-таки удастся самому все как следует «пощупать» в живую 🙂

Некоторые технические характеристики:

Поле зрения:

  • По горизонтали: 57 градусов;
  • По вертикали: 43 градуса;
  • Угол поворота: ± 27 градусов;
  • Диапазон работы сенсора глубины: 1,2-3,5 м.

Потоки данных:

  • 320×240 16-bit depth @ 30 frames/sec;
  • 640×480 32-bit colour@ 30 frames/sec;
  • 16-bit audio @ 16 kHz.

Полезные ссылки:

Рубрика: Kinect, В мире, Проект | Оставить комментарий

Sony Playstation EYE

Случайно наткнулся в сети на интересное устройство — камеру Sony Playstation EYE для игровой приставки PS3.
Одной из отличительных особенностей камеры, представляющей интерес в задаче распознавания мимики и жестов, является высокая скорость съемки (120 кадров в секунду при разрешении 320×240 и 60 кадров в секунду при разрешении 640×480). При этом заявлено отличное качество получаемого изображения даже в условиях слабой освещенности.
Хотя камера предназначена для игровой приставки, она может работать и на PC [PlayStation 3 Eye web cam working on Ubuntu 8.10!]. А судя по роликам с youtube, еще и прекрасно взаимодействует с OpenCV [Motion Control; OpenGL + OpenCV + Playstation Eye + Sixaxis]
PS3 eye нельзя назвать новинкой, на рынке она уже 3 года. Тем не менее, ее возможности, с учетом стоимости (сейчас цена устройства составляет порядка 2 тыс. руб.), очень впечатляют.

Рубрика: В мире, Проект | 3 комментария

Мобильный интерфейс для управления жестами

Интересное мобильное решение для распознавания манипулятивных жестов разработано Шоном Густафсоном, Даниэлем Бервисом и Патриком Баудисом из Потсдамского университета. В качестве устройства захвата используется висящая на шее маленькая камера. При этом результат своих действий пользователь такого устройства не может увидеть напрямую — устройство не содержит экрана. Реализация обратной связи предполагается посредством «воображения», либо достигается другими ощущениями. Например, при управлении уровнем громкости звука в плеере, пользователь всегда слышит его текущий уровень.

Рубрика: В мире | Оставить комментарий