Технологии компьютерного зрения SeeStorm

Детектирование лица (Face Detection)

Определение наличия на цифровом изображении или видеопоследовательности человеческого лица (или множества лиц).

Данный алгоритм является базовым для других технологий, продуктов и приложений, основанных на знании о наличии и месте расположения лица (лиц) на изображении или видео.

Увеличить

Распознавание черт лица (Face Features Extraction, FFE)

Распознавания основных элементов и ключевых точек лица (глаза, брови, нос, губы и др.) на изображениях и видео.

На основе выходных данных FFE работают некоторые другие алгоритмы компьютерного зрения (Face Features Tracking, Mimic Recognition и др.), а также серверный продукт SeeStorMe для автоматического создания аватара из 1 фотографии.

Увеличить

Отслеживание движений головы в реальном времени (Head Tracking)

Определение пространственного положения головы человека как 3D объекта и отслеживание изменения этого положения, наклонов и поворотов в режиме реального времени.

Отслеживание движений лица и мимики в реальном времени
(Face Features Tracking, FFT)

Комбинация технологий Face Features Extraction и Head Tracking позволяет отслеживать изменения положения в пространстве не только головы пользователя, но и движения черт его лица, т.е. отслеживать изменения мимики и определять соответствующие эмоциональные состояния на видео в реальном времени.

Данная технология лежит в основе алгоритмов распознавания мимики (Mimic Recognition), анимации 3D аватаров по видеопоследовательности (аватар повторяет движения и мимику пользователя), а также приложений для отслеживания состояний человека в реальном времени (например, определение состояния усталости или отвлечения операторов сложных систем).

Посмотреть видео на YouTube

Распознавание движения (Motion Detection),
распознавание движущегося объекта

Детектирование движения объектов, а также самих этих объектов на видеопоследовательности позволяет реализовать разнообразные приложения, например, мониторинг безопасности и детектирование вторжения (Intruder Detection).

Примеры использования технологий компьютерного зрения:

• Синтетическое видео:
  — Создание аватара из одной фронтальной фотографии
  — Анимация аватара по видеопоследовательности - аватар на экране движется синхронно движениям пользователя перед видеокамерой, повторяя повороты и наклоны головы и плеч, а также мимику человека
  
• Сервисы для социальных сетей и блогов:
  — Автоматическое создание превью (небольших копий для предварительного просмотра) фотографий пользователей так, чтобы эти превью содержали только лицо (при том что на фото может быть человек в полный рост на фоне значительных объектов, т.е. лицо при предпросмотре разглядеть невозможно), чтобы облегчить нахождение нужного человека в результатах поиска по коммьюнити,
  — Автоматическое создание анимированных юзерпиков ("картинок пользователя") с лицом, выражающим различные эмоции, из одной нейтральной фотографии пользователя, с целью дать пользователям новую возможность визуального самовыражения в Интернете
  
• Поиск изображений в Интернете:
  — Поиск на основе визуальных данных - например, изображений, похожих на указанный образец или содержащих заданный объект (например, лицо),
  — Уточнение результатов поиска изображений, проведенного на основе текстовых данных, с помощью анализа визуальной информации - например, фильтрация дублирующих изображений, исключение определенного контента (например, "только для взрослых")
  
• Системы слежения за состоянием операторов сложных систем (например, машинистов поездов), с целью предотвращения сбоев в их работе из-за усталости, отвлечения, засыпания и т.п.
  
• Автоматическая обработка и улучшение визуального качества изображений, особенно портретных (баланс, цвет лица и зубов, удаление красных глаз и т.п.)
  
• Автоматическая фокусировка на лице человека при фотографировании
  
• Веб-камеры, удерживающие лицо человека в "поле зрения" и поворачивающиеся вслед за изменением положения лица пользователя
  
• Видео-контроль за появлением новых / движущихся объектов (детектирование вторжения)
  
• Управление компьютерными системами с помощью жестов, без мыши и клавиатуры