Нові можливості Intel RealSense SDK 2016 R2

Другий випуск Intel RealSense SDK (для Windows) у 2016 році (2016R2) — версія 10.0.26.0396. У новій версії значно покращена робота модулів сегментації фону (BGS), відстеження рук в режимі покажчика і модуля 3D Scan для камери SR300. Перші два модулі доступні вже у вигляді «золотої» версії, модуль 3DScan для SR300 перейшов на рівень бета-версії. Для камери R200 деякі компоненти модуля Enhanced Photography (EP) перейшли на «золотий» рівень, в тому числі EP Meaurement. При цьому модулі EP Realtime Depth Enhancement і EP Tracking поки залишилися на рівні попереднього ознайомлення. Інші функції R200 не змінилися.



Мінімальні версії DCM для камер Intel RealSense збільшені: 2.1.24.9476 для камери R200, 3.1.25.1077 для камери SR300. Для камери F200 потрібна версія 1.4.27.41944 або більш пізня.
Підтримувана версія Unity збільшена до 5.2.3.p3 або більш пізньої (раніше підтримувалася версія 4.1). Примітка. Для Unity 5 потрібні 64-розрядні бібліотеки.

Нові можливості
«Зелений екран»/BGS: тепер доступна вставка (згасання) і додаткові зворотні виклики для ближнього і далекого меж і для виявлення користувача. Доданий додатковий модуль розширеного динамічного діапазону, реалізовані інші зміни алгоритмів, що підвищують точність створення моделей пальців і маски темних волосся, точність виявлення інших артефактів. Проблеми з розпізнаванням і визначенням відстані до об'єктів, що поглинають інфрачервоне випромінювання, прозорих, дуже тонких і чорних предметів, а також дуже світлого волосся і волосся, колір яких близький до кольору фону, як і раніше, збереглися. Підтримується розпізнавання тільки однієї людини одночасно; якість маски значно знижується, якщо в межах дальності дії камери з'являється кілька людей. У записаних відеороликів з розширеним динамічним діапазоном може бути необхідно видаляти перший кадр, щоб уникнути зависання при відтворенні в режимі реального часу.

Режим Cursor. Підвищено точність розпізнавання жестів, включаючи клацання, обертання (в обидві сторони), розкриття і стискання долоні. Можна скидати Adaptive Point для певного розташування (ResetAdaptiveByID). Збільшена дальність до 115 см, а швидкість руху — до 2 м/с, при цьому виправлена помилка при дальності виявлення 70 див. Примітку. Значення електроживлення за замовчуванням змінено на OFF (можна задати значення On, щоб заощадити електроживлення шляхом зниження кадрової швидкості на час, поки руки відсутні в поле зору камери, але при цьому виникає затримка на 2 секунди, коли руки повертаються у полі зору камери).

3DScan. maxTextureResolution може обмежувати розмір створюваної текстури, flopPreviewImage реалізовано дзеркальне відображення (по горизонталі) для попереднього перегляду камери SR300, в useMarker покращено відстеження близьких за формою предметів (циліндр, куля). У maxVertices можна обмежити якість вершин у вихідний тривимірної моделі; виправлено округлення значень глибини в QueryVertices (камери переднього огляду). Крім того, в SetConfiguration для виявлення голови з допомогою камери SR300 повертається повідомлення змінено з PXC_STATUS_NO_ERROR на PXC_STATUS_FEATURE_UNSUPPORTED. Для сканування особи без реперних точок за допомогою камер переднього огляду повертається Feature_Unsupported; щоб уникнути цього, потрібно завантажити модуль Face Tracking для отримання реперних точок або використовувати режим сканування Variable з SetArea().

У PersonTracking Configuration/Data додані GestureConfiguration (PersonData) і ExpressionsConfiguration (PersonExpressions), а також розпізнавання розташування і положення голови, орієнтації людини, обмежувальної рамки голови. При цьому скасовано полі властивостей конфігурації (для налаштування слід використовувати функції). Тепер при відстеженні можна використовувати повторну ідентифікацію, а в режимі відстеження скелета відстежується 6 точок (а не 4).

У FaceData додано LANDMARK_GROUP_RIGHT(|LEFT)_EAR, розширені можливості RecogntionData для передачі даних про найбільш близьких збіги, змінені QueryNumberOfMatches і QueryMatches.
Значення за замовчуванням SmoothingLevelType для відстеження особи змінено з LANDMARKS_SMOOTHING_LOW на LANDMARKS_SMOOTHING_MEDIUM. За рахунок цього поліпшується тимчасове згладжування в кадрах.

У PXC[M]Image додано PIXEL_FORMAT_DEPTH_CONFIDENCE, в PXC[M]Capture додано STREAM_OPTION_DEPTH_CONFIDENCE.

У PXC[M]Projection прибрано неправильне округлення значення глибини в API QueryVertices для камер переднього огляду; SelectOption тепер може повертати карту проекції без обрізки.

В інтерфейсі PXC[M]VideoModule розширені ProcessSample, SetProjection і SetGPUExec (для визначення використання ЦП або ГП).

У EnhancedPhoto (EP) додано вставка на поверхню (а також на площину), підтримка декількох стікерів, AddSticker(), UpdateSticker() і RemoveSticker() разом з номерами ідентифікаторів для відстеження стікерів. Також можна використати попередній перегляд карти глибини PreviewEnhancedDepth() в конвеєрі обробки відео в кожному кадрі перед застосуванням. Додаткові відомості про проблеми у EP і зміни див. 2016R2 (нотатки до випуску), в розділі відомих проблем R200 (особливо щодо мерехтіння).

В конфігураціях потоку ScenePerception тепер можна використовувати будь-які налаштування датчиків (посилення, експозиція тощо) як для кольорового, так і для карти глибини, в тому числі в Unity. У SP також додані IsGravitySensorSupportEnabled і IsInertialSensorSupportEnabled. Можна вимкнути EnableSceneReconstruction для першого кадру; EnableSceneReconstruction більше не включається примусово і автоматично, тож можна пропустити вбудовування першого кадру в тривимірну модель та об'єм. DoReconstruction підтримує інтеграцію потоків в тривимірну модель, обсяг і воксели ще до передачі першого кадру після створення модуля або після скидання виклику. Реалізована потокобезопасность ExportSurfaceVoxels з точки зору відстеження: можна запускати ExportSurfaceVoxels паралельно з відстеженням.
Примітка. CHM-файл довідки SP може не відкриватися. Використовуйте HTML або PDF-файли.

У Unity (5.2.3.p3 або більш пізньої версії .NET 3.5) реалізована підтримка NativeTexturePlugin для оновлення Unity Texture2D з допомогою Direct3D*9 або 11 або OpenGL*2.0. Unity XML знаходиться в папці Plugins.Managed. У зразку SP Unity можна перемикатися на вбудований рендеринг, що забезпечує приріст продуктивності приблизно на 50 % для кольорового зображення високої чіткості і дозволяє уникнути перевантаження потоків при отриманні результатів відстеження. Примітка. Якщо складання проекту VS libpxcclr.unity виконується неправильно, натисніть «Проект» > «Додати посилання» і додайте [папка установки Unity]/Editor/Data/Managed/UnityEngine.dll.

Довідкові матеріали
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.