Плани змішаної реальності Microsoft виходять далеко за рамки гололенів

Коли Microsoft на початку 2015 року несподівано оголосила про новий продукт доповненої реальності (AR) на заході Windows 10, сама гарнітура Microsoft HoloLens була не першим, що побачила аудиторія. Розкриваючи нову технологію у всьому світі, Алекс Кіпман від Майкрософт - творець як контролера руху Microsoft Kinect, так і HoloLens - замість цього показав логотип для Windows Holographic - програмної платформи, орієнтованої на Windows 10, що підтримує амбіції Microsoft AR.

Більше двох років потому програмне забезпечення, що живить зростаючу екосистему AR-пристроїв Microsoft, все ще є найкращим показником того, де компанія планує взяти своє "змішане реальність" (MR) майбутнє. Зараз воно отримало іншу назву; Корпорація Майкрософт перевпорядкувала Windows Holographic на змішану реальність Windows, але мета не змінилася. Microsoft хоче побудувати сумісну мережу гарнітур AR, VR та змішаної реальності від різних виробників, які спілкуються між собою та працюють під керуванням Windows 10 Universal Apps.

У цьому підході є три зусилля: перше обладнання компанії Microsoft (HoloLens), розвивається стек програмного забезпечення, розміщений в рамках платформи Windows Mixed Reality, та сторонніх апаратних партнерств Microsoft з Acer, Asus, Dell, HP та Lenovo для створення 299 доларів гарнітури зі змішаною реальністю під керуванням Windows 10. Перша з них, гарнітура Acer Windows Mixed Reality Development Edition, вже доставляється розробникам.

Що таке змішана реальність?

Microsoft не єдина AR-компанія, яка почала використовувати термін "змішана реальність" для розмежування різних точок спектру AR / VR. З одного боку, у вас є монокулярні окуляри, які ви бачите від компаній, таких як Vuzix, та смартфони AR, популяризовані такими програмами, як Pokemon Go.

З іншого боку, є більш занурений бінокулярний досвід роботи з головою (відображається в обох очах із 360-градусним полем зору) таких пристроїв, як HoloLens, окуляри ODG R-9 або досі небачений Magic Leap. Якщо говорити надто спрощено, AR можна вважати додаванням накладеної інформації або віртуальних об'єктів більш двовимірним способом поверх того, що перед вами.

Але континуум, в якому існують подібні технології, йде глибше. Якщо уявити спектр з фізичним світом з одного боку та справжньою віртуальною реальністю з іншого, це виглядатиме так:

Фізичний світ -> Розширена реальність -> Змішана реальність <- Розширена віртуальність <- віртуальна реальність

(Не хвилюйтесь занадто багато про розширену віртуальність зараз. Ми ще не зовсім такі).

Наразі ця галузь замурована в заплутаному термінології, але відокремлення всіх жаргонів важливо не тільки для розуміння екосистеми, але і для визначення всіх моментів, в які Microsoft планує підключитися до неї. Якщо бачення технологічного гіганта здійсниться, програмне забезпечення для змішаної реальності Microsoft може працювати у гарнітурах від 299 до 3000 доларів, вбудованих у досвід споживачів та підприємств у сфері ігор, електронної комерції, промислового дизайну та виготовлення, інтерактивних візуалізацій даних підприємств, медицини та ін. за її межами.

Як ви будуєте ОС для змішаної реальності

Під час недавнього інструктажу з Microsoft, PCMag отримав можливість коротко перевірити нову гарнітуру партнера Acer. Ми також отримали розрив стеку програмного забезпечення для змішаної реальності Windows, включаючи деяке розуміння того, як Microsoft працює з OEM-виробниками для створення гарнітури на суму 299 доларів, а також те, що останні оновлення Windows 10 Creators Update для змішаної реальності для додатків Windows на різних комп'ютерних пристроях.

Платформа Windows Mixed Reality розпадається на декілька різних шарів. У верхній частині стека у вас встановлений на голові дисплей (HMD) з шістьма ступенями свободи (6DoF), що представляє підтримуваний рівень тривимірного руху та відстеження положення. HoloLens використовує те, що Microsoft називає "всередину" 6DoF, тобто відстеження положення, яке поєднує дані з декількох вхідних датчиків і камер з алгоритмами, щоб забезпечити безперебійність роботи.

Для контексту неприв’язані гарнітури VR, які використовують дисплей смартфона, включаючи Samsung Gear VR та Google Daydream View, на даний момент підтримують 3DoF, іноді відомий як тангаж-рол. З'єднані гарнітури VR, такі як Oculus Rift і HTC Vive, мають відстеження положення 6DoF.

Оновлення Windows 10 Creators включає підтримку контролю руху 6DoF в Acer та інших майбутніх гарнітурах OEM. Видання змішаної реальності для Acer Windows включає дві камери відстеження позицій передньою стороною та подвійні дисплеї порівняно з чотирма камерами, які ви знайдете на більш дорогих HoloLens (дві додані камери HoloLens використовуються для просторового відображення), але всі п’ять партнерів гарнітура підтримуватиме 6DoF. Оновлення, що надійде пізніше цього року, додасть підтримку інтегрованих графічних чіпів у гарнітурах зі змішаною реальністю, хоча для оновлення для апаратного забезпечення знадобиться порівняно недавній чіп Intel 7- ^го покоління.

Наступні шари в стеку змішаної реальності Windows обробляють вхід, проміжне програмне забезпечення та інтерфейси прикладного програмування (API) для змішаної реальності та просторового сприйняття. Вхідний шар обробляє всі візуальні, гіроскопічні, голосові та просторові вхідні дані, які пристрій AR / VR збирає в будь-який момент часу. Це може охоплювати дані з джерел, включаючи системи координації, погляд і спрямованість, жести, введення голосу, просторове звучання та просторове відображення.

Проміжне програмне забезпечення та шари API є ключовими для розуміння того, як платформа починає підключатися до решти екосистеми програмного забезпечення AR / VR. Документація для розробників змішаної реальності Windows вже містить інструкції зі створення голографічних додатків за допомогою популярних платформ, включаючи Unity (механізм розробки крос-платформ), Vuforia (платформа розробки AR) та протокол середнього програмного забезпечення для створення програм MR, використовуючи час виконання Microsoft DirectX.

Платформа сама по собі не відкрита - вам належить грати за універсальними правилами програми для Microsoft, - але Microsoft надає ряд варіантів підключення до свого пакета програмного забезпечення MR. Одним із прикладів цього є гарнітура VR Project Alloy VR, очікувана пізніше цього року, яка запускає версію програмного забезпечення Windows Mixed Reality.

Останні шари стеку додають користувальницький інтерфейс користувача (інтерфейс користувача) Microsoft називає "оболонкою" разом із хмарними службами, такими як аутентифікація та синхронізація Xbox Live, та спільними повідомленнями через такі сервіси, як Skype. У випуску змішаної реальності Acer Windows ми коротко ознайомились, "оболонка" була по суті операційною системою, розміщеною як кімнати в будинку.

Потім користувач може телепортуватися в різні кімнати і запускати різні додатки, що відображаються як плаваючі значки або займаючи плитку на стіні. Це можуть бути прості додатки, такі як "Фотографії", "Фільми" та "Телевізор", "Microsoft Edge" або навіть повноцінне меню "Пуск" Windows 10, з яким ви могли орієнтуватися в рамках досвіду роботи, який працював з контролером Xbox. Звичайно, є також цікаві можливості інтерактивного 3D-моделювання, як у HoloLens. Демонстраційні приклади варіювались від слонів і тигрів, котрі блукали навколо махаючого космонавта, якого ви можете розмістити в кімнаті, та програми, яка запускає вас у тривимірну сонячну систему. Це лише кілька прикладів, враховуючи, що гарнітури OEM можуть запускати будь-яку універсальну програму Windows. З точки зору програмного забезпечення Microsoft бачить усі ці пристрої як комп'ютери Windows 10 для вашої голови.

Компанія може випустити стандартну технічну специфікацію змішаної реальності в якийсь момент вниз по дорозі, але на даний момент Microsoft зосереджується на стеці програмного забезпечення і спільно розробляє майбутню хвилю гарнітури партнерів. Якщо ви більш детально ознайомитеся з річницею випуску Windows 10 (та комерційним пакетом HoloLens всередині неї), ви також можете побачити програмні функції, які Microsoft додає під кришкою, щоб зробити свій HoloLens, орієнтований на підприємство, більш привабливим для розгортання бізнесу.

Комерційний пакет HoloLens зміцнює базовий набір функцій видання HoloLens Development Edition, що дозволяє підприємствам сприймати гарнітуру зі змішаною реальністю як просто ще один пристрій у своїй корпоративній ІТ-мережі. Microsoft випустила комерційний пакет HoloLens у серпні минулого року за ціною 5000 доларів, а за ці додаткові $ 2 тис. Ви отримаєте функції, включаючи більш глибоке управління мобільними пристроями (MDM) разом із Microsoft Intune разом із режимом Kiosk, який запустить HoloLens безпосередньо в конкретну програму досвід для використання демонстраційного магазину в роздрібному середовищі.

Комерційний пакет також постачається з шифруванням приводу Microsoft BitLocker Drive Encryption та доступом до захисту віртуальної приватної мережі (VPN), що зараз важливіше, ніж будь-коли. Блискуче обладнання завжди буде приділяти більше уваги, зокрема Asus, Dell, HP та Lenovo в найближчі місяці розгортають власні гарнітури. Але для чіткого уявлення про те, куди спрямована стратегія змішаної реальності Microsoft, слідкуйте за цим програмним забезпеченням.