Як єдність будує своє майбутнє на ar, vr та ai

Unity - це найпоширеніша платформа розвитку 3D у світі. За даними аналітичної фірми Apptopia, це 40 відсотків найкращих 1000 мобільних ігор та більше половини всіх нових мобільних ігор. Поряд з Unreal Engine, два популярних ігрових двигуна лежать в основі більшості ігрових вражень в Інтернеті.

Однак простір розвитку 3D набагато більш переповнений, ніж раніше, особливо коли мова йде про розвиток розширеної та віртуальної реальності.

Unity служить будівельними блоками або інтегрується з більшістю новіших платформ AR / VR, включаючи ARKit Apple і ARCore Google, але зараз він також займається конкуренцією з боку амазонських шумерських та інших інтерфейсів перетягування, що спрощують досвід роботи менш технічні творці.

Щоб випереджати конкуренцію та розвивати свою платформу для зростаючої екосистеми нових пристроїв та 3D-досвіду, Unity просуває двосторонню стратегію, керовану своїми підрозділами AR / VR та AI. PCMag розмовляв з Тоні Парисі, головним керівником фірмових рішень VR / AR, та Денні Ланге, віце-прем'єр-міністром AI та машинного навчання Unity, щоб всередині побачити майбутнє Unity та те, як платформа та ігри, які вона створює, стають розумнішими без того ви навіть це усвідомлюєте.

Вид Unity на AR / VR-ландшафт

IDC прогнозує, що витрати на продукти та послуги AR / VR цього року досягнуть 27 мільярдів доларів, а ринок з цього моменту лише зростає. Паризі сказала, що Unity має на меті підтримати будь-яку платформу в просторі.

"Три-чотири роки тому, перед тим, як я приєднався, Unity почав робити значні інвестиції на ринок VR, що розвивається - Oculus Rift, HTC Vive, Samsung Gear VR та ін. - з метою створити якусь повнофункціональну систему для розробників. тож їм не доведеться зациклюватися на деталях низького рівня, як підтримувати ці платформи ", - сказав Паризі. "Ми дійшли до того, що ви пишете більшість своїх додатків один раз, і ви можете перенести їх на ці пристрої."

Це не є загальновизнаним, за його словами, тому що додаток, створений для гарнітури для мобільних глядачів, буде розроблений дещо інакше, ніж додаток, оптимізований для роботи на ПК. Але, згідно з внутрішніми показниками Unity, платформа наразі використовує 69 відсотків досвіду Oculus Rift, 74 відсотків на HTC Vive, 87 відсотків на VR Gear та 91 відсотків досвіду змішаної реальності (MR) на Microsoft HoloLens.

• Робота з екосистемою, що росте

  Паризі працює в AR / VR з середини 90-х, займаючись 3D-візуалізацією. Він створив формат файлу VRML та інші специфікації, що лежать в основі WebGL, а також створив і працював у кількох інших VR-компаніях. Він приєднався до Unity наприкінці 2016 року, щоб очолити рекламу, маркетинг та стратегію в області AR, VR, MR та широкої паралельної розширеної реальності (XR).

  "одразу після покему Pokemon Go, який був подібним до цього спрощеного AR детальніше про місце розташування, кудись і пошук покемонів, а також трохи камери. Це фактор, який ми продовжуємо розширювати. Це стосується місця настільки, наскільки це йдеться про занурення ", - сказав Паризі.

  На фронті AR, Паризі розповіла про те, як Facebook та Snap використовують свої платформи Camera Effects та Lens Studio для розробників, щоб розвивати те, що ви можете зробити із камерами смартфонів, щоб скласти карту навколишнього середовища. Об'єднання AR на базі смартфона та гарнітури - це досвід, як гра Star Wars: Jedi Challenges, яка також була створена разом з Unity і працює зі смартфоном у поєднанні з гарнітурою Mirage AR від Lenovo.

  Наступна хвиля - телефони з підтримкою операційної системи AR через ARKit від Apple і ARCore від Google, заявила Паризі. Як і у Amazon Sumerian, Unity співпрацює з Apple та Google щодо створення вмісту AR за допомогою 3D-інструментів. Unity також служить основою для інструментів Google з відкритим кодом, таких як Tilt Brush та Blocks. Parisi передбачає спільний розширений світ, який охоплює мобільні операційні системи.

  "Apple і Google - це чудові партнери. Ми маємо глибокі стосунки з ними, щоб розвивати і підтримувати цей досвід і вміст XR за допомогою 3D-інструментів Unity", - сказав Паризі. "Дуже багато демократизованих інструментів створення, які не призначені для кодерів чи розробників чи професійних дизайнерів, вбудовані в наш двигун. Що ще краще - ви можете взяти моделі Blocks або Tilt Brush art і ввести їх в інші програми Unity, як і будь-яке інше програмне забезпечення що входить у Єдність ".

  Стосовно MR та VR, великими пристроями та програвачами програм є Oculus, HTC, і звичайно Microsoft та його екосистема Mixed Reality. Юнітіс створює тривимірні програми для всіх, але Microsoft трохи розмиває лінії між змішаною та віртуальною реальністю, сказала Паризі. HoloLens - пристрій змішаної реальності, але гарнітури Windows Mixed Reality - це VR.

  "Промисловість все ще стикається з тим, що ми повинні називати все це", - сказав Паризі. "Залежно від того, чи розробляєте ви вміст, який поєднує цифровий з реальним світом, а не у повністю занурюючий світ, у вас виникають різні завдання. У VR завдання щодо продуктивності вищі. Ви повинні створити повністю синтетичний світ. Це означає, що ПК VR-гарнітури на основі рендерінга зі швидкістю 90 кадрів в секунду, вибухаючи продуктивність. Змішана реальність менш інтенсивна, але вона також повинна в режимі реального часу підлаштовуватися під усе середовище, яке вона обробляє ".

• Еволюція створення 3D контенту

  Єдність - це демократизований інструмент створення 3D для розробки занурюючого контенту. Існують безкоштовні, плюсові та Pro версії, які можна придбати за щомісячну абонементну плату, і це безкоштовно. Отже, що ви будуєте з Єдністю, це ваше. В даний час Unity підтримує побудову приблизно 30 різних платформ, від смартфонів та операційних систем ПК до безлічі ігрових систем, смарт-телевізорів та гарнітур VR.

  Останнім часом Unity використовувався для створення широкого спектру занурювального змісту та досвіду. Вони варіюються від серіалу кінофестивалю «Санданс» під назвою «Сфери», який дозволяє глядачам досліджувати космічне зіткнення двох чорних дір у VR, до гри «CocoVR» Діснея, яка використовує 360-градусні проекції, що перевозять гравців у «Землю мертвих» фільму Піксар.

  Паризі також розповіла про використання Unity для створення веселих VR-ігор, таких як Beat Saber, та розширеного досвіду, включаючи MLB At Bat AR додаток, який дозволяє глядачам бейсболу вказувати свої смартфони на гру та бачити статистику на екрані над гравцями.

  Unity може створювати всі ці типи додатків, але є багато нюансів, які слід врахувати в дизайні. Досвід на базі ПК є більш потужним, що дозволяє створювати більш тривимірні моделі в багатших умовах, а гарнітури, такі як Oculus Rift і HTC Vive, також надають вам контролери введення, а також відстеження позицій і кімнатного масштабу. Паризі сказала, що для такого типу додатків потрібно розробити інакше, ніж для перегляду на 3 градуси свободи на гарнітурі, як Google Daydream View. Це не так просто, як натискання кнопки, але Unity працював над тим, щоб створений вами 3D-вміст міг переходити з одного пристрою на інший без надто багатого перекодування.

  Крім ігрових та розважальних програм для досвіду AR / VR, одне з питань, з яким Unity стикається останнім часом, - як покращити своє 3D-середовище створення для задоволення різних галузей, рівня кваліфікації та використання випадків. Як і інструменти розробки з низьким кодом, які мають на меті задовольнити як серйозних кодерів, так і нетехнічних користувачів, Unity розбирає способи зробити свій інтерфейс, сховище активів та решту своєї платформи працювати для різних типів компаній та користувачів, щоб розширити своїх клієнтів. база.

  "Ми розглядали ці різні галузі, де AR і VR з'являються. Це можуть бути автомобільні, кіно, архітектурні, медичні чи інші організації, де ви розповсюджуєте програмне забезпечення на сотні тисяч місць", - сказав Паризі. "Це абсолютно різні світи, різні підприємства, різний досвід та інструменти виробництва. Ми спочатку були зосереджені на мобільній і ігровій індустрії, тому що саме там було зростання, але тепер колесо закрутилося і час прийшов правильно взяти цю програму і принести її в деяких інших галузях, тому що в світі йде B2B ".



Поточні обмеження AR / VR

На даний момент найбільшою перешкодою для більш широкого впровадження MR та VR є не відсутність вмісту, а обмеження обладнання, коли мова йде про комфорт та портативність порівняно з обчислювальною потужністю, зазначив Паризі. Загрозливе подорож майбутньої гарнітури Magic Leap служить навчальним прикладом підручника, намагаючись скоротити досить потужний процесор на недостатньо малий форм-фактор для масового споживання.

"Складно створити досвід змішаної реальності, який працює, гуляючи по вашій вітальні, а не навігацією відкритими вулицями", - сказав Паризі. "Ми знаходимось в місці, де ми все ще проходимо ітерації на апаратному забезпеченні, щоб знайти приємне місце між обчислювальною потужністю та портативністю. За допомогою гарнітури VR ви можете переміщатися, поки не відчуєте, що обрив дроту. Нам потрібен інший спосіб передати ці дані. Цей провід - це біль, він порушує занурення. Я був десь ще на хвилину, але потім у мене щось заплуталося навколо ноги ".

Що стосується AR, обмеження різні; це набагато більше про комп’ютерне бачення та потужність обробки 3D графіки в реальному часі. Що стосується комп’ютерного зору та використання різних типів машинного навчання (ML), щоб заповнити прогалини та зробити досвід AR / VR розумнішим та більш безпроблемним, саме тут надходить зростаючий відділ AI Unity.

• AI стратегія об'єднання

  Unity використовує AI безліччю різних способів, від вдосконалення ігрового процесу та дизайну двигуна до відстеження поведінки користувачів та зміни способів розробників ігор монетизувати свої програми. Команда AI, яка налічує понад 100 співробітників у всьому світі, керує Денні Ланге, віце-прем'єр-міністр AI та машинного навчання.

  Ленж приєднався до Unity приблизно 18 місяців тому, коли працював керівником машинного навчання в Uber та генеральним директором машинного навчання Amazon. Він також працював у IBM та Microsoft. Він прийшов у світ ігор з іншим поглядом на ML та допоміг перетворити традиційні зусилля Unity на більш грандіозні проекти.

  "Такі компанії, як Amazon та Uber, настільки сильно керуються машинним навчанням. Повертаючись із світу автомобілів, які самостійно керують, у цьому 3D-ігровому середовищі, ви хочете шукати ідеальне місце для просування межі штучного інтелекту", - сказав Ланге.

  "Коли я приїхав, було здійснено ряд машинних зусиль, де я набув досвіду в навчанні з підсиленням та динамічними системами, де ти в основному вдосконалюєш поведінку", - продовжував Ланге. "Це те, що ми багато зробили як в Amazon, так і в Uber. Незалежно від того, чи надсилаєте ви книги, чи оптимізуєте для безшвидкого підбору для Uber, все це не насправді люди, які сидять і проектують це, це комп'ютерні системи, які навчаються, де розповісти. ви, де зустріти свого водія Uber. І коли я прийшов до Unity, я побачив величезну можливість втілити ці ідеї у світ ігор ".

  Як пояснив Ланге, ML-проекти Unity охоплюють все, від ігрового процесу до монетизації. В одному випадку команда шукає кластери користувачів, які мають певні схеми витрат, які розробники Unity хочуть монетизувати за допомогою реклами чи покупки через додаток. Тоді Unity надає ці результати розробникам для більш ефективного довготривалого залучення.

  Компанія також застосовує ML для покращення геймплея, дизайну двигунів та допомоги в процесі створення вмісту. Загальна стратегія Unity, по суті, розбита між стороною розвитку на рівні більш високого рівня обслуговування та більш розвиненими дослідженнями глибокого навчання на академічній стороні. Ланге заявив, що це також переходить у те, що кафедра Паризі займається розробкою XR, де Unity надає дослідникам тривимірне графічне середовище для перевірки нових алгоритмів МЛ.

  "AR і VR - насправді фантастичні області для машинного навчання та ШІ. Я часто думаю про AI як про вдосконалену реальність, і з реальністю важко боротися", - сказав Ланге. "Важко придумати фіксовані алгоритми, які розуміють усе в кімнаті і можуть перекрити цю кімнату. Ти не можеш це дійсно кодувати. Вам потрібно використовувати машинне навчання та AI, щоб розмістити віртуальні об'єкти в кімнаті, яка визнає, що таблиця є поверхню, і якщо ви поставите її на край таблиці, вона впаде. Це ті сфери, де машинне навчання відіграє дуже важливу роль через динамічну поведінку в реальному світі; розуміння глибини та розмірів у віртуальних просторах. Ми спрямований на те, щоб виявити передову перевагу глибокого навчання, щоб революціонувати спосіб створення та поведінки цих ігор ".



Машинне навчання за лаштунками

Що стосується розробки ігор та геймплея, Ланге відтягнув завісу про те, як Unity вкладає алгоритми ML в досвід для автоматизації процесу створення та ітерації.

"Ми фіксуємо багато даних про поведінку: коли починається гра - як довго ви грали, через які сцени ви проходите в цій грі", - сказав Ланге. "У цьому сенсі ми використовуємо машинне навчання та аналітику даних у подібному контексті, як це роблять Amazon чи Google - збираючи поведінкові дані та передаючи їх назад розробнику ігор. Це свого роду еквівалент веб-аналітики, що дає вам діючі дані використовувати відразу, щоб побачити, на яких рівнях гравці застрягають, які сцени не працюють тощо. "

Ці дані можуть бути використані для оптимізації таких факторів, як покупки через додаток та рекламу, але Ланге заявив, що алгоритми допомагають знайти баланс між показним вмістом користувачів, який їх цікавить, та монетизацією ігор до крайньої мети. На макрорівні він пояснив, що йдеться більше про створення постійно продовжуючого циклу даних про поведінку, щоб допомогти іграм органічно розвиватися, виймаючи розробник вручну з рівняння.

"Машинне навчання - це те, де ви можете взяти дані та почати встановлювати зв'язки", - сказав Ланге. "Коли ви кладете це в цикл, як те, що ви часто бачите в грі, дані призводять до передбачень гри та гравців. Це створює більше поведінкових даних, і тепер у вас є система, яка може взаємодіяти і вчитися від користувачів та те, як вони взаємодіють між собою. Одним із наших великих зусиль є використання технології AI для створення більше органічних ігор, що розвиваються з використанням ".

• Агенти машинного навчання

  Найважливіший спосіб, як це робиться Unity - це через ML Agents, бета-ініціативу з відкритим кодом, яка перетворює ігри та 3D-моделювання в тренувальний майданчик для автономних інтелектуальних агентів. По суті, Unity дозволяє розробникам розгортати ці гнучкі агенти ML в будь-якому сценарії, і вони будуть діяти як губка: навчаються та розвиваються на власний спосіб на основі будь-якого віртуального середовища, в яке ви потрапляєте.

  "Моє визначення машинного навчання порівняно з AI полягає в тому, що за допомогою машинного навчання ви збираєте дані, тренуєте систему, і це все", - пояснив Ланге. "AI - це коли система постійно перекваліфікується і стає все кращою та кращою. Ми хочемо, щоб ігри могли розвиватися, і однією з наших громадських ініціатив для просування є" Агент машинного навчання ".

  Unity має кілька цільових аудиторій для своїх агентів з управління ML. Один сценарій призначений для розробників, що дозволяє цим автоматизованим персонажам пересуватися та взаємодіяти з гравцями. Замість того, щоб кодувати свої дії, агенти ML навчаються за допомогою підкріплення, оскільки вони імітують різні рівні та допомагають розробникам швидко тестувати ігри, які виступають у ролі віртуальних гравців, які випробовують тисячі рівнів гри паралельно.

  Інший випадок використання агентів ML зосереджується на розповіді. Ланге заявив, що Unity тестує агентів, намагаючись зрозуміти, що робитиме гравець далі, а потім слідувати за ними по ходу. Ідея полягає в тому, щоб зрозуміти, що роблять людські гравці, і як гра компенсує ці рішення у більшій схемі розповіді. У іграх, де активні мільйони гравців, ML-агенти можуть масово навчитися та налаштовувати рівні гри або сюжетні лінії.

  У моделюванні "Goodboy" вище команда Lange побудувала просту мобільну гру, використовуючи модель машинного навчання з інструментарію ML-Agents Unity. У грі маленький коргі витягує палицю милими рухами, і все це без жорсткого кодування. Натомість його дії та поведінка контролюються агентами ML. Unity планує співпрацювати з партнерами по платформі, щоб розширити агенти ML на всі підтримувані платформи Unity.

  "Якщо ви думаєте про таку здатність всередині гри на тому рівні, що ми називаємо наративним рівнем, це не обов'язково керовані персонажі в грі, а сама розповідь гри. Таким чином, ви, по суті, гра намагаєтеся перетворити вас на деякі дуже захоплюючі дороги. Таким чином, ви можете вибрати дорогу вліво або вправо, і гра в основному організує ряд подій, виходячи з того, що ви передбачите, що ви будете робити, п'ять, 10, 15 кроків відтепер ", " - сказав Ланге.

  "Ви можете собі уявити, як це могло б працювати в грі для багатьох гравців", - продовжив він. "Один із класичних прикладів: на початку гри зустрічаються двоє людей. Один відбирає все золото у іншого гравця, а потім вони розлучаються з поганою кров'ю між собою. Отже, гра потім забезпечить розповідь, де кожен гравець закінчує" разом у місці, де вижити, їм доведеться працювати разом. Їм потрібно перейти міст, і вони можуть це робити лише разом, інакше вони виходять з гри. Було б дуже важко скласти кодовий шлях через це з великим симуляції, але з агентами ML гра може динамічно створювати такі види моделювання. "

• Побудова віртуальних світів за допомогою AI

  Демонстрація "Пірамід" вище - це середовище, що демонструє результати навчального проекту підкріплення під назвою Curiosity, де ML Агенти швидко досліджують світ для виявлення прихованих винагород на карті.

  Інша сторона AI-операцій Unity передбачає використання ML для створення більш іммерсивних сцен та текстур при створенні 3D-вмісту. Ланге сказав, що це більш нове, але дуже перспективне поле, де автономні системи в грі можуть генерувати вміст, керований рухом, і заповнювати природні рухи, навчаючись, як персонаж, людина чи тварина рухається, а потім наслідуючи цю анімацію в грі.

  "У нас тисячі розробників тестують це", - сказав Ланге. "Щодо академічної сторони, ми почали бачити багато студентів і докторів NASA в MIT та Інституті Пола Аллена в Сіетлі, які випускають матеріали на Unity. Я щойно зустрічався з розробниками в Лондоні, які розглядали це на розвиток NPC, які насправді підштовхують обмеження на графічну продуктивність із пристроями iPhone та Android ".

  У Unity також є двигун під назвою Extreme AI для відображення персонажів персонажів, подібно до того, як Amazon Sumerian будує AI-просякнуті "господарі". Для неіграючих персонажів у грі Unity почала експериментувати з цим для більш природного моделювання за останній рік-два, сказав Ланге.

  "Отже, якщо ви хочете побудувати робота або автомобіль, що керує самогубством, або спроектувати будинок, ви можете зробити це в Unity і заселити цей будинок NPC", - сказав Ланге. "Ви можете імітувати 1000 сімей, які проживають у цьому будинку, та збирати інформацію про те, як рухаються персонажі. Чи двері відкриваються правильно? Чи достатньо світла в кімнатах? Якщо ви це зробите в хмарі, у вас може бути 1000 різних будинків з 1000 різними сім'ями. Це може здатися виїздом за межі самих ігор, але все це лежить в основі ігрової технології ".

• Майбутнє захоплюючих програм

  З розширенням амбіцій компанії AR / VR та штучного інтелекту розширюється, Unity шукає нові можливості для 3D-додатків нового покоління. Одним із прикладів є автомобільна індустрія, для якої Unity нещодавно створила команду, яка допомогла створити вміст AR / VR для клієнтів, включаючи Audi, Toyota, Lexus та Volkswagen. Паризі заявив, що Unity прагне застосувати силу своєї екосистеми для розробників крос-платформ, щоб надати створення додатків AR / VR для нових галузей.

  "Ми змінюємо те, як ви проектуєте машини, знімаєте фільми; як ви робите всі ці речі як компанія, яка вміє продавати розробникам ігор", - сказав Паризі. "Як приклад, скажімо, Ford хоче створити додаток у своїй лабораторії з інновацій. У них є апаратне та програмне забезпечення високого класу, а потім виходить Rift, і вони вирішили просто зробити це на ігровому ПК. Вони виставили рекламу і шанси на те, що хтось із району Детройту - це програміст Unity. Що одна людина починає розробляти прототипи, вона перетворюється на інноваційну команду для трьох осіб, а потім вони починають розробляти нові способи зробити дизайн автомобіля для заміни фізичних прототипів ".

  Паризі також бачить великий потенціал для зменшення тертя, коли мова йде про AR та електронну комерцію. Найважливішою точкою перегину є ратифікація WebXR Всесвітнього веб-консорціуму (W3C), нового стандарту, який дозволить досвіду AR та VR працювати як веб-додатки безпосередньо в настільних та мобільних браузерах.

  Уявіть, що ви побачите рекламу нового кухонного приладу у своєму соціальному каналі, а потім перетягніть цю 3D-модель у змішане середовище реальності, пов’язане з вашою камерою, щоб побачити, як це виглядає на вашій кухні. Щоб така технологія 3D-реклами працювала в масових масштабах, Паризі сказала, що досвід роботи в Інтернеті повинен бути безпроблемним. Якщо вам доведеться встановити додаток для перегляду кожного 3D-об’єкта, позначеного віртуальною інформацією, просто для того, щоб підключити його до камери, модель не працює, але Unity розглядає себе як інструмент разом із стандартами, такими як WebXR, який може усунути ці прогалини сумісності.

  Parisi передбачає майбутнє, де форм-фактором для переживань AR / VR є автономний розважальний пристрій, будь то домашній досвід, додаток на основі локації або корпоративне моделювання для навчання. Він також сказав, що користувальницький інтерфейс повинен стати повністю зануреним. Технології ще немає, але він не вірить, що це так далеко, як деякі можуть подумати.

  "Деякі люди думають, що пройде десятиліття, перш ніж ми зможемо дістатись до справді гарної занурювальної гарнітури чи окулярів з достатньою обчислювальною потужністю", - сказав Паризі. "Якщо ви розглянете всі чудодійні прориви в мініатюризації всіх цих аспектів обчислень - процесор, GPU, мережа 5G - через кілька років ми зможемо перенести частину цієї обробки на край або до хмари. Фактор форми може будь що що завгодно, але загальним елементом, безумовно, є занурюючий користувальницький інтерфейс, де можна натиснути кнопку та відчути повністю реалізовані цифрові символи чи шаруваті середовища, що поєднують цифровий та реальний світи ".