Чому важливо навчати ай грати в ігри? Бен Діксон

OpenAI, лабораторія дослідження штучного інтелекту, заснована Сем Альтманом та Елоном Маск, нещодавно заявила, що відправить команду до Ванкувера в серпні для участі у професійному турнірі відомої онлайн-бойової гри Dota 2. Але на відміну від інших команд, які будуть змагаючись за багатомільйонний приз, OpenAI У команді не буде задіяно людей - принаймні, не безпосередньо.

Називається OpenAI Five, команда складається з п'яти штучних нейронних мереж, які горіли величезною обчислювальною силою хмари Google і практикували гру знову і знову мільйони разів. OpenAI Five вже обіграв напівпрофесіонали в Dota 2 і буде тестувати свою боротьбу проти перших 1 відсотка гравців, які прийдуть в серпні.

В спочатку погляд, витрачати дорогі обчислювальні ресурси та обмежений талант AI навчити AI грати в ігри може здатися безвідповідальним. У OpenAI розміщені одні з провідних науковців у галузі ІІ, які, за даними The New York Times, заробляють семизначну зарплату. Зрештою, чи не можуть вони працювати над більш важливими проблемами, такими як розробка ШІ, яка може боротися з раком або зробити безпечніше керування автомобілями?

Як не здається деяким, ігри виявились важливою частиною досліджень ШІ. Від шахів до Dota 2, кожна переможена AI гра допомогла нам пробити нову грунт у галузі інформатики та інших галузях.

Ігри Допомога простежити хід ШІ

З часу зародження ідеї штучного інтелекту в 1950-х роках ігри стали ефективним способом вимірювання можливостей ШІ. Вони особливо зручні при тестуванні ємності нового AI методи, тому що ви можете кількісно оцінити ефективність ШІ за допомогою числових показників та результатів, що програють, і порівняти їх з людьми чи іншими ШІ.

Першою грою, яку дослідники намагалися освоїти через ШІ, був шахи, які в перші дні вважалися остаточним випробуванням прогресу на місцях. У 1996 році Deep Blue був першим комп'ютером IBM, який переміг чемпіона світу (Гаррі Каспаров) з шахів. ШІ за Deep Blue застосував метод грубої сили, який проаналізував мільйони послідовностей перед тим, як зробити крок.

Хоча метод дав можливість Deep Blue оволодіти шахами, він ніде не був достатньо ефективним для вирішення складніших настільних ігор. За сьогоднішніми мірками це вважається сирим. Коли Deep Blue переміг Каспарова, вчений зауважив, що пройде ще сто років, перш ніж AI зможе підкорити давньокитайську гру Go, яка має більше можливих рухів, ніж кількість атомів у Всесвіті.

Але в 2016 році дослідники AI компанії DeepMind, що належить Google, створили AlphaGo, Go-play AI, який переміг Лі Седола, чемпіона світу, 4 на 1 у змаганнях з п’яти ігор. AlphaGo замінив грубу силу методу Deep Blue на глибоке навчання, AI-техніку, яка працює набагато більше, як спосіб мозку людини. Замість того, щоб вивчати всі можливі комбінації, AlphaGo вивчав, як люди грали в Go, а потім намагався розібратися та повторити успішні моделі гри.

Пізніше дослідники DeepMind створили AlphaGo Zero, вдосконалену версію AlphaGo, яка використовувала посилене навчання, метод, який вимагав нульового внеску людини. AlphaGo Zero навчали основних правил Go і вивчали гру, граючи проти себе незліченну кількість разів. І AlphaGo Zero побив свого попередника 100 до нуля.

Однак настільні ігри мають обмеження. По-перше, вони покрокові, а це означає, що ШІ не в силах приймати рішення в середовищі, яке постійно змінюється. По-друге, AI має доступ до всієї інформації в навколишньому середовищі (в даному випадку рада) і не повинен гадати чи ризикувати на основі невідомих факторів.

Враховуючи це, AI під назвою Libratus здійснив наступний прорив у дослідженні штучного інтелекту, перемігши найкращих гравців в покер Texas Hold 'Em. Розроблений дослідниками Карнегі Меллона, Лібратус показав, що ШІ може конкурувати з людьми в ситуаціях, коли він має доступ до часткової інформації. Лібратус використав кілька методів AI для вивчення покеру та вдосконалення своєї гри, вивчаючи тактику своїх опонентів.

Відеоігри в реальному часі - наступний кордон для AI, і OpenAI - не єдина організація, що займається цією сферою. Facebook перевірив навчання AI грати в стратегію в реальному часі StarCraft, а DeepMind розробив AI, який може грати в шутер від першої особи Quake III. Кожна гра представляє свій власний набір викликів, але загальним знаменником є ​​те, що всі вони представляють ШІ середовищем, де їм належить приймати рішення в режимі реального часу та з неповною інформацією. Більше того, вони дають AI арену, де вона може випробувати свої сили проти команди опонентів та навчитися самому працювати в команді.

Наразі ще ніхто не розробив ШІ, який може перемогти професійних гравців. Але сам факт, що AI змагається з людьми в таких складних іграх, показує, наскільки ми зайшли в цій галузі.

Ігри допомагають розвивати AI в інших сферах

Хоча вчені використовували ігри як тестові майданчики для розробки нових методик ШІ, їх досягнення не залишилися обмеженими іграми. Насправді ігрові AI відкрили шлях до інновацій в інших сферах.

У 2011 році IBM представила суперкомп'ютер, здатний до обробки та генерування природних мов (NLG / NLP) та був названий на честь колишнього генерального директора компанії Томаса Дж Уотсона. Комп’ютер зіграв відому гру-вікторину телевізійних шоу «Загроза» проти двох кращих гравців світу та виграв. Пізніше Уотсон став основою для величезної лінійки послуг AI від IBM в різних областях, включаючи охорону здоров'я, кібербезпеку та прогнозування погоди.

DeepMind використовує свій досвід розробки AlphaGo для використання AI в інших галузях, де може допомогти вивчення посилення. Компанія розпочала проект з National Grid UK для використання AlphaGo розумні для підвищення ефективності британської енергомережі. Google, головна компанія DeepMind, також використовує техніку для зменшення витрат на електроенергію своїх величезних центрів обробки даних, автоматизуючи контроль споживання свого різного обладнання. Google також використовує підсилення для навчання роботів, які одного дня будуть обробляти об'єкти на заводах.

• Штучний інтелект має проблему зміщення, і це наша помилка Штучний інтелект має проблему зміщення, і це наша вина
• IBM Штучний інтелект бере участь у дебатах щодо людських дебатів IBM Штучний інтелект бере участь у дебатах про людину
• Чому AI повинен розкрити, що це AI Чому AI повинен розкрити, що це AI

Лібратус , граючий в покер AI, може допомогти розробити такі алгоритми, які можуть допомогти в різних ситуаціях, таких як політичні переговори та аукціони, де AI повинен ризикувати і робити короткотермінові жертви для довгострокових вигод.

Я з нетерпінням чекаю, як виступить OpenAI Five у змаганні Dota 2 в серпні. Хоча мене не особливо цікавить, чи занесуть нейронні мережі та його розробники додому премію в розмірі 15 мільйонів доларів, я хочу побачити, які нові вікна відкриють її досягнення.