Ібм Уотсон допомагає студентам університету вивчити мандарин

Університети пройшли довгий шлях у вивченні мови, виходячи за рамки традиційних занять у лекційній залі та заздалегідь записавши уроки без взаємодії. Зараз студенти мають доступ до таких технологій, як штучний інтелект (AI) та обробка природних мов (NLP) у занурювальному навчальному середовищі. Саме це відбувається в лабораторії когнітивних та іммерсивних систем (CISL) в Трої, штат Нью-Йорк, на кампусі політехнічного інституту Ренсселера (RPI). Саме тут інститут об'єднався з IBM Research, щоб створити технологію для шеститижневого літнього курсу, під час якого студенти взаємодіють з агентами ШІ в умовах, що включають вуличні ринки та ресторани.

Курс під назвою "Китайський занурений іммерсивний китайський" містить 360-градусну панорамну систему відображення комп’ютерних сцен, створених у лабораторії когнітивного занурення (CIR), яку також називають "Кімната ситуацій". Віртуальні сцени відбуваються в Китаї. Студенти розмовляють з аватарами, що працюють від Асистента Уотсона і виправляються в їх мовленні та вимові. У програмі CIR студенти використовують розмовний інтелект, генерацію розповіді, усвідомлення просторового контексту та технологію розпізнавання жестів та обличчя.

CIR є прикладом різноманітного спектру потенціалу для IBM Watson в кількох галузях, крім освіти. Ці галузі включають сільське господарство, людські ресурси (HR) та управління флотом.

У ІРП, крім помічника Уотсона, студенти використовують у навчанні «Ватсон у мові», «Текст у ватсон» та «Мовний перекладач».

Студенти вивчають мандарин, використовуючи AI на кампусі RPI. (Кредитний імідж: IBM Research / RPI)

Активний досвід навчання

Для Джуліана Вонга, молодшого в RPI, занурюючий досвід AI був привабливим способом навчання мандарина, оскільки це дає йому більш активний шлях до навчання. Оскільки мандарин - це тональна мова, в якій зміна висоти може змінити значення слів, аватари в досвіді AI надають зворотній зв'язок щодо тону, щоб переконатися, що Вонг та інші студенти отримують правильну вимову.

За словами Вонга, робота з AI в CIR забезпечує приємний баланс з регулярним часом занять. "Зустріч, щоб поговорити з комп'ютером … безумовно, допомагає в багатьох аспектах вивчення мови, особливо словесних навичок", - сказав Вонг.

Клас мандарина Вонга збирається чотири рази на тиждень. У понеділок та п’ятницю він відвідує заняття в традиційній аудиторії з Хелен Чжоу, доцентом RPI. Там він вивчає нову лексику та отримує ознайомлення з фразами та граматичними структурами. По вівторках та четвергах клас збирається в CIR, де студенти проводять бесіди з віртуальними агентами. В умовах ресторану Вонг сказав, що студенти можуть пройти весь процес сідання в ресторан, перегляду меню, замовлення їжі, розмови з офіціантом про те, як готується їжа, та оплати рахунку. Інші середовища включають сад, ринок та шкільний кампус.

За словами Чжоу, клас мандаринів у класі занурення відрізняється від традиційного середовища тим, що забезпечує мультимодальний досвід мови та відео. Вона сказала, що традиційний клас буде менш зануреним та інтерактивним. "Під час імітації в класі занурення у нас є два агенти, які повинні битися один з одним, щоб спробувати переконати учнів придбати товар", - сказав Чжоу. "Так студенти зрозуміли б з особистого досвіду, а не дивилися відео чи слухали лише лекції. Я вважаю, що вони б зайняли культуру легше, ніж просто навчаючись з підручників чи слухаючи касети".

У програмі CIR студенти приймають вікторини, пов'язані зі сценами, з якими вони взаємодіяли, і піднімають руки, щоб дати свої відповіді. Технологія комп’ютерного зору з камер у кімнаті фіксує їх жести. Асистент AI дає вікторину, пов’язану зі сценою, і студенти повинні відповісти фразою китайською мовою.

"Якщо ви хочете вибрати одне із спливаючих вікон, що знаходяться на екрані, ви можете простягнути руку, відкрити долоню, а потім закрити руку", - пояснив Вонг. "Ви вибираєте те, на що курсор знаходиться в даний момент. Для невеликих вікторин, якщо ви знаєте, що правильна відповідь, ви можете перенести руку на символів, які ви хочете вибрати, а потім закрити руку, щоб вибрати їх." повідомить вам, чи правильно ви це зробили чи ні ".

Віртуальний агент розуміє учнів більшу частину часу, за винятком випадків, коли у них може не бути мікрофона близько до рота. Система має різні налаштування розпізнавання голосу, які підбирають учнів, якщо вони не відповідають вимові. Він також надає негайний зворотній зв'язок у розмові, якщо у вас немає професора. У свій час учні класу Mandarin переходять на веб-сайт, щоб отримати доступ до голосових кліпів для занять.

Класною особливістю занурюючого досвіду в RPI є просторове усвідомлення контексту, в якому кілька віртуальних агентів на екрані можуть визначити, з ким ви контактуєте з оком. "Якщо ви щось скажете, дивлячись на одного агента, то він відповість, а не інший", - сказав Вонг.

Студент використовує жест IBM Watson і розпізнавання обличчя як частину класу Mandarin в RPI. (Кредитний імідж: IBM Research / RPI )

Як розвивався досвід занурення

Захоплюючий досвід в RPI з'явився, коли викладачі мови та професори дизайну ігор зустрілися, щоб обговорити кращий спосіб викладання мови. План розробки рольової гри незабаром перетворився на дискусію про те, як навчити мандарина за допомогою моделювання сценаріїв реального життя, за словами Хуэй Су, який є і директором когнітивного досвіду користувачів IBM Research, і директором CISL. IBM і RPI почали розробляти курс наприкінці 2015 року, і вони створили спільну лабораторію на той час. CISL потім сформувався незабаром.

"Метою лабораторії є побудова пізнавального та занурюючого середовища для покращення групової діяльності, розширення групового інтелекту в контексті навчання та прийняття рішень", - сказав Су. "Ми також зосереджуємось на побудові пізнавальних занурювальних залів … щоб переглянути дані критичної ситуації та спробувати осмислити інформацію та створити рішення чи рекомендації для осіб, які приймають рішення".

У рамках програми вивчення мов AI IBM та RPI експериментують з контурним аналізом тону. Су описав, як працює ця технологія. "Коли ви говорите склад, коли ви вимовляєте склад, основний техніка захопить голос, і він генерує візуальний контур того, як ви вимовляєте цей склад", - сказав Су. "Потім він використовує цей зоровий контур і порівнює цей зоровий контур із зоровим контуром носія мови".

Потім учні можуть внести корективи у вимові, щоб досягти правильного тону. Вони дізнаються, що їм потрібно змінити вимови певних складів. Зі знаннями, які студенти здобувають, вивчаючи мандарин у навчальному класі, використовуючи технологію Ватсона, вони матимуть більше впевненості в розмові в реальному житті, за словами Су.

"Вся ідея полягає в тому, щоб забезпечити достатній культурний контекст завдяки нашому занурювальному середовищу та AI-технологіям, щоб студенти могли практикувати вправи", - сказав Су. "Тож у них не буде таких страхів, як розмова з людьми в реальному житті".

Студент практикує мандарин у віртуальному середовищі ресторану, використовуючи технологію IBM Watson. (Кредитний імідж: IBM Research / RPI )

Міст між технологічною індустрією та Академією

IBM та RPI здатні побудувати міст між дослідниками IBM та викладачами, при цьому IBM вклав дослідника в кампус, а саме Su. Тим часом Чжоу, професор класу RPI, також надає відгуки дизайнерам, користувачам та викладачам про те, як покращити досвід роботи в класі.

"Мені потрібно негайно дати їм відгук для налагодження або покращення дизайну, щоб ми могли запропонувати студентам більш природний клас", - сказав Чжоу. "Отже, тут багато роботи, але воно того варте".

Майбутнє вивчення мови

• Найкраще програмне забезпечення для вивчення мов на 2019 рік. Найкраще програмне забезпечення для вивчення мови на 2019 рік
• IBM випускає інструменти пошукового інструменту Watson AI у кількох галузях IBM випускає пошукові інструменти Watson AI у кількох галузях
• Чи справді AI говорить нашою мовою? Чи справді AI говорить нашою мовою?

Чжоу, цей тип зануреного середовища є цінним завдяки здатності забезпечувати, здавалося б, реальне середовище. "Іммерсивне середовище AI може не тільки покращити мовлення та слухання учнів, але й прагматику використання цієї мови в реальних ситуаціях", - сказав Чжоу. "Ось чому AI є більш ідеальним для мене як викладача, щоб студенти могли зрозуміти, як використовувати мову рано, навіть для початківців, не подорожуючи країною".

Мультимодальні навчальні середовища, подібні до тих, що пропонуються в ІРП, розширять роль AI у класі. Маючи досвід, який AI надає за допомогою віртуальних агентів, студенти будуть готові вирішувати різні сценарії в реальному світі з необхідними знаннями мови.