Штучний інтелект має проблему упередженості, і це наша вина

У 2016 році дослідники з Бостонського університету та Microsoft працювали над алгоритмами штучного інтелекту, коли вони виявили расистські та сексистські тенденції в технології, що лежить в основі деяких найпопулярніших і найважливіших послуг, якими ми користуємося щодня. Одкровення суперечить загальноприйнятій мудрості, що штучний інтелект не страждає від ґендерних, расових та культурних забобонів, які ми робимо у нас.

Дослідники зробили це відкриття під час вивчення алгоритмів вбудовування слів, типу AI, який знаходить кореляції та асоціації між різними словами, аналізуючи великі текстові частини. Наприклад, навчений алгоритм введення слів може зрозуміти, що слова для квітів тісно пов'язані з приємними почуттями. На більш практичному рівні вбудоване слово розуміє, що термін "комп'ютерне програмування" тісно пов'язаний з "C ++", "JavaScript" та "об'єктно-орієнтованим аналізом та дизайном". Якщо інтегруватись у програму сканування резюме, ця функціональність дозволяє роботодавцям знаходити кваліфікованих кандидатів з меншими зусиллями. У пошукових системах він може забезпечити кращі результати, відображаючи вміст, семантично пов’язаний із пошуковим терміном.

Дослідники БУ та Майкрософт виявили, що алгоритми вбудовування слів мають проблематичні ухили - наприклад, асоціювання «комп'ютерного програміста» з займенниками чоловічої статі та «саморобного» з жіночим. Їхні висновки, які вони опублікували в дослідницькому документі, влучно під назвою "Чоловік - це комп'ютерний програміст, як жінка - домогосподарка" була однією з кількох доповідей про розкриття міфу про нейтралітет ШІ та висвітлення алгоритмічної упередженості - явища, яке досягає критичних вимірів, оскільки алгоритми все частіше беруть участь у наших щоденних рішеннях.

Витоки алгоритмічного зміщення

Алгоритми машинного навчання та глибокого навчання лежать в основі найсучаснішого програмного забезпечення, що працює на AI. На відміну від традиційного програмного забезпечення, яке працює на основі заздалегідь визначених і перевірених правил, глибоке навчання створює власні правила та навчається на прикладі.

Наприклад, щоб створити додаток для розпізнавання зображень на основі глибокого навчання, програмісти "тренують" алгоритм, подаючи на нього мічені дані: у цьому випадку фотографії позначаються назвою об'єкта, який вони містять. Після того, як алгоритм поглинає достатньо прикладів, він може отримати загальні зразки серед аналогічно маркованих даних і використовувати цю інформацію для класифікації незазначених зразків.

Цей механізм дозволяє глибокому навчанню виконувати багато завдань, які практично неможливо було використовувати на основі програмного забезпечення. Але це також означає, що програмне забезпечення глибокого навчання може успадковувати приховані або явні упередження.

"Алгоритми AI не є власне упередженими", - каже професор Венкатеш Саліграма, який викладає на кафедрі електричної та обчислювальної техніки в Бостонському університеті і працював над алгоритмами вбудовування слів. "Вони мають детерміновану функціональність і підберуть будь-які тенденції, які вже існують у даних, на яких вони навчаються".

Алгоритми введення слів, перевірені дослідниками Бостонського університету, пройшли підготовку до сотень тисяч статей з Google News, Wikipedia та інших інтернет-джерел, в яких глибоко закладені соціальні упередження. Наприклад, зважаючи на те, що бро-культура домінує у галузі індустрії технологій, чоловічі імена частіше створюють завдання, пов'язані з технологіями, - і це призводить до алгоритмів асоціювання чоловіків з такими роботами, як програмування та інженерія програмного забезпечення.

"Алгоритми не мають сили людського розуму в розрізненні права від неправильного", - додає Тольга Болукбасі, докторант в БУ. Люди можуть судити про моральність наших дій, навіть коли ми вирішуємо діяти проти етичних норм. Але для алгоритмів дані є кінцевим визначальним фактором.

Саліграма та Болукбасі не були першими, хто викликав тривогу з приводу цього упередження. Дослідники IBM, Microsoft та Університету Торонто підкреслили необхідність запобігання алгоритмічної дискримінації в публікації, опублікованій у 2011 році. Тоді алгоритмічна упередженість викликала езотеричну проблему, і глибоке навчання все ще не знайшло свого шляху в мейнстрім. Однак сьогодні алгоритмічна упередженість вже залишає свій слід у багатьох випадках, таких як читання новин, пошук друзів, покупки в Інтернеті та перегляд відео на Netflix та YouTube.

Вплив алгоритмічного зміщення

У 2015 році Google довелося вибачитися за те, що алгоритми, що застосовували додаток Photos, позначили двох чорношкірих людей як горил - можливо, тому, що в його навчальному наборі даних не було достатньо фотографій чорношкірих. У 2016 році з 44 переможців конкурсу краси, суджених А.І., майже всі були білими, кілька - азіатськими, і лише одна мала темну шкіру. Знову ж таки, причина полягала в тому, що алгоритм здебільшого навчався фотографіями білих людей.

Google Photos, ви всі трахнули. Мій друг не горила. pic.twitter.com/SMkMCsNVX4

- jackyalciné не дуже реагує на тут. DM (@jackyalcine) 29 червня 2015 року

Нещодавно тест служб аналізу обличчя IBM та Microsoft виявив, що алгоритми компаній були майже бездоганними при виявленні статі чоловіків зі світлою шкірою, але часто помилялися, коли їх представляли із зображеннями жінок з темною шкірою.

Хоча ці інциденти, ймовірно, спричинили незначний збиток, те ж саме не можна сказати про алгоритми ШІ у більш критичних сферах, таких як охорона здоров'я, правоохоронна діяльність та підбір персоналу. У 2016 році розслідування ProPublica встановило, що програмне забезпечення, яке керується компанією ASP, яке оцінює ризик рецидиву злочинців, - було упереджене щодо кольорових людей. Це відкриття викликало особливе занепокоєння, оскільки судді в деяких штатах використовують КОМПАС для визначення того, хто ходить безкоштовно, а хто залишається у в'язниці.

В іншому випадку дослідження рекламної платформи Google, що працює на основі алгоритмів глибокого навчання, виявило, що чоловіки показували рекламу за високооплачувану роботу частіше, ніж жінки. Окреме дослідження виявило подібну проблему з оголошеннями про роботу LinkedIn. Ще одне показало, що упереджені алгоритми найму на 50 відсотків частіше надсилають запрошення на співбесіду особі, імені якої є європейсько-американською, ніж людині з афро-американським іменем.

Такі сфери загрозливі, як затвердження позики, кредитний рейтинг та стипендія.

Алгоритмічна упередженість викликає занепокоєння через те, як це може посилити соціальні упередження. Під ілюзією того, що AI холодний, математичний розрахунок позбавлений упереджень або упередженості, люди можуть схильні довіряти алгоритмічному судження, не ставлячи під сумнів це.

В інтерв'ю Wired Великобританії викладач кримінології університету Едінбурзького Неп'єра Ендрю Вуф зауважив, що "міліціонерний світ", який чинив тиск на час, може змусити правоохоронців занадто покладатися на алгоритмічні рішення. "Я можу уявити ситуацію, коли поліцейський може більше покладатися на систему, ніж на власні процеси прийняття рішень", - сказав він. "Частково це може бути так, що ви можете виправдати рішення, коли щось піде не так".

Спираючись на упереджені алгоритми, створюється цикл зворотного зв’язку: ми приймаємо рішення, які створюють більш упереджені дані, які потім алгоритми аналізуватимуть і навчатимуться в майбутньому.

Такі речі вже трапляються в соціальних мережах, таких як Facebook та Twitter. Алгоритми, що працюють на каналах новин, створюють "фільтруючі бульбашки", які показують вміст, який відповідає вподобанням та упередженості користувачів. Це може зробити їх менш толерантними до протилежних поглядів, а також може ще більше поляризувати суспільство, керуючи клином через політичний та соціальний розрив.

"Алгоритмічна упередженість може вплинути на будь-яку групу", - каже Дженн Вортман Вон, старший науковий співробітник Microsoft. "Групи, які недостатньо представлені в даних, можуть бути особливо ризиковані".

У галузях, які вже відомі для упередженості, таких як ендемічна дискримінація технологічної галузі щодо жінок, алгоритми ІІ можуть підкреслити ці упередження і призвести до подальшої маргіналізації груп, які недостатньо представлені.

Здоров'я - це ще одна важлива сфера, вказує Вортман. "Це може спричинити серйозні проблеми, якщо алгоритм машинного навчання, який використовується для медичної діагностики, навчається за даними однієї сукупності і, як результат, не справляється з іншими", - каже вона.

Упередження можуть бути шкідливими і більш тонкими способами. "Минулого року я планував взяти дочку на стрижку і шукав в Інтернеті зображення" стрижок малюка "для натхнення", - говорить Вортман. Але повернені образи були майже у всіх білих дітей, в першу чергу з прямим волоссям, і що дивно, в першу чергу хлопчики, вона помітила.

Експерти називають це явище «репрезентативною шкодою»: коли технологія підсилює стереотипи або зменшує певні групи. "Важко оцінити або виміряти точний вплив подібного зміщення, але це не означає, що це не важливо", - говорить Вортман.

Видалення зміщення з алгоритмів А.І.

Все більш критичні наслідки упередженості ШІ привертають увагу кількох організацій та державних органів, і деякі позитивні кроки вживаються для вирішення етичних та соціальних питань, пов'язаних із використанням ШІ в різних сферах.

Корпорація Майкрософт, чиї продукти в значній мірі покладаються на алгоритми AI, три роки тому розпочала дослідницький проект під назвою «Справедливість, підзвітність, прозорість та етика в AI (FATE), спрямований на те, щоб користувачі могли насолоджуватися розширеним розумінням та ефективністю послуг, що працюють на ІІ, без дискримінації та упередженість.

У деяких випадках, як, наприклад, конкурс краси, призначений для інтелектуального інтелекту, пошук та виправлення джерела упередженої поведінки алгоритму AI може бути таким же простим, як перевірка та зміна фотографій у навчальному наборі даних. Але в інших випадках, таких як алгоритми вбудовування слов, які досліджували дослідники Бостонського університету, упередження закладено у навчальних даних більш тонкими способами.

Команда БУ, до якої приєднався дослідник Microsoft Адам Калай, розробила метод класифікації вбудовування слів на основі їх гендерної категоризації та виявлення аналогій, які потенційно могли бути упередженими. Але вони не прийняли остаточного рішення і запустили кожну з підозрюваних асоціацій по 10 людей на Механічному турці, інтернет-ринку Amazon для виконання завдань, пов’язаних з даними, які вирішили, чи потрібно асоціацію усунути чи ні.

"Ми не хотіли вкладати власні упередження в процес", - каже Саліграма, професор і науковий співробітник БУ. "Ми просто надали інструменти для виявлення проблемних асоціацій. Люди прийняли остаточне рішення".

У недавній роботі Калай та інші дослідники запропонували використовувати окремі алгоритми для класифікації різних груп людей, а не використовувати однакові заходи для всіх. Цей метод може виявитись ефективним у областях, де наявні дані вже упереджені на користь певної групи. Наприклад, алгоритми, які оцінювали б жінок-претендентів на роботу з програмування, використовували б критерії, які найкраще підходять для цієї групи, а не використовувати більш широкий набір даних, що знаходиться під глибоким впливом існуючих ухилів.

Microsoft Wortman розглядає інклюзивність у галузі ІІ як необхідний крок для боротьби з упередженістю алгоритмів. "Якщо ми хочемо, щоб наші системи ШІ були корисними для всіх, а не лише для певної демографії, то компаніям потрібно найняти різноманітні команди для роботи над ШІ", - каже вона.

У 2006 році Вортман допоміг знайти «Жінки в машинному навчанні» (WiML), яка проводить щорічний семінар, на якому жінки, які навчаються та працюють у галузі індустрії ШІ, можуть зустрічатися, мережувати, обмінюватися ідеями та відвідувати панельні дискусії зі старшими жінками в галузі та наукових колах. Подібними зусиллями є новий Black in AI Workshop, заснований Тімнітом Гебру, іншим дослідником Microsoft, який має на меті розробити більш різноманітні таланти в AI.

Болукбасі університету Бостона також пропонує змінити спосіб алгоритмів ШІ вирішувати проблеми. "Алгоритми виберуть набір правил, що максимально збільшує їх мету. Можливо, існує багато способів досягти однакового набору висновків для заданих вихідних пар", - говорить він. "Візьмемо для прикладу тести з множинним вибором для людей. Можна отримати правильну відповідь неправильним процесом мислення, але, тим не менш, отримати однаковий бал. Високоякісний тест повинен бути розроблений для мінімізації цього ефекту, лише дозволяючи людям, які справді знайте предмет, щоб отримати правильні бали. Подання алгоритмів усвідомлення соціальних обмежень можна розглядати як аналог цього прикладу (хоча і не точного), коли вивчення неправильного набору правил карається в цілі. Це постійне і складне дослідження тема ".

Непрозорість AI ускладнює справедливість

Ще одне завдання, що стоїть на шляху зробити справедливішими алгоритми ШІ, - це явище "чорної скриньки". У багатьох випадках компанії ревно охороняють свої алгоритми: Наприклад, Northpointe Inc., виробник COMPAS, програмного забезпечення для прогнозування злочинів, відмовився розкривати свій фірмовий алгоритм. Єдині люди, які привітні до внутрішніх дій КОМПАС, - це його програмісти, а не судді, які використовують його для винесення рішення.

Окрім корпоративної таємниці, алгоритми AI іноді стають настільки перекрученими, що причини та механізми їх прийняття ухиляються навіть від їх творців. У Великобританії поліція Дарема використовує систему ШІ HART для визначення, чи є у підозрюваних низький, середній або високий ризик вчинення подальших злочинів протягом дворічного періоду. Але в академічному огляді HART за 2017 рік було встановлено, що "непрозорість здається важкою уникнути". Частково це пояснюється великою кількістю та різноманітністю даних, що використовує система, що ускладнює аналіз причин, що стоять за її рішеннями. "Ці деталі можуть бути доступні для вільного доступу до публіки, але знадобиться величезна кількість часу та зусиль, щоб повністю зрозуміти", - йдеться в документі.

Кілька компаній та організацій ведуть зусилля, щоб забезпечити прозорість AI, в тому числі Google, яка запустила GlassBox, ініціативу зробити поведінку алгоритмів машинного навчання більш зрозумілою без шкоди якості випуску. Агенція прогресивних дослідницьких проектів в галузі оборони (DARPA), яка здійснює нагляд за використанням ШІ у військових, також фінансує зусилля, щоб алгоритми ШІ могли пояснити свої рішення.

В інших випадках людське судження буде ключовим у вирішенні упередженості. Щоб запобігти наявним расовим та соціальним упередженням людини не втручатися в алгоритми HART, Консультація Дарема забезпечила членів свого персоналу семінарами з обізнаності про несвідомі упередження. Поліцейські також вжили заходів для усунення даних даних, таких як расові ознаки, що може створити підстави для необ’єктивних рішень.

Людська відповідальність

З іншого боку, алгоритми ШІ можуть надати можливість задуматися про наші власні упередження та забобони. "Світ необ'єктивний, історичні дані упереджені, тому не дивно, що ми отримуємо необ'єктивні результати", - сказала The Guardian Сандра Вахтер, дослідниця етики та алгоритмів даних в Оксфордському університеті.

Вахтер є частиною дослідницької групи з Інституту Алана Тьюрінга в Лондоні та Оксфордського університету, яка опублікувала документ, в якому закликає встановити правила та установи щодо розслідування можливої ​​дискримінації за алгоритмами ШІ.

Також, виступаючи перед The Guardian, Джоанна Брайсон, комп'ютерний співробітник університету Бат та співавтор дослідницької роботи з алгоритмічної упередженості, сказала: "Багато людей говорять, що це показує, що AI є упередженим. Ні. Це показує, що ми "упереджено, і AI це вивчати".

У 2016 році Microsoft запустила Tay, бота Twitter, який повинен був вчитися у людей і вступати в розумні розмови. Але впродовж 24 годин після запуску Тей Microsoft довелося вимкнути її після того, як вона почала висловлювати расистські коментарі, які вона взяла під час розмов із користувачами Twitter. Можливо, це нагадування про те, що минулий час ми визнаємо власну роль у з'явленні та розповсюдженні явища алгоритмічного зміщення та робимо колективні кроки для скасування його наслідків.

"Це дуже складне завдання, але це відповідальність, від якої ми як суспільство не повинні ухилятися", - говорить Вахтер.