Як ця масивна структура в пустелі Орегон підтримує роботу фейсбуку

ПРИНЕВІЛ, штат Руда. - Є багато способів забезпечити швидкий Інтернет. Ви можете переїхати до міста Google Fiber. Ви можете вибрати один з наших найшвидших провайдерів. Або ви можете побудувати свій будинок поруч із центром обробки даних Facebook.

Візьмемо, наприклад, перший центр обробки даних Facebook. Відкритий в Приневіллі, штат Орегон, у 2011 році, він послужив моделлю для кожного центру обробки даних, який побудував гігант соціальних медіа з тих пір, від Швеції до Айови. Він споживає стільки пропускної здатності, що йому потрібно кілька провайдерів, які обслуговують територію для зміцнення їхніх мереж, привозячи місцевих жителів на поїздку.

Ви можете подумати про центр даних Prineville разом з іншими засобами Facebook як про колективне серце найбільшої соціальної мережі в світі: вони отримують велику кількість запитів на фотографії, оновлення статусу та новин, що оновлюються від 1, 65 мільярда активних користувачів сайту та реагувати якомога швидше, подібно до того, що серце закачує кисень у кров.

Зал Prineville наближається до своєї п’ятої річниці, і він обробляє запити даних щодо речей, про які Марк Цукерберг, ймовірно, не мав уявлення, що робитиме Facebook, коли він мріяв про ідею компанії у своїй кімнаті в інтернаті в Гарварді.

Цього тижня PCMag завітав до туру.

Prineville, як і раніше, зберігає фотографії та оновлення статусу, але зараз також є тисячі графічних процесорів Nvidia, що підтримують дослідження штучного інтелекту Facebook, а також 2000 iOS та Android телефонів, які працюють 24 години на добу. Це допомагає інженерам компанії підвищити енергоефективність своїх додатків, до яких крім Facebook входять Instagram, Messenger та WhatsApp.

Дані Facebook є "стійкими, не надлишковими"

Перше, що ви помічаєте про заклад Prineville - це його розмір. Піднявшись з високих дерев високої пустелі центрального Орегону, три години їзди від Портленда - це не одна будівля, а чотири (і це не включає ще один величезний центр обробки даних, недавно побудований Apple через вулицю, влучно названий Connect Way). Одна з будівель Facebook може помістити два Walmarts всередині і приблизно на 100 футів довше, ніж авіаносець класу Німіц.

Всередині розташовані сервери, на яких розміщено кілька петабайт пам’яті, і які інженери Facebook постійно оновлюють, замінюючи компоненти. Із 165 осіб, які працюють у центрі обробки даних повний робочий день, 30 на будівлю призначаються лише для обслуговування або заміни джерел живлення, процесорів, пам'яті та інших компонентів.

Відмітною ознакою майже будь-якої компанії, яка працює в Інтернеті, від Amazon до Charles Schwab, є надмірність: кілька серверів, що зберігають кілька копій даних. Так менше у Приневіллі, де Кен Патчет, директор Facebook із операцій із передачею даних із Заходу, орієнтований на стійкість - приблизно визначається як здатність бути готовою будь-коли та де б у світі хтось не ввійшов у Facebook.

Зосередження уваги на "стійкості, а не надмірності", як вважає Патчетт, можливо, тому що у Facebook є розкіш зберігання декількох копій даних в інших місцях по всьому світу, від Лулеї, Швеція, до Алтуни, штат Айова. Тож замість того, щоб мати дві або більше всього, вона може зосередитись на стратегічних закупівлях обладнання у кожному місці, наприклад, на одному генераторі резервного живлення на кожні шість основних генераторів.

"Ви повинні нести фіскальну відповідальність, якщо збираєтесь бути стійкими", - пояснив Патчетт. Він один із батьків-засновників високотехнологічних центрів обробки даних у високій пустелі штату Орегон. Перш ніж приїхати у Facebook, він допоміг запустити центр обробки даних в Даллесі, штат Орегон, для Google, однієї з перших інтернет-компаній, що скористалася дешевою гідроелектростанцією та прохолодною, сухою погодою, що характеризують величезну східну частину дев'ятої за величиною Америки. держава.

Звичайно, велика потужність має вирішальне значення для роботи Facebook. Температура сервера регулюється комбінацією водяного теплоносія та величезними вентиляторами, що втягують сухе пустельне повітря (внизу) замість кондиціонерів із силою та грошима. Цільовий діапазон температур - від 60 до 82 градусів за Фаренгейтом. Команда Патчетта стала настільки хорошою у досягненні цієї мети, що зараз Prineville може похвалитися коефіцієнтом енергоефективності 1, 07, що означає, що охолоджуюче обладнання, вогні та обігрівачі - все, що не є обчислювальним пристроєм - споживають лише 7 відсотків від загального споживання енергії об'єкта. .

32 айфона в коробці

Більша частина охолодження та потужностей спрямована на задоволення потреб серверів, але частина перенаправлена ​​на порівняно невелику кімнату для тестування додатків із наслідками зниження енерговитрат не тільки в Приневіллі, але і на кожному телефоні з додатком Facebook.

Не секрет, що додаток Facebook боровся з управлінням живленням. Guardian заявляв раніше цього року, що додаток скорочує час автономної роботи на iPhone на 15 відсотків. Щоб впорядкувати додаток і зменшити його споживання, компанія принесла приблизно 2 000 телефонів з iOS та Android в Prineville, де вони встановлені всередині коробки в 32 групи.

Кожен ящик має власну мережу Wi-Fi, укріплену ізольованими стінами та мідною стрічкою, яку інженери ще в штабі в Силіконовій долині використовують для здачі акумуляторів тестів. Вони шукають "регресії" у використанні акумулятора та продуктивності, викликані оновленнями додатків Facebook, Instagram, Messenger та WhatsApp. Якщо вони знайдуть його у власному коді Facebook, вони це виправляють. Якщо неефективність була введена розробником, їх система автоматично повідомляє порушника електронною поштою.

У коробках не просто найновіші iPhone 6s або Galaxy S7. З боку iOS вони включають багато моделей від iPhone 4s та новіших версій. З боку Android, хто знає? Досить сказати, що є один хлопець, завдання якого - знайти незрозумілі пристрої Android та доставити їх до Prineville.

"Ми маємо джерела телефонів звідусіль", - сказав Антуан Реверсат, інженер, який допомагав розвивати тестувальну інфраструктуру та програмне забезпечення. Його кінцева мета - удвічі збільшити потужність стійок, щоб вмістити до 62 телефонів кожен, і придумати спосіб зменшити 20-ступінчасту ручну процедуру, необхідну для настройки телефону для тестування до одного кроку. Це повинно втішити тих, хто коли-небудь мав їхній телефон померти під час оновлення новин.

Big Sur: AI мозок Facebook

Далі в нашій екскурсії були сервери штучного інтелекту Big Sur, які, як і узбережжя Каліфорнії, за якими вони названі, імовірно складають найбільш мальовничу частину центру обробки даних. Ми, звичайно, не розмовляємо про тихоокеанські місця, але натомість комп'ютерний екран, який відображав групу картин, укомплектовану Іеном Баком, віце-президентом Nvidia з прискорених обчислень.

"Ми навчили нейронну мережу розпізнавати картини", - пояснив Бак. "Приблизно через півгодини перегляду картин він може почати створювати свої власні".

Вистава нагадувала французький імпресіонізм 19 століття, але з поворотом. Якщо ви хочете поєднати фруктовий натюрморт та річковий ландшафт, Big Sur намалюватиме його для вас, зігнувши свої 40 петафлопсів процесорної потужності на один сервер. Це одна з декількох систем AI, які використовують графічні процесори Nvidia - в цьому випадку процесори Tesla M40 на базі PCI.e - для вирішення складних проблем машинного навчання. Проект охорони здоров'я Google DeepMind також використовує процесори Nvidia.

Facebook використовує Big Sur, щоб читати історії, визначати обличчя на фотографіях, відповідати на запитання про сцени, грати в ігри та вивчати рутини, серед інших завдань. Це також програмне забезпечення з відкритим джерелом, пропонуючи іншим розробникам креслення щодо створення власної інфраструктури, орієнтованої на AI. Обладнання включає в себе вісім платів GPU Tesla M40 до 33 Вт кожна. Усі компоненти легко доступні в серверному ящику, щоб збільшити простоту оновлення, що, безумовно, з'явиться, коли Nvidia випускає нові версії PCI.e своїх графічних процесорів Tesla, включаючи флагманський P100.

Зберігання холоду для забутих фотографій

Оскільки Prineville є першим центром обробки даних Facebook, інженери випробовують ідеї, щоб зробити сервери Facebook більш ефективними. Однією з останніх ідей є холодильне зберігання або спеціалізовані сервери, які зберігають що-небудь у Facebook, що не отримує багато переглядів - наприклад, випускні фото середньої школи, або ті десятки оновлень статусу, які ви опублікували, коли Майкл Джексон помер у 2009 році .

Секрет успіху холодного зберігання - це його багаторівневий рівень. Перший рівень складається з високопродуктивного корпоративного обладнання, тоді як нижчі яруси використовують дешевші компоненти, а в деяких випадках - можливо, для тих ваших фотографій із дужками, які, сподіваєтесь, ніхто ніколи не бачить - резервні бібліотеки стрічок. Кінцевим результатом є те, що кожен стелаж сервера холодного зберігання може вмістити 2 петабайта сховища або еквівалент 4000 стеків копійок, які сягають аж до Місяця.

Будівництво для майбутнього

Хоча Facebook принесла швидше Інтернет та інші вигоди Prineville, включаючи понад 1 мільйон доларів на пожертви для місцевих шкіл та благодійних організацій, його присутність не викликає суперечок. Орегон віддає багато грошей на податкові пільги компанії в той час, коли місцева економіка, як і раніше перебуває на базі житлової бульбашки 2008 року, несе середній показник по країні.

Все-таки 1, 65 мільярда людей не мали б доступу до Facebook без цього пустельного застави та її сестринських центрів обробки даних. І навіть якщо вона накладає завершальні штрихи на своїй четвертій будівлі Prineville, компанія вже йде на шляху до завершення п'ятого центру в Техасі. Але якщо через це ви відчуваєте провину за енергію, яку витрачає ваш веб-перегляд, це не повинно. За словами Патчетта, один користувач, який переглядає Facebook цілий рік, споживає менше енергії, ніж потрібно для виготовлення латте. Іншими словами, ви можете відмовитись лише від однієї поїздки до Starbucks і прокрутити свою стрічку новин до змісту вашого серця.