Обчислювальна фотографія готова до її крупного плану

Понад 87 мільйонів американців подорожували за кордон у 2017 році, що є рекордною кількістю за даними Національного бюро подорожей та туризму США. Якщо ви були серед них, можливо, ви відвідали такі пункти, як Стоунхендж, Тадж-Махал, бухта Ха Лонг або Велика Китайська стіна. І, можливо, ви використовували телефон для зйомки панорами, можливо, навіть обертаєтеся навколо себе телефоном, щоб зняти надзвичайно широкий 360-градусний вид на пейзаж.

Якщо ви досягли успіху - це означає, що не було вирівнюваних розділів, віньєтування або зміни кольорів - ви пережили простий, але ефективний приклад обчислювальної фотографії. Але за останні кілька років обчислювальна фотографія вийшла за межі таких вузьких напрямків. Це може не тільки дати нам інший погляд на фотографію, але й змінити те, як ми бачимо наш світ.

Що таке обчислювальна фотографія?

Марк Левой, професор інформатики (emeritus) Університету Стенфорда, головний інженер компанії Google та один із піонерів у цій новій галузі, визначив обчислювальну фотографію як різноманітність "методів обчислювальної обробки зображень, що розширюють або розширюють можливості цифрової фотографії вихід - це звичайна фотографія, але така, яка не могла бути зроблена традиційною камерою ".

За словами Джоша Хафтеля, головного менеджера продуктів Adobe, додавання обчислювальних елементів до традиційної фотографії дозволяє отримати нові можливості, особливо для зображень та програмних компаній: "Я вважаю, що комп'ютерна фотографія - це те, що вона дає нам можливість зробити дві речі". їх потрібно спробувати скористатись багатьма фізичними обмеженнями, які існують у мобільних камерах ".

Отримати смартфон для імітації невеликої глибини різкості (DOF) - ознака професійного вигляду зображення, оскільки він візуально відокремлює об'єкт від фону - хороший приклад. Те, що перешкоджає фотоапарату на дуже тонкому пристрої, як, наприклад, телефоні, не змогти знімати зображення неглибоким DOF - це закони фізики.

"Ви не можете мати неглибокий Глибина різкості з дуже малим датчиком ", - каже Хафтел. Але для великого датчика потрібен великий об'єктив. Оскільки більшість людей хочуть, щоб їхні телефони були надто тонкими, великий сенсор у парі з великим об'ємним об'єктивом - це не варіант. Натомість, телефони побудовані з невеликими простими лінзами та крихітними датчиками, створюючи велику глибину різкості, яка робить усі об'єкти поблизу та далеко в фокусі.

Гафтел каже, що виробники смартфонів та простих камер можуть компенсувати це, використовуючи обчислювальну фотографію, щоб "обдурити, імітуючи ефект способами, які обманують око". Отже, алгоритми використовуються для визначення того, що вважається фоном, а що вважається предметом переднього плану. Потім камера моделює неглибокий DOF, розмиваючи фон.

Другий спосіб, за яким Хафтел каже, що для використання в обчислювальній фотографії можна використовувати нові процеси та методи, щоб допомогти фотографам робити те, що неможливо, використовуючи традиційні інструменти. Haftel вказує на приклад HDR (високий динамічний діапазон).

"HDR - це можливість робити кілька знімків одночасно або в швидкій послідовності, а потім об'єднувати їх разом, щоб подолати обмеження природних можливостей датчика." Насправді, HDR, особливо на мобільних пристроях, може розширити діапазон тоналів за межі того, що датчик зображення може природним чином фіксувати, дозволяючи знімати більше деталей у найсвітліших світлих тонах та темних тінях.

Коли обчислювальна фотографія стає короткою

Не всі реалізації обчислювальної фотографії були успішними. Двома сміливими спробами були камери Lytro та Light L16: Замість того, щоб поєднувати традиційні та обчислювальні функції фотографій (наприклад, iPhone, телефони Android та деякі автономні камери), Lytro та Light L16 намагалися зосередитися виключно на обчислювальній фотографії.

Першою, яка потрапила на ринок, була фотокамера світлого поля Lytro 2012 року, яка дозволила вам налаштувати фокус фотографії після зйомки. Це було зроблено, записавши напрямок світла, що надходить у камеру, що традиційні камери не роблять. Технологія була інтригуючою, але з камерою виникли проблеми, включаючи низьку роздільну здатність та складний інтерфейс.

Він також мав досить вузький випадок використання. Як вказує Дейв Етчеллс, засновник, видавець та головний редактор журналу Imaging Resource, "Хоча можливість фокусуватись після того, як факт був чудовою особливістю, діафрагма камери була такою маленькою, що ви не могли реально розрізнити відстані якщо тільки не було щось дійсно близько до камери ".

Наприклад, скажіть, що ви знімаєте бейсболіста по місцевому алмазу. Ви можете сфотографуватися поруч із парканом, а також захопити гравця через паркан, навіть якщо він далеко. Тоді ви легко поміняєте фокус від огорожі до гравця. Але як Етчеллс вказує: "Як часто ви насправді знімаєте таку фотографію?"

Більш свіжим пристроєм, який прагнув стати окремою обчислювальною камерою, був Light L16 - спроба створити тонку портативну камеру з якістю зображення та продуктивністю нарівні з високоякісним дзеркальним дзеркалом або беззеркальною камерою. L16 був розроблений з 16 різними модулями об'єктива і сенсора в одному корпусі камери. Потужний бортове програмне забезпечення конструювало б одне зображення з різних модулів.

Спочатку Etchells вразила концепція Light L16. Але як власне продукт, за його словами, "він мав найрізноманітніші проблеми".

Наприклад, Світло, камера і Фотокомпанія, яка виробляє Light L16, стверджувала, що дані всіх цих маленьких датчиків будуть еквівалентними наявності одного великого датчика. "Вони також заявили, що це буде якість D-SLR", - каже Етчеллс. Але у своїх польових тестах Imaging Resource виявили, що це не так.

Були й інші проблеми, у тому числі, що певні ділянки фотографії мали надмірний шум, "навіть у яскравих областях зображення … І динамічного діапазону практично не було: тіні просто підключились негайно", - говорить Етчеллс, маючи на увазі, що в певних розділи фотографій - включаючи зразки фотографій, які компанія використовувала для просування камери - майже не було деталей у тіні.

"Це також було просто катастрофою при слабкому освітленні", - каже Етчеллс. "Це був просто не дуже хороший фотоапарат, період".

Що далі?

Незважаючи на ці недоліки, багато компаній випереджають нові впровадження обчислювальної фотографії. У деяких випадках вони розмивають межу між тим, що вважається фотографією, та іншими видами засобів масової інформації, такими як відео та VR (віртуальна реальність).

Наприклад, Google розширить додаток Google Photos, використовуючи AI (штучний інтелект) для нових функцій, включаючи кольорові чорно-білі фотографії. Microsoft використовує AI у своїй програмі Pix для iOS, щоб користувачі могли безперешкодно додавати візитні картки до LinkedIn. Незабаром Facebook розгорне функцію 3D Photos, яка "є новим типом медіа, який дозволяє людям вчасно вловлювати тривимірні моменти за допомогою смартфона для обміну в Facebook". І в додатку Lightroom Adobe, фотографи мобільних пристроїв можуть використовувати HDR-функції та знімати зображення у форматі файлів RAW.

VR та обчислювальна фотографія

У той час як мобільні пристрої та навіть окремі камери використовують обчислювальну фотографію навіть інтригуючими способами більше потужні випадки використання надходять із світових платформ розширеної реальності, таких як VR та AR (розширена реальність). Для Джеймса Джорджа, генерального директора та співзасновника фірми Scatter, іммерсивної медіа-студії в Нью-Йорку, обчислювальна фотографія є відкриття нових способів художникам висловити своє бачення.

"У Scatter ми бачимо обчислювальну фотографію як основну технологію нових творчих дисциплін, які ми намагаємось піонерськими … Додавання обчислень може потім почати синтезувати та моделювати деякі ті ж речі, що наші очі роблять із зображеннями, які ми дивись у наші мізки, - каже Джордж.

По суті, це зводиться до інтелекту. Ми використовуємо мізки для роздумів і розуміння образів, які ми сприймаємо.

"Комп'ютери починають мати можливість дивитись у світ і бачити речі та розуміти, що вони є, як ми", - каже Джордж. Тож обчислювальна фотографія - це "додатковий шар синтезу та інтелекту, який виходить за рамки чистого захоплення фотографії, але насправді починає імітувати людський досвід сприйняття чогось".

Те, як Scatter використовує обчислювальну фотографію, називається об'ємною фотографією, яка є методом запису об'єкта з різних точок зору, а потім за допомогою програмного забезпечення для аналізу та відтворення всіх цих точок зору в тривимірному зображенні. (Як фотографії, так і відео можуть бути об'ємними і виглядати як 3D-голограми, якими ви можете переміщатися в межах VR або AR). "Мене особливо цікавить можливість реконструювати речі не просто двовимірним способом, - каже Джордж. "У нашій пам'яті, якщо ми пройдемося простір ми можемо просторово згадати, де все було у відносинах один до одного ".

Джордж каже, що Scatter здатний витягнути і створити уявлення про простір, який "повністю і вільно орієнтується, таким чином, як ви могли б пересуватись ним, як відеоігра чи голограма. Це новий засіб, який народився з перетин між відеоіграми та кіномистецтвом, що дозволяє обчислювальна фотографія та об'ємне кіномистецтво ".

Щоб допомогти іншим виробляти об'ємний захист VR, Scatter розробив DepthKit, програмне додаток, яке дозволяє виробникам фільму скористатися датчиком глибини від камер, таких як Microsoft Kinect, як аксесуар до відеокамери HD. Таким чином, DepthKit, CGI і гібрид відеопрограмного забезпечення, створює реалістичні 3D форми, "підходящі для відтворення в режимі реального часу у віртуальних світах", говорить Джордж.

Scatter створив кілька потужних VR-досвіду з DepthKit, використовуючи обчислювальну фотографію та об'ємні методики зйомок. У 2014 році Джордж співпрацював з Джонатаном Мінардом, щоб створити "Хмари", документальний фільм, що досліджує мистецтво коду, що включає інтерактивний компонент. У 2017 році Scatter підготувала VR-адаптацію за мотивами фільму « Нульові дні», використовуючи VR, щоб надати аудиторії унікальну перспективу всередині невидимого світу кібер-війни - побачити речі з точки зору вірусу Stuxnet.

Один з найпотужніших проектів, пов'язаних з DepthKit, - "Термінал 3", досвід з розширеною реальністю пакистанського художника Асада Дж. Маліка, який відбувся прем'єра на початку цього року на кінофестивалі TriBeCa. Досвід дозволяє вам фактично вступити у взуття офіцера прикордонної служби США через Microsoft HoloLens та допитати привидну 3D об'ємну голограму того, хто, здається, мусульманин (всього шість символів, з якими можна взяти інтерв'ю).

"Асад - пакистанець, який емігрував до США, щоб відвідувати коледж і був доволі негативний досвід, коли його допитували щодо його походження та чому він там був. Шокований цим досвідом, він створив" Термінал 3 ", - каже Джордж.

Одним із ключових моментів, що робить цей досвід настільки переконливим, є те, що команда Маліка в 1RIC, його студії розширеної реальності, використовувала DepthKit для перетворення відео в об'ємні голограми, які потім можуть бути імпортовані в двигуни відеоігор у реальному часі, такі як Unity або 3D такі графічні інструменти, як Maya і Cinema 4D. Додаючи дані датчика глибини від Kinect до відеокамери D-SLR для правильного розміщення голограми всередині віртуального простору AR, програмне забезпечення DepthKit перетворює відео на обчислювальна відео. Чорно-біла шашка використовується для калібрування D-SLR та Kinect разом, тоді обидві камери можна використовувати одночасно для зйомки об'ємних фотографій та відео.

• 10 швидких порад щодо виправлення ваших поганих фотографій 10 швидких порад щодо виправлення ваших поганих фотографій
• 10 Порад щодо базових цифрових фотографій 10 Порад щодо базових цифрових фотографій
• 10 простих порад та рекомендацій щодо кращих фотографій смартфонів 10 простих порад та рекомендацій щодо кращих фотографій смартфонів

Оскільки ці враження від AR, створені за допомогою DepthKit, подібні до того, як працюють відеоігри, такий досвід, як "Термінал 3", може створювати потужні інтерактивні ефекти. Наприклад, Джордж каже, що Малік дозволяє голограмам змінювати форму під час допиту: Якщо під час допиту ваші запитання стають звинувачуючими, голограма дематеріалізується і виглядає менш людською. «Але коли ви починаєте посилатися на біографію людини, її власний досвід та їхні цінності, - каже Джордж, - голограма насправді починає заповнюватися і стає більш фотореалістичною».

Створюючи цей тонкий ефект, за його словами, ви можете роздумувати про сприйняття допитуваного і про те, як вони могли б бачити людину "просто емблемою замість реальної людини з справжньою особистістю та унікальністю". Певним чином це може дати користувачам більш високий рівень розуміння. "Через низку підказок, де вам дозволяють задавати те чи інше питання, - каже Джордж, - ви стикаєтеся з власними упередженнями, і в той же час, з цією індивідуальною історією".

Як і більшість нових технологій, обчислювальна фотографія відчуває свою частку як успіхів, так і невдач. Це означає, що деякі важливі функції або цілі технології можуть мати короткий термін зберігання. Візьміть Lytro: У 2017 році, безпосередньо перед тим, як Google придбав компанію, Lytro закрив pictures.lytro.com, тож ви більше не могли публікувати зображення на веб-сайтах або в соціальних мережах. Для тих, хто сумує за цим, Panasonic має літроподібну фокусувальну функцію під назвою Post Focus, яку вона включила в різні бездротові дзеркальні камери високого класу та точкові зйомки.

Інструменти та функції обчислювальної фотографії, які ми бачили до цього часу, - лише ті почати . Я думаю, що ці інструменти стануть набагато потужнішими, динамічнішими та інтуїтивнішими, оскільки мобільні пристрої розробляються з новішими, універсальнішими камерами та об'єктивами, більш потужними бортовими процесорами та більш широкими можливостями стільникової мережі. Найближчим часом ви можете почати бачити справжні кольори обчислювальної фотографії.