Бавилися масками в застосунку через селфі-камеру? Або, можливо, зависали в PokemonGo? Якщо так, то ви вже встигли познайомитися з технологією доповненої реальності — AR. Однак багато хто плутає її з віртуальною реальністю або зовсім чує про AR вперше. Що це таке, як працює і де використовується — подробиці в нашому матеріалі.
Що таке AR і як з’явилося
Якщо говорити про віртуальну реальність (VR), то цей термін знайомий більшості. Багато в чому завдяки поширенню ігрових шоломів в ігровій індустрії.
Аugmented reality (AR) — доповнена реальність. Якщо віртуальна створює повне занурення, не озираючись на навколишній простір, то AR лише проектує віртуальні об’єкти на оточення. Таким чином, людина, під час використання AR, орієнтується саме на реальний світ. Існує також змішана реальність (MR) — ця технологія комбінує обидва методи.
Розвиток AR тісно пов’язаний з удосконаленням віртуальної реальності, адже обидва підходи використовують суміжні технології. Перші зразки почали з’являтися вже в другій половині 20 століття. У 1957 році Мортон Гейліг створив складний апарат, який імітував реальність. Його прилад під назвою Sensorama більше нагадував величезний ігровий автомат, але створював візуальні ефекти, звуки, вібрацію і навіть запах.
Пізніше 1960 року Гейліг подав патент на Telesphere Mask. Описаний як «телескопічний телевізійний апарат для індивідуального використання», Telesphere в усіх відношеннях був повноцінною 3D-відеогарнітурою. Тільки замість підключення до смартфона або ПК інженер використовував мініатюрні телевізійні трубки. Однак обидві розробки так і не отримали широкого застосування і стали провалом.
Першим повноцінним VR/AR-шоломом вважають «Дамоклів меч», створений професором Айваном Сазерлендом (Ivan Sutherland) 1968 року. Система являла собою шолом із масивними кабелями, через що всю конструкцію доводилося кріпити до стелі. «Дамоклів меч» проектував «скелети» кімнат на невеликі напівпрозорі лінзи, а перспектива змінювалася залежно від поворотів голови.
Усі ці розробки хоч і не набули широкого практичного застосування, але стали відправною точкою для вивчення можливостей віртуальної та доповненої реальностей.
Першими пристроями доповненої реальності прийнято вважати HUD-дисплеї бойових літаків. Один із перших був встановлений на винищувач Blackburn Buccaneer — прототип Head-Up Display був готовий уже в 1958 році. З цього періоду HUD став невід’ємною частиною військової авіації, а пізніше і цивільної, видаючи на дисплей ключову інформацію для пілота. Нашоломний дисплей (HMD) почали використовувати в бойових винищувачах із 70-х років. Система істотно спрощувала прицілювання і виводила вже в шолом потрібну інформацію.
Сам термін «доповнена реальність» був придуманий набагато пізніше, в 1990 році Томасом Коделлом з Boeing. Під час складання лайнерів Boeing 777 використовували пучки дротів, які необхідно було зв’язати і протягнути вздовж кілочків певним чином. Однак процес ускладнювався тим, що робітникам доводилося постійно переводити погляд з інструкції назад на робочу панель.
Коделл з колегою створив спеціальний шолом, на якому відображалася інформація з інструкції. Однак розробка вийшла досить сирою і не знайшла застосування. Але цей випадок фактично став одним із перших застосувань AR-шолома в практичних завданнях і появою самого терміна.
У 1993-му році Стів Файнер представив систему KARMA, що використовує доповнену реальність для демонстрації інструкції з обслуговування принтера. Уже 1995 року з’явилася система Navicam — аналог сучасних QR-кодів. Невеликий дисплей із вбудованою камерою міг розпізнавати колірні мітки і виводити на екран інформацію.
Пізніше систему AR використовували у спорті, наприклад, під час трансляції регбі. Технічні лінії та рахунок накладалися на зображення з камер.
У хокеї технологія давала змогу підсвітити шайбу і траєкторію її руху. Однак до 2010-х років кількість засобів для розробки AR-додатків була обмежена, а мобільні гаджети тільки набирали популярність і ще не були здатні запропонувати широкий функціонал.
Як працює доповнена реальність
Основа технології — це система оптичного трекінгу. Для доповненої реальності вам обов’язково знадобиться камера, а також пристрій виведення. Останнім може бути екран телефона, планшета або спеціальна лінза для окулярів — варіантів виконання вже досить багато. А ось як саме система відстежує об’єкти в реальному світі, і як накладає на них віртуальні — є кілька варіантів.
AR на базі маркерів. Найперші системи AR не мали просунутої оптики, а наявні алгоритми були не здатні так ефективно аналізувати навколишній простір. Тому для відображення віртуальних об’єктів стали використовувати маркери (мітки). Це спеціальні добре видимі для камери символи — вони вже зашиті в пам’ять AR-пристрою. Коли ви наводите камеру на маркер, система порівнює його з базою в пам’яті та у разі знаходження збігу проектує на екран віртуальний об’єкт. Відстежуючи зміни маркера в просторі, алгоритми змінюють і положення віртуального 3D-об’єкта.
Переваги цього методу в мінімальній обчислювальній складності, дешевизні та достовірності розпізнавання. Маркерна AR застосовується в тих галузях, де актуальне відображення невеликих статичних об’єктів при обмеженому бюджеті.
Наприклад, в автосалоні для підбору дисків досить розмістити на колесі мітку, а в застосунку змінювати дизайн. Стануть у пригоді маркери в освітніх або демонстраційних цілях, коли ви хочете показати комусь свою 3D-модель. Маркерну технологію активно використовують у музеях для доповнення експонатів, а також у рекламі.
Причому як мітка не обов’язково має бути чорно-білий набір символів. За необхідності можна «заточити» ПЗ на розпізнавання конкретного образу. Ось так, наприклад, компанія Pepsi за допомогою AR розіграла жителів Лондона.
«Безмаркерна» технологія AR. Головний мінус попереднього варіанта — обмежені можливості. Віртуальні об’єкти накладатимуться виключно на місця, де розташовані маркери. До того ж додатково доведеться запрограмувати для кожної мітки варіант відображення. Рішенням стало використання SLAM — методу одночасної локалізації та побудови карти.
Метод аналізує зображення, створює геометричну карту з точок або площин і запам’ятовує їхнє розташування. Картинка ніби розділяється на значущі частини, наприклад, стелю, підлогу, стіни або меблі. Фіксуючи і запам’ятовуючи їхнє розташування, SLAM проводить такий самий аналіз наступного кадру, і, залежно від зсуву реальної картинки, змінює і положення віртуального об’єкта.
Ця методика більше ефективна для орієнтації в просторі, але гірше справляється з розпізнаванням об’єктів. Алгоритм знаходить місце відображення віртуального об’єкта за конкретними опорними точками, але визначаються вони не завжди коректно.
Саме тому найбільш просунуті системи використовують SLAM спільно з Deep Learning (CNN — згорткові нейромережі). Останні прекрасно справляються з ідентифікацією об’єктів за візуальними ознаками, тоді як алгоритми SLAM відповідають за орієнтацію камери в просторі.
Точність залежить не тільки від алгоритмів, а й апаратної частини. Найчастіше використовується звичайна камера — у смартфоні, планшеті тощо. Останніми роками стали задіюватися TOF-камери — так звані датчики глибини. Вони вже здатні виконати реальний замір відстані до об’єкта. У просунутих системах можуть застосовувати і лазери, якщо потрібно проводити замір великих відстаней.
Окремою категорією йдуть навігаційні AR-системи. Вони прив’язуються не до зображення, а до координат, а також можуть використовувати дані акселерометра і гіроскопа. Застосовуються в навігаційних і туристичних додатках.
- AR, VR, MR, XR: що це за реальності?
- Що таке лідар і де він застосовується
- Десять ігор із доповненою реальністю на Android та iOS
Сфери застосування AR
Випробувати можливості доповненої реальності може кожен — для цього знадобиться лише смартфон або планшет. Як користуватися AR на смартфоні та які є застосунки — ми розповіли окремо. Тут же розповімо загалом про сфери застосування AR.
Освіта та наука. Доповнена реальність може додати в статичні книжки інтерактивні зображення і навіть анімації. Наприклад, у підручнику з англійської ви можете навести камеру на завдання, а додаток відтворить діалог. Особливе значення AR має у візуалізації об’єктів — медикам набагато зручніше і простіше вивчати будову організму за 3D-моделями, які можна розглянути з усіх боків.
Вчені за допомогою окулярів можуть візуалізувати різного роду процеси — хімічні або фізичні, а також працювати з 3D-об’єктами.
Розваги . Мабуть, найпростіший і найдоступніший спосіб познайомитися з AR. Багато хто пам’ятає знаменитий застосунок Pokemon GO, який використовував доповнену реальність, проектуючи покемонів у реальний світ. Різноманітні додатки з масками і «редагуванням» вашого обличчя за допомогою камери — це також AR. У мережі можна знайти і безліч інших ігор, які задіюють доповнену реальність.
Шоломи AR відкривають ще більші можливості і фактично можуть візуалізувати будь-яку настільну або навіть спортивну гру.
Промисловість, будівництво та машинобудування . Пам’ятаєте, ми розповідали про інженера Boeing, який намагався зробити інструкцію в AR? Так ось в компанії GE Aviation, при використанні окулярів доповненої реальності Skylight, домоглися успіху, і на практиці показали ефективність такого підходу.
У компанії PACCAR пішли ще далі і використовували окуляри HoloLens 2 для демонстрації процесу складання автомобілів. Причому на екран не просто виводилася текстова інформація з картинками — шолом підказував місце встановлення деталей.
В аеропорту Чангі (Сінгапур) працівники задіяли AR-окуляри під час завантаження багажу в літаки, що дало змогу позбутися паперових документів і ефективніше ідентифікувати всі вантажі.
AR технології також дають змогу візуалізувати плани будівель, 3D моделі об’єктів. За рахунок цього з’являється можливість не тільки візуально оцінити майбутній результат, а й оперативно отримати інформацію, не звертаючись до паперових носіїв.
Дизайн . Доповнена реальність дає змогу «приміряти» практично будь-які елементи інтер’єру на реально існуюче оточення. Досить завантажити додаток і увімкнути камеру.
Крім цього можна випробувати додатки-рулетки, наприклад, AR Ruler. Вони використовують доповнену реальність, вираховуючи розміри об’єктів — кімнати, дверного отвору тощо. За наявності TOF-камери результати будуть вельми точними, тож можна обійтися навіть без рулетки.
Повсякденне життя. Поки складно уявити, що шолом доповненої реальності зможе стати таким же важливим гаджетом, як і смартфон. Однак інженери прагнуть до цього. Однією з найвідоміших спроб зробити AR загальнодоступним стали окуляри Google Glass. У заявленому функціоналі була покрокова навігація, відеодзвінки, підтримка сторонніх додатків та інше. Попри все це масовим гаджет так і не став. Компанія представила кілька моделей, а в березні 2023 року оголосила про остаточне припинення продажів.
Нову спробу робить Apple — у червні 2023 року вони представили свій шолом змішаної реальності Apple Vision Pro. Компанія сподівається, що новий девайс стане щонайменше заміною вашому комп’ютеру. Віртуальний робочий стіл, перегляд або редагування медіа-контенту, робота з 3D — потенційно у такого шолома будуть практично необмежені можливості. Причому один такий гаджет зможе замінити екран, мишу, клавіатуру і колонки.
Військова сфера. У 2018 році Microsoft виграла контракт на поставку 100 тисяч шоломів доповненої реальності HoloLens для армії США. Використовують AR здебільшого для тренування: управління технікою, первинних бойових навичок у новобранців, медиків тощо.
Сюди ж належать військові шоломи доповненої реальності. Для пілотів вони стали практично невід’ємною частиною екіпіровки, а для наземних військ все частіше з’являються нові розробки.
Доповнена реальність уже активно використовується в мобільних гаджетах — у парі з нейромережами камера телефону легко розпізнає різноманітні об’єкти, а додаток домальовує віртуальні. Дедалі більше спроб робиться у створенні зручного і функціонального AR-шолома — тепер на ринку з’явився великий гравець в особі Apple. І в перспективі AR може стати ще популярнішим, ніж VR, оскільки не вимагає створення повністю цифрового простору.