Українська технологія ALTstage виводить мистецтво в доповнену реальність

В Україні розробляють ALTstage: технологію використання доповненої реальності разом з живими подіями або відеоконтентом — такого не робив ще ніхто у світі. «Уявіть, що площина екрану та простір сцени більше не відділені одне від одного. Актор прямо на ваших очах стає то пласким, то об'ємним і може вільно пересуватися між екранною та сценічною реальностями», — пояснюють розробники. — Цю фантазію ми перетворили на технологію, мобільний застосунок - і назвали ALTstage. Сфера використання — дуже широка, від вистав і лекцій до комерційних презентацій та модних показів". Оскільки авторами ініціаторами проєкту є митці, першими з новий інструмент випробують танцівники, створивши кілька коротких перформансів.

«ALTstage — це технологія, що дозволяє перетворити будь-який стіл з ноутбуком чи планшетом на ваш персональний театр», — говорить Макс Шумахер, автор ідеї, режисер та драматург Post Theater. Технологія, за задумом розробників, працюватиме наживо і вдома. Наприклад, у театрі частину вистави можна буде подивитися у доповненій реальності прямо на сцені через смартфон. Застосунок повідомить глядача, коли до живих артистів доєднаються танцівники або актори на екрані мобільного пристрою. Вдома для перегляду постановки знадобиться будь-який пристрій з екраном, а додаткові елементи можна побачити через той же смартфон — все виглядатиме так, ніби актори виходять з екрану ноутбуку й стіл або клавіатура перетворюється на сцену. Сьогодні доповнена реальність вже використовується у мобільних іграх (як Pokemon Go) або освітніх додатках на кшталт Google Animals, але у сфері мистецтва це буде одним з перших експериментів. І ще ніхто у світі не робив синхронізацію доповненої реальності з відео на задньому плані — тут українці стануть першими.

На базі технології розробники створюють альтернативне мистецьке середовище «Платформа ALTstage»: мобільний застосунок та сайт, де можна буде дивитися відеоконтент з доповненою реальністю. Розробкою проєкту займаються митці — українська Платформа сучасного танцю та німецький Post Theater — спільно з IT-компанією WeAR Studio. Проєкт реалізується за підтримки Дому Європи (програма Європейського Союзу) та Українського культурного фонду (УКФ). Презентують ще небачену технологію наприкінці травня у Києві, а згодом — у Харкові та Дніпрі. Глядачі зможуть побачити сучасний танець у форматі змішаної реальності.

«Сучасний танець постійно у пошуках нових засобів творчого вираження — від застосування законів фізики й людської анатомії до використання простору й технологій. Доповнена реальність, де глядач отримує ілюзію присутності об’єктів, яких тут немає, може надати новий вимір для танцю», — вважає креативний продюсер ALTstage, хореограф, співзасновник та президент «Платформи сучасного танцю» Антон Овчінніков. «Втім, для нас цей проєкт — не тільки розробка нового творчого інструменту, але й можливість розширити аудиторію, привернути до сучасного танцю увагу тих, хто захоплюється цифровими технологіями», — додає його колега, менеджер проекту Олександр Маншилін.

Один з найскладніших викликів у створенні ALTstage - зйомка об’ємного відео (volumetric video). Технологія для цього вже існує, її використовують великі медійні й кінокомпанії. Але вартість такого відео - кілька тисяч євро за хвилину, оскільки зйомки проводяться у спеціальних студіях з десятками камер, а одержані дані обробляються надпотужними комп'ютерами. Тому зараз у всьому світі шукають можливості зробити ці технології простішими й дешевшими. Засновники проєкту ALTStage вважають, що вони знайшли таку можливість і готові ділитися своїм досвідом й інструментами з колегами.

«Головна проблема — у «важкості» такої технології для мобільних пристроїв. Це простіше з намальованими 3D-моделями, які є просто кодом у смартфоні — застосунок малює динозавра у вас у кімнаті, немовби накладає фільтр на фото. Ми ж хочемо, щоб на екрані було відео реальних людей та предметів. Уявіть, що під час відеопрезентації з екрану на стіл виходить актор, і виникає ілюзія, що він є прямо тут, у приміщенні. А це потребує дуже великих потужностей від смартфону. Схоже на завдання встановити двигун від океанського лайнера під капот «Ланосу». Наші програмісти знайшли можливість це зробити» — пояснює Ярослав Муха, маркетинг спеціаліст з компанії WeAR Studio.

Наприклад, у волюметричному відео для запису зображення з усіх боків потрібні десятки камер. В ALTstage використовується лише кілька камер, але вони обладнані датчиками глибини. Так визначається розташування об’єкту у просторі відносно заданих маркерів. Також у проєкті використовується технологія Depthkit для обробки відео — завдяки просунутим алгоритмам вдається значно зменшити розмір даних, які передаються на смартфон. Спеціально для ALTstage розробляється сайт, на якому можна буде все це поєднати та викладати й дивитися відео з доповненою реальністю. Спочатку, в якості експерименту, буде створено кілька невеликих вистав сучасного танцю.

«Ви просто завантажуєте застосунок перед початком перегляду в театрі, лекторії, або навіть вдома, зчитуєте QR-код і ваш смартфон буде синхронізований з подією. В потрібний момент він підкаже: «Подивись-но на сцену через екран, там буде щось цікаве», — пояснює Святослав Криворучко, менеджер проекту з компанії WeAR Studio.

Фінальною метою команда ALTstage бачить створення загальнодоступної платформи для всіх шанувальників перформативного мистецтва — театру, танцю тощо. Дивитися зможе будь-хто, якщо має достатньо потужний смартфон (iPhone 7 або новіший чи смартфон на Android 8.0 або новіший з підтримкою ARCore). А ось для створення відео доповненої реальності буде потрібна студія волюметричного відеозапису з камерами Azure Kinect. Сьогодні таких студій в Україні немає — її створюють спеціально для ALTstage.

Зараз, завдяки УКФ та House of Europe, в інфраструктуру проєкту вкладають кошти платників податків з України та ЄС. Наступний крок у його розвитку — монетизація платформи, адже комерційний потенціал тут є очевидним, вважають розробники. Зароблені кошти буде реінвестовано: «Ми хочемо, щоб технологія стала доступною для українських мистецьких проєктів», — наголошують в ALTstage.