Как связаны 3d calculator и ar

XR-ликбез: что происходит с AR, VR и MR и как разработчику занять свое место под солнцем в новой реальности

Тема обширная, поэтому мы посвятили ей две статьи. В первой мы провели краткий обзор XR-технологий и показали успешные кейсы применения AR и VR, а в этой расскажем, на каком этапе развития AR, VR и MR сейчас и какими компетенциями нужно обладать, чтобы стать разработчиком в XR.

Эта статья написана по материалам лекции Алексея Маркина, сооснователя, арт-директора и руководителя XR-направления digital-продакшена JetStyle. Лекция прошла в рамках онлайн-интенсива «А у меня свой проект!», организованного ИРИТ-РтФ УрФУ в Екатеринбурге. Как сказал директор института Илья Обабков: «Очень инженерная лекция, похожая на введение в специальность „VR-технолог“». Как им стать? Передаем слово Алексею!

Давайте сначала прикинем: а зачем нам, разработчикам, вообще связываться с инновациями?

Четыре причины заняться инновацией

Мы как digital-продакшен видим в этом такой смысл: накопить экспертизы раньше других и занять место в еще формирующейся нише.

Когда мы беремся за инновацию?

1. Инновация может принести заказчику выгоду

Это самый короткий путь. Мы смотрим, помогает ли инновация заказчику зарабатывать или экономить прямо сейчас. Если да, то настаиваем на ее внедрении.

2. Новый инструмент лучше старых

Если появился инструмент лучше того, что у нас есть сейчас, и мы предполагаем, что он поможет нам делать какие-то операции дешевле, или ускорить какой-то процесс, или получить ранее недоступные свойства результата, мы его внедряем.

3. У заказчика есть свой интерес

Бывает, мы не особо хотим в какую-то инновацию, но заказчик нас сам в нее ведет, потому что заинтересован успеть первым сделать кейс с этой новой технологией. Зачем? Или для PR-эффекта, или потому что у него есть гипотеза, что это станет конкурентным преимуществом в будущем.

4. Мы загорелись идеей

Чаще всего случается этот вариант, но он и самый дорогой. Нам приходит в голову какая-нибудь гениальная идея, мы думаем, что она принесет золотые горы, — и начинается.

К тому же мы как ИТ-компания занимаемся инновациями, чтобы избежать кадровых проблем — потому что никто не хочет работать в унылой компании. И в целом, если не запасать компетенцию сейчас, то потом будет поздно. Во-первых, потому что компаний, кто делает простое и проверенное, — уже энное количество. Во-вторых, рано или поздно ниша, в которой они работают, схлопнется, и они будут не готовы к тому, чтобы войти куда-нибудь еще. А мы будем!

Мы считаем, что начинать запасать компетенцию нужно сразу, как только начался рост реального использования — то есть технология уже есть, но применимость в бизнесе еще не найдена. И в целом мы технооптимисты. Это значит, что мы рано лезем в тренд и ошибаемся в сроках — думаем, что технология придет раньше. Это приводит к тому, что нам достаются грабли, в которых, как известно, измеряется опыт — и это хорошие новости и для наших заказчиков, и для наших сотрудников.

Кстати, еще один бонус в работе с XR в том, что пока что нет никаких нормативных правовых актов, которые хоть как-то бы влияли на нашу разработку. Государство еще только начинает соображать, что в этой области что-то есть и это можно понормировать. А значит, нам, разработчикам, есть где развернуться.

Что происходит с AR, VR и MR прямо сейчас?

Мы в JetStyle с 2013 года занимаемся виртуальной и дополненной реальностью, исходя из того, что и то и другое — это части того будущего, которое мы будем строить в смешанной реальности. (А рано или поздно мы все так или иначе в ней окажемся — подробнее об этом в наших статьях «8 ключевых вопросов о метавселенных» и «Следующие 8 вопросов о метавселенных».)

Давайте посмотрим, куда катятся эти технологии сейчас и как далеки мы от того будущего, которое рисуют нам техногиганты.

AR переходит в браузер и завоевывает мир

Поляна AR огромна и постоянно растет, потому что смартфон есть у каждого. Создателей контента очень много и становится еще больше, потому что корпорации вкладывают в это деньги. Пока что это исключительно развлекательная и рекламная история, но экономически выгодных сценариев использования дополненной реальности становится все больше.

Сейчас дополненная реальность в телефонах работает на двух основных конкурирующих технологиях: ARKit от Apple и ARCore от Google. Они обе неплохи: ARKit пока впереди по качеству и фичам, но работает только на айфонах, а ARCore догоняет ее за счет более широкого распространения и мультиплатформенности — потому что никто не любит делать одну и ту же работу дважды.

У обеих есть API для standalone-приложений. В этой сфере раньше властвовала Vuforia, но на момент выхода ARKit и ARCore она ушла в корпоративный сегмент и отказалась делать веб-версию, хотя ее трекинг был лучшим. Сегодня Vuforia больше не целится в обычных пользователей и занимается индустриальными решениями, чтобы, к примеру, условный автомеханик мог навести камеру планшета на двигатель и увидеть, как он устроен.

Но поскольку массовый юзер сегодня не хочет устанавливать AR-приложения, ARKit и ARCore ползут в сторону WebAR, то есть AR в браузере — не нужно заранее скачивать приложение, достаточно перейти по ссылке и навести камеру устройства на метку. И если у вас относительно свежий айфон (от 8 и свежее) или относительно свежий андроид, то это удовольствие вам доступно. При этом поляна WebAR уже занята другими ребятами. Когда Vuforia ушла в корпоративный сегмент, появились 8wall и другие разработчики, которые фокусировались исключительно на дополненной реальности в вебе. И 8wall сейчас — один из самых крупных игроков в WebAR.

В VR решена проблема с железом и (почти) с укачиванием

До недавнего времени виртуальная реальность была уделом гиков — маски подключались проводом к компьютеру с отдельной мощной видеокартой и игровой начинкой. Все это, конечно, было классно, но на плато продуктивности так и не вышло, потому что: 1) дорого — 500-600 долларов за проводную маску + 1000 долларов за игровой компьютер; 2) требовало долгих приготовлений для того, чтобы этим воспользоваться — нужно было потратить минимум десять минут на то, чтобы все настроить, распутать провода, разгрести зону трекинга и проч. Не было мгновенного перехода из одного мира в другой. И в таких условиях каждый раз задумываешься: хочу я этой возни сейчас или нет? Кажется, что это маленький барьер, но когда он возникает перед тобой каждый раз, ты выбираешь заняться чем-то другим.

В 2019 году появился Oculus Quest — маска, которая стоит 300 баксов, может работать без дополнительного железа и быть гарнитурой для PCVR без проводов. Эта штука стала пропуском виртуальной реальности в широкие массы.

И если первый Quest по потребительским характеристикам чуть-чуть не дотягивал до статуса вещи для всех (было еще не очень хорошее разрешение экрана и недостаточно мощные собственные мозги), то Oculus Quest 2 (теперь уже Meta* Quest 2) — однозначно первая потребительская VR-гарнитура. Как и в первом «квесте», в ней есть трекинг рук — можно взаимодействовать с ней без контроллеров, но так как мозги мощнее, этот трекинг меньше тормозит. Плюс отличное качество дисплея, высокое разрешение и более быстрый Wi-Fi. Плюс она стоит те же 300 баксов, как и первый «квест», но при этом внутренней памяти в два раза больше. С моей точки зрения, она имеет минимум компромиссов по качеству. (Конечно, есть маски еще круче, но стоят они уже нереальных денег.) И очевидно, что Meta* производит ее по цене существенно более дорогой, нежели продает, а разницу отбивает на контенте. Сейчас Quest 2 находится в конце жизненного цикла, ведь в этом году выйдет Meta* Quest 3.

Если использовать современные маски, то при картинке с частотой 90 Гц и больше от просто нахождения в виаре никого укачивать не будет, 99%. Остаются проблемы, связанные с разной степенью агрессивности локомоушена (перемещения) в виртуальном пространстве.

Если вы используете боди- и хэд-трекинг и синхронно перемещаетесь и в VR, и в реальном пространстве, то диссонанса между тем, что ощущает мозг и видят глаза, нет. Проблема есть только тогда, когда в виаре вы перемещаетесь сильно по-другому, особенно если камера там внезапно поворачивает, а вы — нет. Или когда вы летите и плавно перемещаетесь по криволинейным траекториям, хотя в реальности сидите на месте. Вестибулярный аппарат, конечно, тренируется, но на это требуется время. А наш опыт разработки VR-игр и тестирования на большом количестве пользователей говорит о том, что проблемы из-за агрессивного локомоушена до сих пор есть и решать их надо путем неиспользования агрессивного локомоушена — то есть искать другие способы перемещения в игровом пространстве.

Для кого мы делаем VR сегодня? В России таких заказчиков весьма не густо: государство, крупный бизнес и ретейл. На этом всё. Или совсем крупные ребята, или вообще никого.

Мы же в JetStyle в области XR в основном работаем с зарубежным рынком — список заказчиков там существенно больше как в сфере развлечений, так и в бизнесе. В статье с XR-ликбезом для бизнеса мы подробнее рассказали о том, что и для кого мы делаем сегодня, и показали наши реальные кейсы.

MR — все ждут оптимальный девайс

Рынок железок для MR пока еще изрядно не развился. Текущее состояние электроники и компонентной базы, мощностей автономных процессоров, оптики и экранов по-прежнему — даже в самых лучших образцах типа Microsoft HoloLens 2 — дает посредственный опыт ввиду того, что зона покрытия поля обзора смешанной реальностью весьма и весьма ограничена, как и вычислительные возможности носимого устройства.

Когда у нас в офисе появился первый Magic Leap с его шикарными маркетинговыми материалами и рекламой, мы были удручены, так как кусочек с магией перед глазами оказался размером с почтовую марку. Опыт от этого был очень сильно ограничен.

При этом неожиданно режим Passthrough в Meta* Quest 2, пусть и в виде черно-белого видео, гораздо лучше работает в качестве того, что все бы хотели видеть от устройства смешанной реальности. Потому что в этом случае всё поле твоего зрения является дополненным. Нет такого, что ты видишь часть реального мира, не покрытого аугментацией.

Еще в 2022 году Meta* выпустила профессиональную версию «квеста» — Meta* Quest Pro, которая, конечно, стоит гораздо дороже потребительского Quest 2, но у нее есть цветной Passthrough и камера для трекинга лица, чтобы аватар в каком-то виде передавал эмоции человека.

Благодаря этой маске к нам внезапно быстро приблизился образ того, чего все так давно ждут, при этом на более простом железе, чем предполагалось раньше. Да, мы видим реальный мир через камеры, а не сквозь стекло обычных очков, но такое решение оказалось вполне юзабельным. По крайней мере, для офисной или домашней работы. Ходить по улице в таких очках мы не будем — это слишком киберпанково для большинства людей, для этого разрабатываются более социально приемлемые устройства, например, 2-е поколение волноводной архитектуры Z-Lens от Израильской компании Lumus.

Что касается технологий, то обкатываются они сейчас во многом благодаря AR. Почти в каждом смартфоне есть лидар (обнаружение и определение дальности с помощью света), SLAM (одновременная локализация и построение карты), трекинг тела, одежды, пространства — сейчас это все избыточно и применяется в основном для развлечений. Но если представить, что в определенный момент со стороны технологий все нужное железо будет упаковано в удобные очки, то окажется, что со стороны софта, контента, технологии распознавания и оптики — всё уже готово. Останется найти кейсы эффективности и укоренить это в практике использования.

Это же касается и виртуальной реальности. Например, недавно Meta* показала прототип сенсорной перчатки, которая позволяет человеку ощущать то, что он взял в виртуальной реальности. И это не первый подобный костыль, который нужен, чтобы подготовить нас к очередному технологическому скачку. Теперь мы ждем, когда же этот концепт станет доступен для первых инженерных тестов или появится хоть что-то, из чего можно будет создать свое похожее без очень глубокого RnD.

Кому есть место в новой реальности и как его занять?

Мы подобрались к самой интересной теме — какие вакансии будут появляться в ближайшем будущем в XR-проектах и как стать привлекательным кандидатом. Тут я рассуждаю не только с точки зрения специалиста по технологиям, но и как работодатель — именно таких специалистов с такими навыками я ищу в команду уже сегодня.

Востребованные специальности в XR

Понятно, что XR сейчас — фронтир. Как и в Клондайке, тут нужны два типа людей: продавцы лопат и старатели. С продавцами лопат понятно — это цукерберги и майкрософты, а что же про людей? Какого рода старатели будут востребованы на этой золотой лихорадке в ближайшие 10 лет?

Дизайнеры

Как для веба требуются дизайнеры, так и для метаверса они будут нужны, с одной лишь разницей — для проектирования не плоского мира, а объемного. 3D-дизайнеры, нарративные дизайнеры, UX/UI-дизайнеры, которые продумывают CJM в VR, — аналогия с вебом подозрительно полная.

Процессы будут происходить те же самые, что и в дизайне для веба, который сейчас автоматизируется. Для веба этап, когда требуется талант и мозг, уже пройден, а для метаверса еще нет. Пока это тот же Дикий Запад, который был в вебе 10–15 лет назад, поэтому здесь есть где развернуться человеку.

Фронтендеры

В вебе фронтенд — это верстка. Она, как и дизайн, сегодня все чаще отдается на откуп шаблонизаторам и WYSIWYG-редакторам типа Тильды.

Но даже сейчас видно, что со временем роботы подъедят не только таксистов, но и веб-программистов. В чем можно быть уверенным, так это в том, что работы во фронтенде смешанной реальности хватит на ближайшие 10 лет с лихвой. И знание движков, трехмерки, низкоуровневых API и рендера — это отличная инвестиция в свою привлекательность как программиста на XR-проекты.

Бэкендеры

Если в этой же парадигме говорить про бэкенд, то тут все как всегда: программисты будут нужны еще очень долго. А именно те, у кого есть понимание объектно-ориентированного программирования и кто знает, какие принципы можно нарушить, чтобы все заработало.

Тестировщики

Тестировщик в VR вроде бы то же самое, что тестировщик обычных игр, но нет, там есть свои прихватки, связанные с проблемой сенсорного разрыва (причины, почему в маске может тошнить). То есть тестировщику в VR нужно, помимо прочего, проверить, чтобы то, что человек чувствует в реальности, хорошо сочеталось с тем, что он видит в маске. Отдельная любопытная проблема в том, что, занимаясь этим постоянно, человек прокачивает вестибулярку, поэтому новая важная история в тестировании — это организация потока новичков в VR-тест-зоне.

И никаких революционных специальностей. Пока

Все технологии двигаются поступательно, поэтому чего-то ультрареволюционного, типа программиста нейроинтерфейсов, пока не ожидается.
Например, так как пребывание человека в XR неразрывно связано с его движениями, в тестировании появляются вещи, которые завязаны непосредственно на этом. Тестировать нужно на возможность и удобство использования приложения в разных режимах: сидя, стоя, лежа. Нужно учитывать разные телесные характеристики человека: например, чтобы было удобно как низким, так и высоким пользователям. Ваш ассет, аватар и мир должны выдерживать проверку разными людьми: чтобы любой человек мог дотянуться, куда нужно, чтобы людям лишний раз не пришлось нагибаться, или чтобы у аватара не отрывались руки. Огромное новое поле для экспериментов, исследований и тестирования.

Чему нужно учиться?

Вот какие навыки нужны специалистам, чтобы быть на волне.

1. Теория 3D-графики

Люди, которые делают только 2D-казуалки, — это не те, кто нужны в будущем. Для работы в проектах смешанной реальности полезно знать, как устроена 3D-графика, владеть каким-нибудь пакетом по созданию 3D (например, Blender) и уметь работать с мешами, текстурами, материалами и светом.

2. Оптимизация графики

Необязательно знать кишки OpenGL, но необходимо понимать, как устроена низкоуровневая 3D-графика, как работает видеокарта, основы рендера. Если вы будете знать API конкретного движка типа Unity или Unreal, понимать особенности того или иного рендер-пайплайна, то вы всегда будете в шоколаде.

3. Программинг

Я не призываю изучать все тома Кнута, а вот принципы SOLID, а также (сюрприз!) геометрия и векторная алгебра — это те вещи, которые точно будут очень полезны при трудоустройстве core-программиста на 3D- и VR-проекты.

Где этому учиться?

С профессиональными книгами здесь туговато, потому что скорость, с которой они пишутся, не совпадает со скоростью, с которой развиваются технологии. Поэтому полагаться в обучении на книги просто не получится.
Документация всегда поддерживается в актуальном состоянии, она детализированная. Только нужен английский язык.

А какой арсенал нужен, чтобы разрабатывать проекты с XR?

Поляна производителей оборудования сейчас не очень большая:

1. Есть Meta* Quest 2, который как потребительская железка, по-моему, всех обыгрывает. Если у вас совсем небольшой бюджет, то для разработки можно обойтись только им.

2. Есть Pico (Neo 3 Pro и 4) — тот же второй «квест», только без инфраструктуры Meta*. Эти ребята целятся сразу в корпоративный сегмент. Хорошая машинка для бизнеса.

3. Есть HTC Vive — наиболее популярный вариант для бизнеса. Эта гарнитура вышла первой и первая же приспособилась к нужным именно бизнесу задачам. Еще есть HTC Vive Cosmos, который тоже фокусируется на бизнес-пользователях.

4. Windows Mixed Reality — еще одна вариация пункта 3, но от Microsoft и менее заточенная под корпоративный рынок. Например, наш VR-райд для башни A’DAM сделан под HP Reverb G2.

Есть и гораздо более дорогие железки (например Pimax и Varjo), но они вообще не для всех — так как к дорогой железке нужен еще и очень дорогой компьютер, а также понимание, зачем вам все это. Всё остальное — подвариации. Необязательно иметь под рукой все — можно начать с двух-трех железок.

Что касается нашего XR-продакшена, то у нас в отделе VR-разработки очень много оборудования:

• десять Meta Quest 2 (только гляньте, какие красавцы),
• два Oculus Quest 2,
• WinMR Acer,
• Oculus Rift S,
• HP Reverb G2,
• HTC Vive + TP Cast,
• четыре HTC Vive,
• всякая устаревшая 3DoF-мелочевка типа Oculus Go, Vive FOCUS и так далее.

Наш парк устройств сформировался по мере работы над очень разными XR-проектами: VR-тренажеры, LBE VR-игры, VR-райды, WebVR-сайт с экскурсией по памятнику архитектуры и т. д. Все наши главные кейсы — на странице JetXR.

В общем, если вы хотите повариться во всем этом как разработчик и в описании специалиста будущего узнали самого себя — пишите на jobs@jetstyle. ru.

А если вам нужен XR и вы хотите поговорить об этом — напишите мне в телеграм @alexnashzemlyak или на почту alex@jetstyle. ru.

Ну и, если есть вопросы и комментарии, пишите. Всем отвечу!

Подписывайтесь на наш telegram, чтобы не пропускать новости!

Виртуальная и дополненная реальность — VR/AR

Сегодня мы поговорим о виртуальной и дополненной реальности VR/AR. Эти технологии все чаще используются в компьютерных играх для максимального погружения в процесс. Именно по этой причине целесообразно рассмотреть их появление, принципы различия и немножко заглянуть в будущее.

Виртуальная и дополненная реальность — технологии, за которыми стоит будущее

Виртуальная реальность и дополненная реальность (VR и AR) – технологии, за которыми стоит будущее. Принято считать что они имеют сугубо развлекательную цель, повсеместно используются для создания компьютерных игр и погружения пользователей в вымышленный мир. Но так ли это на самом деле? В чем секрет популярности VR/AR, что они могут предложить искушенному современному пользователю, и по какому вектору будут развиваться в дальнейшем?

История развития VR/AR

Казалось бы, виртуальная реальность это что-то абсолютно новое, вошедшее в нашу жизнь лишь каких-то 5-10 лет назад и только сегодня получившее развитие. На самом же деле, начало этому направлению было положено более полувека назад, в 1961 году. Хронология событий выглядела следующим образом: 1961 год – первое применение технологии виртуальной реальности в жизни, реализованное в шлемах Headsight компанией Philco Corporation. 1962 – был запатентован первый в мире симулятор «Сенсорама», разработанный Мортоном Хейлингом. Именно этот изобретатель считается отцом виртуальной реальности. Но поскольку в те времена технология не вызывала особого доверия, инвестиции в должном объеме не поступали и дальнейшие разработки были свернуты. Спустя несколько лет миру был представлен «Дамоклов меч» созданный на базе головного дисплея. Принцип работы выглядел достаточно просто: к потолку крепились очки, картинка на которые поступала через компьютер. Его разработчиками стали студент Гарварда Боб Спраулл и профессор Айван Сазерленд, технологией заинтересовались NASA и ЦРУ. 80-е годы – появление очков виртуальной реальности EyePhone и перчатки DataGlove от компании VPL Research под руководством Джарона Ланье. Этим же изобретателем и был введен широко известный сегодня термин «виртуальная реальность». До начала 90-х годов термины «виртуальная реальность» и «дополненная реальность» не разделялись. Последний был предложен ученым Томом Коделлом, а ее реализацию мир увидел в 1992 году. Это была система Экзоскелет, разработанная Льюисом Розенбергом и позволяющая военным удаленно управлять машинами. Другими интересными воплощениями дополненной реальности стали:

• «Танцы в киберпространстве» — постановка, в которой акробаты танцевали в виртуальном пространстве – 1994 год, автор Жюли Мартин.
• Игровая консоль Genesis от компании Sega – 1993 год.
• Quake – игра с технологиями AR, позволяющая пользователям прямо на улицах своего города ловить чудовищ – 2000 год.

Виртуальная и дополненная реальность начали активно развиваться в 2012 году. В это время стартап Oculus представил шлем виртуальной реальности и запустил кампанию по сбору средств на его производство. Первый серийный выпуск приходится на начало 2015 года.

VR и AR – схожести и различия

AR (сокращенно от Augmented reality)- технологии, которые сочетают в себе элементы действительности и компьютерной графики. Компоненты реальности дополняются компьютерными фрагментами или вовсе маскируются. При этом пользователь видит трехмерное изображение на экранах шлема, смартфона или в очках. В качестве примера можно привести игры дополненной реальности, когда экран смартфона наводится на карточку или книгу и картинка буквально оживает.

VR (Virtual reality) – виртуальная реальность, погружающая пользователя в абсолютно вымышленный, смоделированный мир. Он может быть похож на реальный, а может кардинально от него отличаться. Так, технология позволяет из любого помещения переместится в космос, на море, в джунгли, компьютерную игру и т.д. В мире вымышленном человек может взаимодействовать с объектами, влиять на происходящее. В данном случае для «переноса» используются очки, шлем, наушники, специальные перчатки, контроллеры и т.д. Сегодня даже существуют специальные костюмы виртуальной реальности и VR-комнаты для максимального погружения в атмосферу.

Подытожив сказанное выше можно сделать выводы относительно разницы между VR и AR:

• Виртуальная реальность подразумевает перенос пользователя с мира реального в мир цифровой. Иными словами, человек находится в комнате, надевает шлем и переносится в тропические леса южной Америки. Это и есть VR.
• AR – технология, которая лишь дополняет мир действительный, а не заменяет его полностью. Здесь в качестве примера можно вспомнить нашумевшую игру Pokemon GO, когда люди со всего мира гуляли по реальным улицам и собирали вымышленных цифровых персонажей. Это и есть дополненная реальность.

Что касается VR, то здесь технологии несколько различаются по воспринимаемым пользователем спецификациям и по техническим возможностям. Условно можно представить следующую классификацию:

• VR с эффектом полного погружения. Здесь обязательно должно выполняться три условия: высокая детализация транслируемого мира; наличие высокопроизводительного компьютера, способного реагировать на действия в режиме реального времени; специальное оборудование для «полного погружения».
• Виртуальная реальность без погружения. Здесь достаточно широкоформатного экрана, качественного изображения и звука. Пример: 3D реконструкции объектов.
• Виртуальная реальность с совместной инфраструктурой.

Применение технологий виртуальной и дополненной реальностей в жизни

Казалось бы, VR и AR со всеми шлемами, очками, целыми комнатами в торговых центрах, имеют сугубо развлекательную цель. Тем не менее, сфера применения технология намного шире и затрагивает не только игры, но и:

• кино;
• образование;
• торговлю;
• медицину;
• маркетинг;
• промышленность;
• спорт.

Виртуальная реальность в жизни

Медицина

Изначально технология дополненная реальность VR применялась в военных целях, сегодня же она широко известны и в других областях. Например, в медицине. Так, специалисты Гарвардского университета рассматривают технологию виртуальной реальности как эффективный метод лечения всевозможных психологических заболеваний, фобий, тревожных неврозов, депрессии и т.д. Практическое применение разработки получили и в обучающих тренажерах. Сегодня студенты медицинских факультетов могут оттачивать свое мастерство на реалистичных виртуальных симуляторах, а не на трупах.

Другие проекты VR в медицине:

• MindMaze – платформа для пациентов, перенесших инсульт. Она предлагает ряд специальный заданий, выполнение которых стимулирует процесс восстановления мозгом нейронных связей.
• VR-игра SnowWorld от Firsthand Technology. Этот проект призван ускорить процесс восстановления пациентов. Согласно результатам исследования, она имеет на порядок меньше побочных эффектов, чем медицинские препараты, вызывающие привыкание.
• MindContine – стартап для желающих бросить курить. В данном случае курильщик курить только в мире виртуальном, в то время как в реальном у него те же ощущения, но без пагубного влияния никотина.

Маркетинг

Дополненная и виртуальная реальность присутствует и в маркетинге. Ведь именно очки или даже смартфоны позволяют буквально «попробовать» предлагаемый продукт и точно решить, что его нужно приобрести. И если c VR в данной сфере все достаточно сложно (дорогое оборудование, недоступность для среднестатистического потребителя и прочее), то AR уже применяется повсеместно.

Образование

Исследования, проводимые в Китае, доказали что эффективность образовательного процесса возрастает на 15-25% при использовании в нем технологий виртуальной реальности. На сегодняшний день создана целая образовательная VR-среда под названием «World of Comenius». Она помогает школьникам лучше воспринимать учебный материал и соответственно демонстрировать лучший результат.

Видеоигры

Одна из самых популярных сфер применения VR технологий. Сегодня активно совершенствуется программное и техническое развитие таких проектов, но на массовый рынок они еще не вышли, в отличие от AR.

Социальные сети

Всего несколько лет назад создатель Facebook объявил о том, что совсем скоро активно будет внедряться Facebook Spaces. Это версия социальной сети в виртуальном пространстве. По некоторым данным, проект разрабатывался совместно с командой Oculus Rift.

Промышленность

Уже сейчас VR технологии активно используются инженерами для 3D-моделирования объектов. Это позволяет лучше ознакомиться с ними на стадии разработки, понять изъяны и исправить. Другое направление использования – прототипирование производства всевозможных продуктов. В качестве примера можно назвать проект Virtalis.

Не так давно немецкий концерн Siemens стал использовать виртуальную нефтяную платформу для обучения своих сотрудников. На таком тренажере работники платформы выполняют ежедневные рутинные процедуры, оттачивают принцип действия в критических ситуациях и исправляют ошибки.

AR: какая реальность дополняется?

Сферы применения технологий дополненной реальности практически такие же, как и в случае с VR:

• Образование: наглядная демонстрация изучаемых событий, например исторических. Сегодня часто уже в учебниках используют QR коды, позволяющие посредством смартфона оживить персонажа или историю.
• Медицина: начиная от трехмерных учебных пособий и заканчивая разработками для людей с нарушениями зрения.
• Военная сфера: приложения, позволяющие получать картинку с камеры ночного видения.

Устройства дополненной реальности менее габаритны и затратны. Ожидается что эти технологии совсем скоро плотно войдут в повседневную жизнь человека во все ее сферы.

Устройства, позволяющие погрузится в виртуальную реальность

Перенестись из мира реального в мир вымышленный – задача не из легких. Для таких целей используются следующие устройства и предметы:

• очки виртуальной реальности;
• специальные перчатки;
• VR очки;
• костюм VR;
• комната виртуальной реальности.

На каждом из них следует остановиться подробнее, чтобы понять принцип действия.

Костюм

Костюм виртуальной реальности позволяет полностью изолировать человека от внешнего мира. Как правило, он включает в себя многоканальную акустическую систему, видеоэкран, транслирующий пользователю мир иной и всевозможные электронные устройства, которые вызывают тактильные иллюзии путем воздействия на нервные окончания.

В последнее время костюмы виртуальной реальности постепенно сходят на нет, поскольку из цена велика и ее инвестирование неоправданно. Шлем, очки, перчатки куда дешевле, а со своей задачей справляются не хуже.

Шлем и очки

Шлем и очки – те предметы, которые используются как в VR, так и в AR. В первом случае, человек надевая очки, видит только вымышленный мир, в последнем – мир реальный с отдельными элементами вымышленного.

Сегодня на рынке очки VR представлены от многих крупных корпораций. Наиболее «ходовыми» моделями являются: Sony HMZ-T1, Silico MicroDisplay ST1080, Gear VR от Samsung, Oculus Rift и Vive от HTC.

Принцип работы их достаточно прост: на экран, который представлен перед глазами подается видео в формате 3D. Эффект полного погружения создается посредством гироскопа, прикрепленного к корпусу, и акселерометра, который отслеживает повороты головы. Данные, считываемые такими устройствами передаются в компьютер и картинка меняется в зависимости от датчиков.

Современные очки используют и более продвинутые трекинговые системы:

• Системы айтрекинга: отслеживают движения зрачков.
• Моушн-трекинг: позволяют отслеживать все движения человека и транслировать их в виртуальный мир.
• Системы с обратной связью: здесь связь идет в двустороннем порядке. Не только движения человека передаются в виртуальную действительность, но и события там транслируются на человека. Это могут быть вибрирующие джойстики или вращающиеся кресла и т.д.
• 3D-контроллеры: традиционные джойстики заменяются манипуляторами, работающими в трехмерном пространстве.

Перчатки

Этот гаджет наиболее популярен именно у геймеров. Все движения руками они четко передают на экран и позволяют совершать практически любые действия в виртуальном мире. Средняя стоимость варьируется от 200 до 500 долларов США, а наиболее популярными моделями выступают:

• Dexmo – перчатки, которые обеспечивают максимальное взаимодействие человека с виртуальным объектом.
• Oculus;
• Manus VR;

Самые последние разработки настолько прогрессивны, что сжаты в виртуальном мире камень, не позволит руке сомкнуться в мире реальном.

Комната виртуальной реальности

Комната виртуальной реальности – это максимальное погружение в вымышленный мир. Здесь низкая задержка трекинга, высокое разрешение экрана, трекинг головы или даже всего тела. Человек не только видит виртуальный мир, но и чувствует его, взаимодействует с ним.

Сегодня попробовать такой «аттракцион» можно в развлекательных центрах крупных городов. Как правило, это 60 минутное погружение для нескольких человек.

Прогнозы относительно развития технологий VR и AR реальности

Изначально виртуальная и дополненная реальность VR/AR разрабатывалась для военных целей, после взяли курс на развлекательную сферу. Закономерно возникает вопрос, что же будет дальше? Прогнозы несколько отличаются друг от друга.

Так, научный сотрудник Oculus, Майкл Арбаш заявляет о том, что следует хорошо проработать визуальные качества виртуальной реальности. Например, современные шлемы предлагают 100 градусов поля обзора, в то время как человек имеет поле зрения в 220 градусов. Планируется что в ближайшие несколько лет возможности виртуальных очков и шлемов возрастут.

Другим новшеством, по словам разработчика, станет комбинация элементов виртуального и реального миров. Последние, посредством сканирования пространства очками или шлемом будут добавляться в виртуальные миры, что добавит больше реалистичности в вымышленное.

Многие ученые делают ставку на «телепортацию». Это когда человек сможет из одного места переноситься в другое, реальное в реальном времени. То есть, находясь в Москве можно будет погулять по улицам Рима и т.д.

Менее оптимистичные и красочные прогнозы дает Джесси Шелл, генеральный директор Schell Games. Он утверждает, что последующее развитие VR и AR технологий невозможно без совершенствования технологий, отвечающих за тактильные ощущения человека. Уже сегодня тактильное взаимодействие вызывает куда больший интерес, нежели просто имитация движений рук.

Что касается AR технологий, то по мнению Шелла нужно совершенствовать устройства трансляторы. Сейчас они массивные и не удобные.

Проблемы развития и риски

Отсутствие клиентской базы и необходимых инструментов – ключевое препятствие на пути стремительного развития VR и AR технологий. Отсутствие же громких проектов и неизвестность пугают потенциальных потребителей и инвесторов, что создает замкнутый круг.

В то же время имеют место быть и определенные риски, связанные с внедрением виртуальности в повседневную жизнь:

• Кража персональных данных. Например, попадание в свободный доступ информации о модифицировании кода приложения VR позволяет манипулировать виртуальной реальностью под свои цели. Достаточно взломать виртуальный офис и на кон будет поставлена репутация и деятельность компании в целом.
• Побочные эффекты. Уже сегодня часто приходится слышать жалобы на плохое самочувствие от людей, которые провели определенное время в шлемах и очках VR. Они указывают на шум в ушах, помутнение сознания, головокружение и другие недомогания. Сейчас ведутся активные работы по устранению таких побочек, но пока они имеют место быть и вызывают немалые опасения.
• Негативное психическое воздействие. VR реальность способна воздействовать на психическое состояние человека – это факт. Очевидно, что безопасные переносы в виртуальные джунгли, безобидную игру или в обучающую платформу не нанесут вреда.

Подытоживая все сказанное выше, можно с уверенностью сказать что за технологиями VR и AR стоит будущее. Пройдет всего несколько лет и технологии будут повсеместно, а не только в пилотных, единичных проектах и в качестве диковинных стартапов. Тем не менее, несут они и достаточно много угроз, которые так или иначе должны быть хорошо проработаны пока виртуальная реальность не захватила мир реальный.

TechnologiCS. Цифровой двойник и AR в реальном производстве

Идея создания цифровых двойников прочно вошла в умы всех людей, занятых модернизацией производства во всем мире. О работе команды TechnologiCS в этом направлении мы уже говорили в статье «TechnologiCS 7.9 – цифровизация всего жизненного цикла продукции на базе одной системы». Теперь пришло время обсудить элементы инфраструктуры взаимодействия пользователей с цифровым двойником. Ведь автоматизировать сбор разнородных данных и собрать на них каркас цифрового двойника не является конечной целью в процессе создания модели производства – необходимо организовать работу сотрудников с огромным объемом все увеличивающейся информации. И не просто наладить работу, а сделать ее комфортной и эффективной. Для этого следует иметь в арсенале удобные точки взаимодействия с цифровым двойником, упрощающие работу и доставляющие необходимую информацию пользователю «just in time».

Здесь мы расскажем о таких инструментах в составе цифрового двойника TechnologiCS, как очки дополненной реальности, терминалы рабочих, мобильные точки доступа, Bluetooth-метки и сервисы визуальной аналитики.

AR – дополненная реальность

Начнем с очков дополненной реальности. AR-технологии сегодня встраиваются во все аспекты привычной нам жизни – от поиска покемонов до виртуальных помощников при проведении сложных эндоскопических операций. В производственных процессах эта технология находит применение в обучении сотрудников и визуальных инструкциях по сборочным операциям. Некоторое время назад такой функционал получил в свое распоряжение и TechnologiCS.

Основное применение очков связано со считыванием встроенной в них камерой QR-кодов и выводе на экран очков информации из системы в соответствии с выбранной задачей. Кроме того, очки также могут быть связаны с приложением на смартфоне сотрудника, на который будет дублироваться информация с очков. Это позволяет не только дублировать экран очков, но и при необходимости редактировать информацию об объекте по считанному коду.

Перечислим основной функционал и реализованные сценарии применения очков на производственных площадках.

1. Обход оборудования мастером или начальником цеха по QR-коду, нанесенному на оборудование: на экран очков выводится информация как о самом оборудовании, так и о текущем задании, рабочем, плане и фактической сдаче работ на смену (рис. 1). При этом на экран очков могут сразу выводиться и сводные аналитические отчеты по рассматриваемому оборудованию: его загруженность, количество брака, показатели производственной эффективности.
2. Техническое обслуживание (ТО) и ремонт оборудования: при обходе оборудования можно увидеть его текущую и плановую наработку до ремонта или ТО, план работ по оборудованию, время ближайшего обслуживания. Сотрудник имеет возможность сразу же внести запись о текущем состоянии оборудования, изменить сроки ТО с экрана смартфона или планшета. Это позволяет еще ближе подойти к идее обслуживания не по плану, а по состоянию.
3. Считывание кода на заготовках: позволяет получить информацию о текущем техпроцессе, последней произведенной операции, выполненных на данный момент работах, маршруте изделия и дальнейшем его назначении, что опять же ускоряет процессы при транспортировке изделия и уменьшает количество сопроводительной документации.
4. Задача инвентаризации: сопоставление информации из хранилища данных согласно QR-коду и соответствующего ему реального объекта.

Если смотреть шире, то на очки можно вывести любую информацию, необходимую для пользователя. В случае складского учета это может быть список комплектующих для сборки, который позволит быстрее его собрать без распечатки ведомостей комплектации и лимитно-заборных карт – все будет на экране, в том числе с указанием расположения нужных компонентов на складе.

Для рабочих это может быть инструкция по сборке изделия, технологический процесс, текущая операция. На экран очков можно выводить сводную аналитическую информацию по работе производственной площадки.

Все вышеперечисленное позволяет использовать очки дополненной реальности как очень гибкий инструмент для повышения эффективности и скорости доступа к специализированной информации для разных профилей пользователей – рабочего, работников склада, мастера, начальника цеха, вплоть до топ-менеджмента предприятия. Они смогут применять очки для обхода производственных площадок и быстрого доступа к актуальным данным на любом этапе производственного процесса.

Планшеты, смартфоны и терминалы в производстве

Функционал работы с QR-кодами полностью дублируется как в нашем приложении для смартфонов (рис. 2), так и в мобильной полнофункциональной версии TechnologiCS для планшетов (рис. 3).

Планшеты или терминалы для взаимодействия с системой TechnologiCS в стандартном исполнении или в виде напольных конструкций устанавливаются в цеху в непосредственной близости от производственного оборудования. В начале рабочей смены работник авторизуется в системе с помощью присвоенного ему уникального кода либо с помощью пропуска, прикладывая его к считывателю на терминале. При этом в интерфейсе терминала отображается сменное задание работника, где указано, какие операции, в каком количестве и по каким маршрутным листам ему необходимо выполнить.

Для фактической отметки о выполнении операции работник выбирает конкретную запись и вводит количество сданных операций и выявленного брака. Все эти данные сразу попадают в систему. Цеховые плановые бюро, мастер и диспетчер получают в онлайн-режиме актуальную информацию о ходе выполнения операций, а контролер участка – о выявлении брака. На указанные позиции впоследствии сообщаются вид и причина брака.

Терминал позволяет работнику сигнализировать о недостатке требуемых материалов и заготовок, об отсутствии/поломке инструмента, неисправности оборудования с последующей автоматической отправкой уведомления всем ответственным сторонам в системе TechnologiCS и возможным дублированием СМС-сообщением или посредством корпоративной почты. Это позволяет максимально быстро отреагировать на возникший инцидент/отклонение в производстве и принять меры к его устранению. Терминал обеспечивает возможность при необходимости ознакомиться с техпроцессом изготовления изделия или с другой справочной информацией с рабочего места сотрудника при наличии у него соответствующего доступа к документации.

Использование непосредственно на рабочих местах терминалов и мобильных устройств, подключенных к системе TechnologiCS, увеличивает количество точек сбора данных как о фактической сдаче продукции, так и о загрузке оборудования и реальной выработке рабочих, тем самым сокращая количество «слепых зон» при анализе производственных процессов и повышая оперативность получения информации о ходе выполнения производственного плана.

Еще одним способом применения планшетов является использование функционала складского учета с кастомизированным интерфейсом, что позволяет сотруднику автономно от рабочего места искать на складе/в кладовой нужную номенклатуру, вводить информацию о вновь поступивших МТЦ непосредственно на месте, ставить отметки о подборе требуемых позиций по накладным. При этом считывание информации о конкретной обрабатываемой позиции может производиться по QR-коду со встроенной в планшет камеры, что существенно повышает скорость работы кладовщика. Наряду с этим поиск места хранения конкретной позиции на складе упрощается благодаря визуализации на экране места хранения, в том числе на 3D-модели склада (рис. 4).

BLE-метки

В рамках складского хозяйства и логистики изделий, заготовок и материалов для системы TechnologiCS теперь доступна возможность отслеживания с помощью BLE-меток. Такие метки упрощают и позволяют автоматизировать работу по отслеживанию прохождения деталей, заготовок или материалов по контрольным точкам производства и хранения. При этом информация о местонахождении объектов доступна в режиме реального времени.

Полученная с меток информация о времени «пролёживания» и скорости прохождения контрольных точек обеспечивает возможность проведения анализа имеющихся узких мест на производстве и оптимизации распределения задач, касающихся оборудования и логистических цепочек. Применение BLE-меток существенно упрощает процесс поиска помеченных объектов в точках хранения, позволяя не только считывать информацию по метке, но и определять ее физическое месторасположение – отдаленность и направление от считывающего устройства.

Применение меток совместно с мобильными терминалами работы с TechnologiCS значительно ускоряет и автоматизирует процессы контроля местоположения изделий, их поиска в точках хранения, упрощает работу персонала, облегчая взаимодействие с цифровым двойником складского хозяйства.

3D-модель производственной площадки

Для отображения производственной информации в TechnologiCS предусмотрена информационно-аналитическая 3D-модель производственной площадки, являющаяся одним из вариантов работы модуля TechnologiCS MDC, позволяющего бесшовно подключаться без риска потери гарантии не только к большей части современного оборудования с ЧПУ, но и к любому другому, входящему в IIoT-экосистему площадки (рис. 5).

Трехмерная модель является точным отображением производственной площадки, главными объектами на которой являются оборудование и аналитическая информация разной степени иерархической глубины – как по отдельным станкам, рабочим, так и по группам оборудования или по всей производственной площадке сразу.

Сигналы, поступающие от оборудования, объединяются в группы состояний: «холостой ход», «работа под нагрузкой», «включен», «выключен», «авария» и т.д. Станки на модели в режиме реального времени подсвечиваются в соответствии со своим текущим состоянием на площадке. Кроме того, для каждого станка при его выделении демонстрируется дашборд с текущей информацией о задании, плане на смену, работнике, эффективности оборудования по показателю OEE (см. рис. 5). Эти же данные выводятся при сканировании QR-кода на станке в реальном производстве при обходе площадки.

Подобная модель обычно выводится в качестве одного из дашбордов на большой информационной панели, что позволяет всем видеть текущее положение производства. Это не только приводит к повышению трудовой дисциплины рабочих, но и позволяет мастеру или начальнику цеха в режиме реального времени контролировать, сколько оборудования работает, где произошла аварийная остановка (параллельно с другими способами автоматического оповещения – СМС, почтовый клиент или сообщения внутри TechnologiCS), и быстрее принимать решения об изменениях в производственном процессе: перераспределить работы на свободное оборудование, уменьшить число рабочих смен.

Руководителям предприятий и цехов цифровой двойник производственной площадки позволяет визуально контролировать загруженность оборудования по подразделениям и оценивать его эффективность (рис. 6).

Дашборды

Аналитической 3D-моделью производственной площадки набор используемых аналитических дашбордов в системе TechnologiCS не ограничивается. На информационных панелях, расположенных непосредственно на производственных площадках, выводится информация о плане и фактическом выпуске продукции, о выработке рабочих, эффективности работы оборудования (рис. 7). Подобная информация повышает трудовую дисциплину, а также привносит соревновательный интерес в работу коллектива. Мастеру и начальнику цеха дашборды позволяют визуально в режиме реального времени контролировать выполнение плановых показателей, текущую загрузку оборудования и качество работы сотрудников. Для топ-менеджмента информационные панели представляют собой стратегические дашборды не только с производственной информацией в разрезе завода, цеха или участка, но и финансовые отчеты по заработной плате рабочих, отставании или опережении заказов, себестоимости незавершенного производства. В качестве производственной аналитики для верхнего руководящего состава выводятся обобщенные показатели, такие как OEE, процент брака по группам оборудования, объем свободных мощностей на требуемый горизонт принятия решений.

За последние несколько лет TechnologiCS выросла из яслей PLM и MES и достигла уровня, позволяющего создавать цифровые двойники производственных площадок, охватывая все сферы производственных процессов. Присоединяйтесь к нам – дальше будет только интереснее!

Евгений Иванов,
аналитик отдела
инженерного консалтинга

Вадим Ушаков,
директор по консалтингу

Игорь Юнаков,
руководитель проектов
отдела инженерного консалтинга

Вы можете скачать ознакомительную версию TechnologiCS, представляющую собой полнофункциональную версию системы, лицензия на использование которой действует в течение 60 дней.

GeoGebra 3D Calculator 4+

Разработчик International GeoGebra Institute (IGI) указал, что в соответствии с политикой конфиденциальности приложения данные могут обрабатываться так, как описано ниже. Подробные сведения доступны в политике конфиденциальности разработчика.

Не связанные с пользова­телем данные

• Геопозиция
• Идентифика­торы
• Данные об использова­нии
• Диагностика

Конфиденциальные данные могут использоваться по-разному в зависимости от вашего возраста, задействованных функций или других факторов. Подробнее

Информация

Провайдер Internationales GeoGebra Institut, «IGI»
Размер 111,9 МБ

Совместимость iPhone Требуется iOS 13.0 или новее. iPad Требуется iPadOS 13.0 или новее. iPod touch Требуется iOS 13.0 или новее. Mac Требуется macOS 11.0 или новее и компьютер Mac с чипом Apple M1 или новее.

русский, азербайджанский, албанский, амхарский, английский, арабский, армянский, африкаанс, бамбара, баскский, бенгальский, бирманский, болгарский, боснийский, бретонский, валлийский, венгерский, вьетнамский, галисийский, голландский, греческий, грузинский, датский, иврит, идиш, индонезийский, ирландский, исландский, испанский, итальянский, казахский, камбоджийский, каннада, каталанский, корейский, коса, латышский, литовский, македонский, малайский, малаялам, маратхи, монгольский, немецкий, непальская, норвежский (букмол), норвежский нюнорск, персидский, польский, португальский, румынский, санскрит, сербский, сингальский, словацкий, словенский, таджикский, таитянский, тайский, тамильский, телугу, тибетский, традиционный китайский, турецкий, узбекский, уйгурский, украинский, упрощенный китайский, урду, фарерский, филиппинский, финский, французский, хинди, хорватский, чешский, шведский, эсперанто, эстонский, японский

Copyright © International GeoGebra Institute
Цена Бесплатно

• Сайт разработчика
• Поддержка приложения
• Политика конфиденциальности

• Сайт разработчика
• Поддержка приложения
• Политика конфиденциальности