Hololens что это

Очки дополненной реальности Microsoft Hololens

Процессор: Intel Atom x5-Z8100 с тактовой частотой в 1,04 ГГц
Оперативная память: 2 гг.
Жесткий диск: 64 гг.
Аккумуляторная батарея: 16 500 мА·ч
Сборка: Windows 10 (32-бит )
Флеш-память: 2 ГБ ОЗУ и 64 ГБ
Камера(фото): 2,4 Мп (2048×1152)
Камера(видео): 1,1 Мп (1408×792)

Нашли ошибку — выделите и нажмите CTRL Q
Лизинг Быстрое решение по заявке
ПНР Пусконаладочные работы
Ремонт и сервис Собственный сервисный центр

Очки дополненной реальности Microsoft Hololens новая разработка Microsoft, которая позволяет накладывать виртуальную реальность поверх существующей на самом деле обстановки. Более правильно называть эти очки очки дополненной реальности. В отличие от очков виртуальной реальности, с использованием которых Вы попадаете в искусственно созданный, полностью виртуальный мир, Microsoft Hololens позволяют накладывать графические изображения и текст на реально существующий материальный мир вокруг Вас, получая уникальную смешанную реальность.

Microsoft Hololens это голографический компьютер, в котором установлено три чипа: CPU, GPU и новейшая разработка Microsoft HPU, голографический процессор, который отвечает за корректный вывод голографических объектов. Очки оснащены восемнадцатью датчиками, которые фиксируют данные о движении головы пользователя и об окружающей обстановке. Встроенный гироскоп, акселерометр и магнитометр позволяют максимально точно накладывать дополнительную реальность на материальный мир вокруг пользователя. Четыре высококачественные камеры с обзором 120 х 120 градусов гарантируют безошибочное распознавание окружающей среды с высокой детализацией.

Microsoft Hololens внешне чем-то напоминают горнолыжные очки. Голограммы, создаваемые пользователем, отображаются на экране очков. Экран сделан полностью прозрачным, слегка затемнённым, за счет чего создается впечатление, что Вы надели обычные очки, а объекты дополненной реальности выглядят потрясающе натурально. Управление голографическими изображениями осуществляется при помощи рук. Слева и справа установлены динамики, которые максимально естественно передают стерео звучание. Звуковая картина формируется таким образом, чтобы пользователь чувствовал, из какой именно точки пространства доносится тот или иной звук. Для передачи голосовых команд имеется микрофон, а чтобы избежать нагрева очков при работе, была предусмотрена система вентиляции: воздух выдувается из дужек, при этом поток направлен вверх и вниз, не попадая на пользователя и сами очки.

Для использования Microsoft Hololens не требуется никаких кабелей. Устройство полностью автономно, оно поддерживает не только потоковую передачу видео по беспроводному соединению, но и беспроводную зарядку. Для работы очки используют операционную систему Windows 10, её специальную версию.

Очки виртуальной реальности Microsoft Hololens

Microsoft HoloLens

Microsoft HoloLens — очки смешанной реальности на базе встроенного процессора и системы Windows Mixed Reality с открытым кодом. Полностью беспроводное автономное устройство, которое позволяет работать с 3D голограммами, привязанными к реальным объектам. Microsoft позиционирует HoloLens как продукт для компаний — научных, архитектурных, медицинских, инженерных — и разработчиков, но не для обычных пользователей. Официально заказать в СНГ нельзя, только у перекупщиков. Давайте разберёмся с особенностями гаджета.

История Microsoft HoloLens

• Commercial Suite — для компаний. Включает дополнительную гарантию и опции настройки. Цена — 5,000 USD .
• Development Suite — для разработчиков. Стандартный вариант для отдельных покупателей. Цена — 3,000 USD .

Плюсы Microsoft HoloLens

Полезная технология. Система смешанной реальности выглядит сырой, но с огромным потенциалом. HoloLens будут особенно полезны медикам, строителям, инженерам, учёным.
Беспроводная система. Устройство полностью автономно, то есть работает без компьютера. Никаких проводов, контроллеры подключаются по Bluetooth. Это удобно и для работы, и для отдыха.
Качественный объёмный звук. Благодаря двум динамикам и программной оптимизации очки понимают, откуда должен идти виртуальный звук и правильно вплетают его в реальность.
Нет ощущения тошноты. В отличие от шлемов VR, очки накладывают голограммы на реальный мир, поэтому мозг не теряется и не считает, что для организма есть угроза.

Минусы Microsoft HoloLens

Ограниченная мощность. Из-за относительной компактности и отсутствия системы охлаждения, начинка не такая производительная, как хотелось бы. Это ограничивает и функционал, и качество картинки.
Узкий угол обзора. Касается и зрения, и датчиков. То есть с голограммами можно работать только в центральной области, а периферия не участвует. К этому привыкаешь, как к лыжной маске или очкам для плавания.
Мало контента. В магазине Microsoft всего 424 продукта, при том что большая часть — демки. Реально полезных бесплатных приложений очень мало, а коммерческие стоят сотни долларов.
Элитарность. Официально гаджет доступен для коммерческих компаний и разработчиков по цене минимум 3,000 USD . Версию для обычных пользователей можем ждать уже в конце 2018.

Конкуренты Microsoft HoloLens

На рынке очков смешанной реальности совсем немного гаджетов, а вариантов для обычных покупателей вообще нет. Не будем сравнивать HoloLens с очками и шлемами виртуальной реальности, потому что это совсем другой сегмент. Поэтому конкурентов остаётся два, причём один — не автономный, а второй — без релизной модели:

• Meta 2. Очень похожи по дизайну, но массивнее и тяжелее, а работать могут только в паре с компьютером или ноутбуком. Производительность выше, а угол обзора и поле виртуального зрения шире. Цена Meta 2 начинается от , что в три раза дешевле HoloLens.
• Magic Leap One. Продукт привлёк 2 миллиарда долларов инвестиций. Это гораздо более компактные очки с полным функционалом и машинным обучением сенсоров. Однако качество картинки и возможности прототипа оказались гораздо ниже заявленных.

Отдельно можно упомянуть проект Google Glass, потребительскую версию которого свернули в 2015, но вариант для разработчиков продолжили в 2017. Очки тоже немного другого плана, потому что представляют дополненную реальность, а не смешанную. То гаджет не привязывает голограммы к физическому миру, в отличие от прямых конкурентов Microsoft HoloLens.
В целом, до реального релиза Magic Leap One, Meta 2 остаются самыми доступными очками с близким к HoloLens функционалом. А продукт от Microsoft больше подходит для коммерческих и образовательных компаний.

Дизайн и эргономика Microsoft HoloLens

По форме и размерам очки похожи на защитную маску, громоздкую, с толстым ободом и широким визором. До габаритов VR от Oculus и HTC не дотягивают, а вот по сравнению с изящными Google Glass — настоящий монстр. Корпус пластиковый, состоит из двух рамок. Внутренняя подходит для фиксации на голове, внешняя — для регулировки расстояния от лица. Передняя панель — прозрачная маска из крепкого стекла, за которой стоят главные линзы. Над глазами и по центру визора расположены камеры для создания трёхмерной модели окружения.
По конструкционным и управляющим элементам ситуация следующая:

• Оптические и ИК-камеры с датчиками — по две камеры для отслеживания головы над каждым глазом, одна камера глубины для создания модели поверхности по центру и одна — стандартная для съёмки рядом. Плюс датчики света и навигации тоже на передней панели.
• Динамики — на внешней рамке снизу по бокам. Создают звуковое окружение и транслируют как реальные, так и виртуальные шумы, причём в правильном направлении.
• Кнопки громкости и яркости — на внешней рамке сверху по бокам. Небольшие и довольно удобные, если привыкнуть, то сразу находишь пальцами.
• Кнопка питания — на правом боковом торце внешней рамки. Включает/выключает очки.
• Разъём USB — на внешней рамке сверху справа. Сюда подключается зарядное устройство.
• Разъём 3,5 мм — на внешней рамке сверху слева. Подходит для наушников.
• Кольцо регулировки — на внутренней рамке сзади сверху. Используется для фиксации на голове.

Если вы знаете, как носить шлемы виртуальной реальности, то использование Microsoft HoloLens проблем не вызовет. Благодаря двум рамкам гаджет сидит на голове крепко, можно подогнать под себя охват и расстояние от глаз. Вес в 580 грамм ощутим и сильнее смещён вперёд, к визору. Поэтому слишком долго работать в очках не получится. Большой плюс — отсутствие проводов. Привыкаешь меньше, чем за полчаса. Для массовой версии хотелось бы увидеть меньший вес и стильный дизайн, но для работы красота не нужна.

Дисплей и линзы Microsoft HoloLens

В отличие от виртуальных очков, HoloLens использует прозрачный визор на базе волноводной оптики и два проектора с дисплеями LQoD, разрешением HD и соотношением сторон 16:9, которые находятся на дужке над переносицей. Обработкой занимается объединитель, который соединяет реальное с виртуальным.
Принцип работы достаточно простой — призматические линзы одновременно пропускают свет из реального мира (так пользователь видит физические объекты) и свет от проекторов (так появляются голограммы). Система работает благодаря явлению полного внутреннего отражения, которое позволяет линзам пропускать или задерживать свет.
Инженеры Microsoft хорошо потрудились. Дело в том, что при неправильной установке дифракционных решёток голограммы будут плавать по реальному миру, а не привязываться к объектам, и это приведёт к сильной тошноте. Но в HoloLens такого эффекта нет. При этом сложность системы в разы выше, чем в шлемах VR.
Из недостатков очков отметим маленький угол обзора — всего 35 градусов, чего явно недостаточно для полноценной работы. При этом голограммы проецируются только по центру линз, так что периферийное зрение не участвует. Со временем привыкаешь и работать становится удобно.

Контроллер Microsoft HoloLens

Родной контроллер идёт в комплекте и по дизайну чем-то напоминает пульт для гаражной двери. Устройство крепится на пальце эластичной петлёй, подключается через Bluetooth и заряжается от сети через micro-USB. Гаджет простой, всего с одной кнопкой. Его разработали, чтобы у пользователей не уставали руки от жестов. Кликер можно направлять на виртуальные объекты и взаимодействовать с ними: нажимать кнопки, включать/выключать, прокручивать, перетаскивать, удалять. По факту — просто виртуальная мышка. Но удобно.

Начинка Microsoft HoloLens

Система автономная, работает на базе чипсета Intel Atom x5-Z8100 с частотой 1,04 ГГц, 2 Гб оперативки и 64 Гб встроенной памяти. Прототипы работали на 32-битной базе, новые версии — 64-битные. Аккумулятор рассчитан на 16500 мАч, но этого хватает максимум на 5,5 часов при щадящей нагрузке и 2,5 — при сильной.
Но главная гордость и мастерство разработчиков кроется в HPU, голографическом процессоре, который и отвечает за обработку виртуальных объектов. В нём 24 ядра! Процессор работает на скорости больше триллиона операций с пикселями в секунду, что в 200 раз больше стандартной программной обработки.
Конструкция очков не позволяет запихнуть в них очень мощное железо ещё и потому, что нет места для кулеров. Сейчас HoloLens охлаждаются пассивно, то есть просто окружающим воздухом. Если поставить мощный процессор, то система будет быстро перегреваться.

Настройка и начало работы с Microsoft HoloLens

Для старта очки нужно закрепить на голове с помощью двух рамок, в первый раз желательно попросить кого-нибудь помочь. После включения потребуется зайти в Microsoft Account и откалибровать систему. Это занимает несколько минут. К эргономике и углу обзора привыкаешь за полчаса, не больше. Разобраться с управлением помогает умный помощник Microsoft по имени Кортана. Вариантов управления четыре:

• Кнопки. Физические элементы на внешней рамке, которые регулируют громкость и яркость голограмм.
• Голос. Основной способ взаимодействия с Кортаной плюс управление голограммами.
• Жесты. Камеры распознают движение рук и изменяют виртуальные объекты.
• Контроллер. Для отдыха рук вместо жестов можно использовать виртуальную мышку с помощью кликера.

О жестах поговорим чуть подробнее. Главная проблема — ограниченный угол обзора и действия камер, из-за чего приходится держать руки практически идеально ровно перед визором. Основных жестов для рук всего два:

1. Bloom — раскрытие сжатого кулака, вызывает стартовое меню.
2. Air Tap — касание пальцем по типу клика мышкой.

С контроллером работать немного удобнее, хотя по функционалу это полный аналог Air Tap.

Софт и игры для Microsoft HoloLens

Основное управление происходит через стартовое меню, все базовые приложения уже зашиты в память устройства. Меню выглядит как стандартный интерфейс Windows 10 с тайлами. Оптимизированных под HoloLens программ пока мало, они больше похожи не демки, который показывают потенциал системы. Но через очки можно запускать и UWP — стандартные приложения и игры с Windows 10. Работать с ними можно через кликер и виртуальную клавиатуру, но по Bluetooth всегда можно подключить физические контроллеры, включая геймпады.
На официальном сайте представлено 424 программы, большинство — бесплатные демонстрационные версии. Из интересных и полезных для обычных юзеров приложений отметим:

• Skype for HoloLens. Старый-добрый Скайп, теперь с голограммами.
• HoloTour. Гид по Риму и Мачу-Пикчу с 360-градусными видео и объёмным звуком.
• Land of Dinosaurs. Портал в парк Юрского периода с динозаврами.
• Insight Heart. Первое медицинское приложение из серии, голографическая модель сердца.
• 3dDraw for HoloLens. Виртуальный мольберт для рисования в 3D.
• HoloStudy Demo. Одна из лучших демок с серией уроков по геологии, физике, химии и биологии.
• Fragments. Детективная игра с голографическими сценами преступлений.

Но так как Microsoft HoloLens — продукт для крупных коммерческих компаний, то и функционал, и софт ориентирован на них. Например, в магазине есть приложение Open-pit mining (OAR) для обучения рабочих горно-металлургического сектора и карьерной добычи. Удобно и полезно, вот только стоит программа 500 USD . Разработчики и дальше планируют создавать эксклюзивные программы для клиентов, например, Nasa, Volvo или Disney, специально под их задачи. Поэтому массовых приложений и игр ждать пока не стоит.

Упаковка и комплектация Microsoft HoloLens

Гаджет продаётся в красивой и дорого выглядящей коробке. Внутри — две коробки поменьше с футлярами на змейках. В комплекте находим:

• Очки Microsoft HoloLens, состоящие из передней панели и рамки для головы.
• Внутренняя рамка для более надёжного крепления.
• Насадка для носа для дополнительного удобства.
• Контроллер-кликер с единственной кнопкой управления.
• Зарядный адаптер.
• Кабель USB/micro-USB.
• Салфетка для линз.
• Руководство.

В итоге система работает из коробки, ничего докупать не надо, и даже компьютер не потребуется. Учитывая специфику и узкую направленность, за минимум 3,000 USD хотелось бы увидеть больше интересных аксессуаров, например, контроллеров или камер.

Проблемы с устройством и рекомендации по использованию Microsoft HoloLens

• Фризы, подтормаживания, отсутствие отклика от системы.
• Произвольно движущиеся и просто кривые голограммы.
• Пропадающие с закреплённых мест голограммы.
• Неработающие жесты, голос или контроллер.
• Ошибка «мало свободного места».

Microsoft HoloLens — Альтернативы

Показаны записи 1-10 из 10.

Цена	Продукт
Фото	USD	Название	px.	Угол	Гц.	MP	Гр.	Релиз
USD	Название
	499	HTC Vive	1200×1080	110°	90	1 шт.	470	2016/04/05
	487	Lenovo Explorer	1440×1440	110°	90	2 шт.	380	2017/10/04
	583	ASUS Headset	1440×1440	95°	90	2 шт.	400	2018/02/20
	1,796	Google Glass 3.0	640×360	13°	36	2017
	1,339	Google Glass 2.0	640×360	50	2013
	449	DELL Visor	1440×1440	110°	90	2 шт.	590	2017/10/1
	708	Lenovo Mirage Solo	2560×1440	110°	75	2 шт.	645	2018/05/05
	153	ACV HYPE SVR-FHD	960×1080	100°	70	430
	898	Epson Moverio BT-200	960×540	23°	60	88
	956	Epson Moverio BT-300	1280×720	23°	1 шт.	69

Microsoft Hololens

Microsoft Hololens – устройство, на которое компания Microsoft возлагает большие надежды, оно позволяет пользователям взаимодействовать с виртуальными объектами, которые находятся в реальном окружающем мире. Это достигается благодаря специальному вычислительному блоку и датчикам, сканирующим окружающее пространство. Отличное качество сборки, внимание к деталям, плюсы, и потенциальное применение кажется безграничным. Их можно применять для игр, а также для профессионального использование в любых сфера деятельности. Так Hololens широко используются в проектировании, архитектуре, бизнесе и даже медицине. Они поддерживают универсальные приложения с единым кодом, написанные сразу для всех устройств экосистемы Microsoft. Поддержка различных приложений для Microsoft Hololens интегрирована в Windows 10. Очки полностью автономные, то есть для их использования не нужен компьютер или дополнительные аксессуары.

Что с эргономикой в Hololens?

Hololens, по сути, состоит из двух колец. Во-первых, это более толстое пластиковое внешнее кольцо. Во-вторых, – более тонкого и мягкого внутреннего, которое оборачивает вашу голову. Посадка внутреннего кольца регулируется путем скольжения вперед и назад ролика, расположенного на его задней части. Hololens выглядит и ощущается как устройство премиум-класса. Ничто в нем не кричит «дешево», что отражено в цене этой версии для разработчиков.

С добавлением каждой новой функции, такой как управление жестами и пространственный звук, вы увидите, как преобразуется в работу с HoloLens. Попробуйте на себе как легко разрабатывать приложения для Hololens. Изображения Hololens, проецируемые на реальный мир вокруг тебя, яркие, четкие и реалистичные. Когда перемещаешься вокруг них, голографические формы ведут себя как настоящие объекты. Обойдя их вокруг, можно могу видеть их заднюю сторону — или вообще не видеть, если они закрыты другими голограммами.

Возможности Хололенс безграничны. Например можно задействовать технологию Холо в хирургии. Медицинская технологическая компания Scopis, представила первый в мире интерфейс смешанной реальности для спинальных хирургов. Используя трехмерное отслеживание положения, наложение Scopis помогает точно совместить голограммы не отвлекая внимания. Компания заявляет, что ее система наложения Hololens сокращает не только время операции, но и снижает воздействие радиации на пациента.

Microsoft Hololens

Microsoft HoloLens — очки виртуальной реальности. Они представляют собой надеваемый на голову обруч с расположенными перед глазами тонированными линзами с волнообразной призматической структурой, которые преломляют и отправляют в глаза пользователя изображения с расположенных по бокам микродисплеев.

Microsoft HoloLens — очки смешанной реальности. Используют 32-разрядную операционную систему Windows Holographic (версия Windows 10). Устройство автономно и не требует подключения к ПК, смартфону или игровой консоли.

В дополнение к центральному и графическому процессорам очки имеют голографический процессор (англ. holographic processing unit), разработанный Microsoft специально для HoloLens.

2022: Выпущены VR-очки для дальтоников

13 апреля 2022 года компания Microsoft выпустила платформу Windows Holographic версии 22H1, которая предлагает пользователям HoloLens 2, а также ИТ-администраторам и разработчикам большой набор новых функций, включая режим цветовой слепоты. Подробнее здесь.

2021: Старт продаж HoloLens 2 Industrial Edition

В начале февраля 2021 года Microsoft начинает продажи гарнитуры дополненной реальности для промышленных предприятий под названием HoloLens 2 Industrial Edition. Microsoft сообщила, что постаралась учесть отзывы клиентов, которые использовали предыдущую версию — Lockheed Martin, Imperial College Healthcare NHS Trust и Mercedes-Benz USA.

Известно, что Lockheed Martin использует HoloLens 2 для создания космического корабля Orion, значимо сокращая затраты, поскольку действия, ранее требовавшие восьмичасовой смены, теперь можно выполнить всего за 45 минут. Imperial College Healthcare NHS Trust использует HoloLens 2 для ограничения контакта медицинских работников с пациентами COVID-19, добившись снижения риска на 83%, а Mercedes-Benz применяет гарнитуру для повышения эффективности работы техников по обслуживанию.

Microsoft начинает продажи AR-гарнитуры для промышленных предприятий, ее уже приобрели Mercedez-Benz и Lockheed Martin

Однако многие компании хотели бы использовать HoloLens 2 в строго регламентируемых сферах, где устройства должны соответствовать стандартам по выбросу частиц, например, в фармацевтической и полупроводниковой промышленности. А в энергетическом секторе компаниям требуется устройство, с которым можно безопасно работать в потенциально опасных средах.

Гарнитура HoloLens 2 Industrial Edition соответствует стандарту ISO 14644-1 класса 5-8, что позволяет её использовать в чистых помещениях. С точки зрения искробезопасности гарнитура соответствует стандарту UL класса I, раздела 2. Кроме того, HoloLens 2 Industrial Edition имеет двухлетнюю гарантию и входит в программу быстрой замены, в рамках которой неисправное устройство в кратчайшие сроки может быть заменено на новое. Российский рынок мобильных приложений для бизнеса и госсектора: крупнейшие игроки, тенденции и перспективы. Обзор TAdviser

HoloLens 2 Industrial Edition уже доступен для предварительного заказа по цене $4950. Первые поставки клиентам начнутся весной 2021 года. [1]

2020: Поддержка сервиса Windows Autopilot

8 мая 2020 года Microsoft добавила в свое решение Windows Autopilot поддержку очков дополненной реальности HoloLens 2. Подробнее здесь.

2019

Начало продаж HoloLens 2. Цена — $3500

7 ноября 2019 года Microsoft сообщила о начале продаж гарнитуры смешанной реальности HoloLens 2. Её стоимость оказалась той же, которую американская корпорация назвала во время анонса продукта — $3500 (более 223 тыс. рублей по курсу на 7 ноября).

Первыми приобрести HoloLens 2 смогут жители США, Франции, Германии, Ирландии, Новой Зеландии, Австралии и Британии. Сроки появления продукта в других странах, в том числе в России, Microsoft не называются.

Microsoft сообщила о начале продаж гарнитуры смешанной реальности HoloLens 2

Производитель адресует HoloLens 2 корпоративному сектору, преимущественно компаниям, занимающимся производством или ремонтными работами. За дополнительную ежемесячную плату бизнес может приобрести программное обеспечение Microsoft Remote Assist, предназначенное для устранения неполадок в режиме реального времени.

Журналисты The Verge, которым удалось протестировать HoloLens 2, отметили некоторые отличия устройства от предшественника. Во-первых, разработчики увеличили угол обзора с 34 до 52 градусов. Во-вторых, были существенно расширены возможности управления жестами: если в первой версии они были ограничены нажатиями на виртуальные объекты, то в HoloLens 2 можно масштабировать и перемещать объекты в поле зрения. Кроме того, в новой гарнитуре можно вызывать всплывающее меню нажатием на голографическую кнопку на запястье.

Директор по коммуникациям Microsoft Грег Салливан (Greg Sullivan) говорит, что компания сохраняет поддержку HoloLens первого, но некоторые разработчики могут начать создавать приложения, требующие управления жестами, реализованного только в HoloLens 2.

По словам Салливана, среди тех, кто оставлял заявки на приобретение HoloLens 2, были как новые клиенты, так и те, кто решил купить устройство взамен HoloLens первого поколения. [2]

Выход эмулятора для HoloLens 2

В середине апреля 2019 года Microsoft выпустила эмулятор для HoloLens 2, который позволит тестировать приложения на компьютере без использования самого устройства смешанной реальности. HoloLens Emulator является весьма полезным продуктом, учитывая высокую стоимость гаджета — $3500. Подробнее здесь.

Анонс HoloLens 2

24 февраля 2019 года состоялась презентация шлема смешанной реальности второго поколения Microsoft HoloLens. Устройство адресовано исключительно корпоративным клиентам и будет стоить недешево.

По сравнению с первой версией новая гарнитура получила удвоенное поле зрение при сохранении голографической плотности в 47 пикселей на градус обзора. В компании поясняют, что улучшение эквивалентно переходу с телевизора с разрешением 720p на 2K для каждого глаза.

HoloLens 2 позволяет отслеживать движения рук без каких-либо дополнительных контроллеров. Во время демонстрации в прямом эфире один из сотрудников Microsoft запустил в 3D-пространстве различные приложения, в том числе виртуальное пианино.

Microsoft представила шлем смешанной реальности HoloLens 2. Цена

HoloLens 2 содержит новую дисплейную систему, которая позволяет устройств демонстрировать повышенную производительность при низком энергопотреблении. Используя новый время-пролетный датчик глубины (time-of-flight depth sensor) в сочетании со встроенным искусственным интеллектом и семантическим пониманием, носимый аппарат позволяет взаимодействовать с голограммами подобно тому, как это происходит в реальном мире с физическими предметами.

Устройство снабжено датчиками слежения за глазами, что делает взаимодействие с голограммами еще более естественными. Также поддерживается система распознавания лиц Windows Hello. Разработчики утверждают, что новый шлем «легче и более удобный» по сравнению с предыдущей моделью.

В Microsoft отмечают, что HoloLens 2 ориентирован на использование в компаниях, которые смогут создавать для гаджета свои программы и магазины приложений. Кроме того, шлем будет поддерживать установку сторонних веб-браузеров, и Mozilla уже начала создавать такой продукт.

После анонса HoloLens 2 компания Microsoft стала принимать предварительные заказы на покупку шлема смешанной реальности. Цена — $3500. [3]

2018

Как AR-гарнитура Microsoft помогает хирургам на операциях

К концу ноября 2018 года хирурги начали использовать гарнитуру смешанной реальности, чтобы разумно планировать реконструкционные операции на нижних конечностях – новая AR-гарнитура HoloLens компании Microsoft помогает понять, какие ткани и сосуды можно использовать в восстановительных операциях с помощью аутотрансплантации.

Пациентам назначают стандартные КТ-исследования с контрастом, который обеспечивает визуализацию проходимых сосудов и позволяет выделить наиболее жизнеспособные ткани. Затем с помощью 3D-реконструкции моделируется конечность и все ее сосуды, а данные передаются в HoloLens. Использующие гарнитуру хирурги видят проекцию кровеносных сосудов, костей и мышц, наложенную на ногу пациента, а также метки рентгенологов, благодаря чему могут точно предсказать объем предстоящей операции.

AR-гарнитура Microsoft помогает хирургам на операциях

Традиционно для оценки расположения кровеносных сосудов перед операцией использовались допплер-УЗИ, однако эта методика уступает HoloLens в надежности полученных данных. Кроме того, применение HoloLens позволяет сократить время операции, а значит, и время анестезии, что имеет значение не только для работы отделения, но и для самих пациентов – известно, что сокращение времени оперативного вмешательства и анестезии улучшает исход и снижает риск осложнений.

Доказав, что система HoloLens может эффективно применяться в работе некоторых отделений, разработчики Microsoft начали рассматривать другие способы приложения AR-гарнитуры — в частности, она уже используется в операциях по удалению колоректального рака.

Тем не менее существует ряд проблем, которые исследователи надеются решить до того, как система HoloLens начнет использоваться более широко. Разработчики пытаются сократить время обработки контрастных изображений, которое в настоящее время занимает около часа, достигнуть более высокого разрешения изображений и улучшить совместимость между HoloLens и программным обеспечением больниц. [4]

Применение в процессе сборки космического корабля

23 октября 2018 года стало известно, что инженеры Lockheed Martin, которые по заказу NASA собирают космический корабль Orion, используют в работе очки Microsoft Hololens. Гарнитура помогает визуализировать инструкции и конечный результат сборки, избавляя от необходимости изучать тысячи страниц бумажных руководств. Orion разрабатывается для доставки космонавтов и грузов на МКС, а в дальнейшем для совершения пилотируемых полетов на Луну и на Марс.

Благодаря Hololens инженеры могут видеть голограммы, смоделированные в специальной программе от Scope AR, которые накладываются на элементы, над которыми они работают. Каждая деталь модели снабжена комментарием о том, как ее следует устанавливать, а информация о том, как следует закручивать болты, выводится рядом с соответствующим отверстием. Также для каждого инженера определенным цветом подсвечиваются только те детали, которые соответствуют его специализации.

Ранее Microsoft и NASA запустили совместный проект Sidekick, в рамках которого космонавты МКС использовали гарнитуры Hololens в ремонте, при проведении экспериментов и для коммуникации с инженерами, находящимися на Земле [5] .

Выход Dynamics 365 Layout и Dynamics 365 Remote Assistant для HoloLens

В сентябре 2018 года компания Microsoft представила для Dynamics 365 новые приложения, использующие искусственный интеллект и смешанную реальность. С их помощью организации и предприятия могут в полной мере использовать возможности шлема смешанной реальности HoloLens для бизнес-задач. Подробнее здесь.

Применение для навигации слепых

В мае 2018 года в Калифорнийском технологическом институте (California Institute of Technology) продемонстрировали приложение, которое позволяет людям с утраченным зрением ориентироваться в пространстве, используя шлем виртуальной реальности Microsoft HoloLens.

Это устройство оснащено несколько камерами, в том числе камерой глубины, а также расположенными по периметру динамиками. Этим и способностью гарнитуры создавать объемную карту окружающей территории воспользовалась группа инженеров под руководством Маркуса Майстера (Markus Meister) из Калифорнийского технологического института.

Ими была разработана программа, позволяющая незрячим людям перемещаться в помещениях и «видеть» предметы (ступеньки, мебель и т. п.) вокруг при помощи аудионавигации.

Приложение может вести человека по заданному маршруту, сообщая ему о приближающихся поворотах и всевозможных препятствиях. Очки захватывают видеоизображение, извлекают важные данные об окружающей обстановке и передают эту информацию через слуховую дополненную реальность. Так, человек в шлеме Microsoft слышит такие подсказки, как «Вверх по лестнице», «Перила с обеих сторон», «Иди вправо» и т. п.

VR-навигатор был испытан на семи волонтерах, которым было предложено преодолеть пересеченный маршрут на двух этажах. По словам разработчиков, все участники эксперимента прошли путь с первого раза.

Маркус Майстер надеется, что после проведения исследования можно будет создать устройства, которыми смогут пользоваться люди с ослабленным зрением в публичных местах, в том числе в торговых центрах и отелях.

По данным Всемирной организации здравоохранения, к маю 2018 года около 253 млн человек по всему миру являются слабовидящими или полностью лишены зрения. Разработка Калифорнийского технологического института имеет большой потенциал, однако необходимо проделать еще много работы. Например, приложение не может строить маршруты, которые заранее не были проложены кем-то, и не реагирует на людей, которые могут находиться в том же помещении. [6]

Применение в сложной реконструктивной операции

В феврале 2018 года корпорация Microsoft сообщила о том, что медики из Имперского колледжа Лондона использовали устройство смешанной реальности HoloLens в реконструктивно-пластической хирургии. В рамках проведенного эксперимента 3D-снимок компьютерной томографии (КТ) загружался в гарнитуру и показывался врачу в виде голограммы во время операции. Подобная технология позволяет устанавливать точное местоположение кровеносных сосудов, костей и мышц пациента, что значительно упрощает проведение операций при переломах, а также позволяет снизить потенциальные риски, указали в Microsoft.

Хирурги использовали Microsoft HoloLens в сложной реконструктивной операции

Как известно, особенностью операций при переломе и пересадке тканей является необходимость наличия точной картины анатомических особенностей для успешного и максимально оперативного соединения сосудов и последующего восстановления кровотока оперируемой области. По словам врачей, наличие перед глазами наглядной схемы расположения сосудов, костей и мышц может стать ключевым фактором успеха операции, обычно требующей тщательной предварительной подготовки.

При проведении подобных вмешательств хирурги традиционно используют ручной ультразвуковой сканер для обнаружения кровеносных сосудов под кожей по движению кровотока. Однако этот процесс очень трудоемкий и не дает точных данных о местонахождении сосудов под кожей.

Демонстрация эксперимента, февраль 2017 года

Применение в обучении врачей принимать сложные роды

Как стало известно в январе 2018 года, в компании CAE создали симулятор LucinaAR, призванный помочь врачам отработать действия при разных вариантах родовых осложнений. Основу симулятора составляют детальные манекены матери и младенца. В комплект также входят очки смешанной реальности HoloLens, с помощью которых можно увидеть движение плода и оценить эффективность принимаемых мер.

В частности, симулятор предназначен для обучения врачей работе при плечевой дистоции — редком виде осложнения, оно может встречаться до одного раза на тысячу случаев. Если акушер оказывается знаком с техниками, которые помогают высвободить плечо младенца, это значительно повышает шансы успешных родов. Детальная симуляция в этом случае незаменима.

Канадская компания CAE, которая специализируется на производстве оборудования для обучения в авионике и медицине, в 2017 году продемонстрировала свой первый продукт с использованием HoloLens — проект VimedixAR, направленный на обучение студентов-медиков проведению ультразвуковых исследований.

2017

Применение в операции по удалению опухоли

Находясь в разных уголках мира, три выдающихся хирурга из Индии и Британии с помощью очков дополненной реальности Microsoft Hololens смогли виртуально присутствовать в одной операционной и совместно выполнить операцию по удалению опухоли. Об этом 23 октября 2017 года в своем блоге сообщила BMI Healthcare, крупнейшая в Великобритании группа частных клиник. [7]

AR-очки Microsoft помогли хирургам из разных стран провести операцию по удалению опухоли

Операция по поводу колоректального рака прошла на базе лондонской больницы The Royal London Hospital. Хирургу из Великобритании Шафи Ахмеду (Shafi Ahmed) ассистировали коллеги — профессор Шайлеш Шриханде (Shailesh Shrikhande), онкохирург из Tata Memorial Hospital в Мумбаи, крупнейшей онкологической клиники Индии, и Хитеш Патель, консультирующий колоректальный хирург из частной клиники BMI The London Independent Hospital. Еще одним виртуальным консультантом стал Иэн Нотт (Ian Nott) из США, соучредитель и технический директор компании Aetho, разработавшей AR-приложение Thrive для очков Microsoft Hololens.

Специалисты работали в AR-очках и могли не только слышать, но видеть друг друга в виде графических фигур-аватаров, как будто они действительно находились в одной операционной. Хирургам были доступны томографические снимки внутренних органов пациента, которые отображались в виде трехмерных голограмм, и врачи могли делать на них виртуальные пометки, обсуждая ход операции.

AR-приложение Thrive для очков Hololens разработала компания Aetho

Использование очков HoloLens в онкологической операции, 24 октября, 2017 год

Стоит отметить, что это уже не первый опыт Шафи Ахмеда по использованию инноваций в операционной. В 2014 году он с помощью VR-очков Google Glass организовал онлайн-трансляцию операции, которую увидели несколько тысяч студентов-медиков из 115 стран.

Microsoft HoloLens 2.0

По словам представителей Microsoft, второе поколение очков HoloLens, помимо «голографического» процессорного модуля (Holographic Processing Unit/HPU 2.0), будет также оснащаться сопроцессором искусственного интеллекта (AI coprocessor), благодаря которому станет возможна поддержка технологий глубоких нейронных сетей (Deep Neural Networks, DNN).

Исполнительный вице-президент подразделения по искусственному интеллекту и исследованиям Microsoft (Artificial Intelligence and Research Group) Гэри Шум (Harry Shum) в июле обнародовал первые подробности о втором поколении очков HoloLens, разработка которого продолжается. [9]

Фото: s9.tarhely.com

Среди множества дополнительных функций и возможностей HoloLens 2.0 наибольший интерес представляет сопроцессор искусственного интеллекта (AI coprocessor), который позволит устройству обзавестись поддержкой технологий глубоких нейронных сетей. Это означает, что HoloLens сможет «на лету» обрабатывать большие объемы данных, не прибегая к внешним облачным ресурсам.

Как уточнил Гэри Шум, ИИ-сопроцессор будет полностью перепрограммируемым и сможет работать в режиме реального времени, что, в свою очередь, позволит второму поколению HoloLens автономно и без задержек анализировать то, что видит и слышит пользователь. Кроме того, чип будет применяться разработчиками программной платформы HoloLens 2.0 для создания приложений смешанной реальности с активированной функцией ИИ.

Как и в случае с HoloLens первого поколения, особенностью аппаратной платформы очков HoloLens 2.0 также будет «голографический» процессорный модуль (Holographic Processing Unit/HPU 2.0), отвечающий за обработку данных со всех датчиков системы в реальном времени, включая датчик глубины реального времени собственной разработки Microsoft, камеры для отслеживания положения головы пользователя, сенсоры блока измерения инерции (IMU) и инфракрасную камеру.

Аппаратная часть

HoloLens 2.0 базируется на процессоре с производительностью не ниже Intel Mobile Core i5, за обработку графики отвечает встроенный графический модуль не слабее Intel HD Graphics 620 (GT2) с поддержкой API Direct3D 12. Устройство оснащается не менее 8 ГБ двухканальной памяти, интерфейсом HDMI 1.4 с поддержкой режима 2880×1440 с тактовой частотой 60 Гц или HDMI 2.0 с разрешением 2880×1440 и тактовой частотой 90 Гц, жестким диском емкостью от 100 ГБ, портом USB 3.0 или USB 3.1, а также Bluetooth 4.0.

Применение в качестве гида по музею японского храма

Microsoft HoloLens, (2016)

18 августа корпорация Microsoft объявила о том, что очки смешанной реальности HoloLens теперь используются в качестве гида по музею японского храма Кеннин-дзи. Древние экспонаты оживят с помощью визуальных эффектов, звуков и всплывающей информации. Таким образом, руководство храма Кеннин-дзи рассчитывает привлечь новых посетителей, а также усилить их впечатление от выставки.

Один из старейших дзэн-буддийских храмов Киото Кеннин-дзи будет использовать Microsoft HoloLens в качестве гида по музею

Один из первых артефактов, задействованных в проекте — 400-летняя расписная ширма с изображениями японских богов ветра и грома, Фудзин и Райдзин. В смешанной реальности она будет дополнена реалистичными звуками и 3D-элементами, разработанными группой Hakuhodo в партнерстве с Microsoft. Надев очки HoloLens, посетитель увидит под божествами тучи, из которых в землю ударяют молнии. Электронный «спектакль», сопровождающийся голосовой справкой об экспонате, будет длиться от трех до пяти минут.

Использование очков в сложной операции на позвоночнике

В феврале 2017 года стало известно об использовании очков виртуальной реальности Microsoft HoloLens в ходе сложной и рискованной операции на позвоночнике. Ее провели в Институте ортопедии и травматологии Жарагуа-ду-Сул (Instituto de Ortopedia e Traumatologia de Jaraguá do Sul) в штате Санта-Катарине (Бразилия).

Хирурги Энрике Ламперт (Henrique Lampert) и Бруно Гоббато (Bruno Gobbato) применили HoloLens в артродезе — операции создания искусственного анкилоза сустава, при которой достигается полная неподвижность сустава. Гаджет Microsoft помог врачам точно установить винты для фиксации позвоночника в тех местах, где движение причиняло боль, чтобы избежать повреждений нервов или разрушения импланта.

При помощи HoloLens хирурги визуализировали трехмерную модель позвоночника пациента с оптимальным расположением винтов, созданную на основе компьютерной томографии (КТ). Ученые отмечают, что такая визуализация очень сложна, поскольку она требует использования во время операции дорогостоящего КТ-оборудования, которым обладают далеко не все больницы. HoloLens является портативным прибором и стоит $3 тыс., что гораздо меньше по сравнению со специализированными медицинскими решениями.

Энрике Ламперт и Бруно Гоббато выразили надежду на то, что новые версии HoloLens смогут выводить объемную картинку с более высоким разрешением и частотой кадров. В то же время, по словам Ламперт и Гоббато, им понравилось «ограниченное» поле зрения устройства, поскольку оно позволяет одновременно следить за другими экранами, записями и элементами, не связанными с гарнитурой.

Врачи намерены разработать учебный курс, посвященный использованию реализованной в очках HoloLens голографической технологии в хирургических операциях. [10]

Версия для строителей

Microsoft совместно с американской компанией-производителей ПО TRMB и Кембриджским университетом разработала очки дополненной реальности HoloLens, предназначенные для использования в строительной отрасли, анонс ожидается в 2017 году.

Устройство создано на базе очков смешанной реальности Microsoft HoloLens и внешне напоминает VR-шлем. Очки будут работать на системе Windows 10.

Очки имеют встроенные датчики, которые считывают технические параметры построек и выявляют как ошибки, допущенные при проектировании и строительстве, так и приобретенные повреждения конструкции. Кроме того с помощью гаджета можно создать свою 3D-модель постройки — здания или объекта инфраструктуры, например, моста — и сохранить ее для последующей компьютерной обработки.

В 2016 году году в продажу вышли очки Hololens, позволяющие работать с интерьером и макетами зданий.

2016: Компьютер, выполненный в виде очков

Microsoft HoloLens — это надеваемая на голову гарнитура, обруч с тонированными линзами и волнообразной призматической структурой, расположенными перед глазами. Линзы преломляют и направляют в глаза пользователя изображения с микродисплеев, с дух сторон.

Очки оснащаются средствами регулировки, индивидуальной подгонки к физиологическим особенностям головы пользователя: межзрачковое расстояние и другие. Динамики расположены у нижнего края устройства, они обеспечивают подачу звуков виртуальной реальности и внешних шумов.

Microsoft HoloLens, (2016)

Разработка продукта началась в 2012 году. Компания Microsoft представила прототип в январе 2015 года. В марте 2016 года начались продажи версии для разработчиков в США и Канаде. В октябре 2016 года предзаказ устройства стал доступен в Великобритании, Ирландии, Франции, Германии, Австралии и Новой Зеландии.

Microsoft HoloLens, (2016)

В конструкции HoloLens использованы:

• 64-разрядный 4-ядерный процессорIntel Atom x5-Z8100 с частотой 1,04 ГГц.
• графический процессор
• голографический процессор, разработанный Microsoft специально для HoloLens.

Голографический процессор в корпусе 12 × 12 мм использует 28 цифровых сигнальных процессоров производства Tensilica для обработки и интеграции данных, поступающих от сенсоров, пространственного сканирования помещения, распознавания жестов, голоса и речи. SoC (system on chip) и голографический процессор делят 8 МБ встраиваемой памяти SRAM и по 1 ГБ LPDDR3.

Встроенное хранилище данных объёмом 64 ГБ, из которых ~10 ГБ — операционная система. Объём ОЗУ — 2 ГБ.

Как заявила компания-разработчик, Microsoft HoloLens — это компьютер, выполненный в виде очков. Картинка, выводимая на их стекло, накладывается на окружающий мир и встраивается в него посредством данных, получаемых от камер устройства. Управление в интерактивных приложениях выполняется жестами или голосом.

Портал Виртуальная реальность

• Виртуальная и дополненная реальность. Обзор TAdviser 2022
• Виртуальная реальность (VR, Virtual Reality)
• Виртуальная реальность в медицине
• Виртуальная реальность в вооруженных силах России
• Дополненная реальность (AR, Augmented Reality)
• Смешанная реальность
• Рынок устройств виртуальной и дополненной реальности
• Рынок промышленных VR/AR-решений в России
• Ассоциация дополненной и виртуальной реальности (AVRA)
• Центр прототипирования СПб
• VR-Консорциум
• Глобальная Ассоциация Виртуальной Реальности (GVRA)
• VirtualLink (стандарт подключения VR-устройств)
• Сквозные технологии цифровой экономики
• Виртуальная реальность в школьном образовании: пока остается много вопросов
• Как технологии AR Cloud меняют систему передачи и обработки информации

• Проекты Виртуальной реальности
• Ростех VR-тренажеры для саперов и пожарных
• HoloGroup
• Fibrum
• VRTech
• Magic Leap One Creator Edition|
• ALT: Antilatency tracker
• Prosense
• РайфЛайф (Cyball-VR)
• HTC Vive, HTC Vive Sync, HTC Vive Wave
• XRspace Manova
• Oculus
• Cyball-VR
• Samsung Gear VR
• Lenovo Explorer, Lenovo ThinkReality (AR/VR-платформа), Mirage VR S3 (VR-гарнитура)
• PTC Vuforia Studio Enterprise
• VE VR Concept Engine — VR Concept
• VE CAVE Виртуальное прототипирование
• VE miniCAVE и miniCADWall
• Arbyte CADStation WS ready for VR
• HP ENVY PhoenixHP Windows Mixed Reality Headset Professional EditionHP Reverb (VR-гарнитура)
• ПГНИУ: Интерактивная панорама для шлема виртуальной реальности
• Инлайн Груп Иксар (XR)
• General VR
• VIZERRA
• ZTE E2E VR Live
• Software AG ELISE
• DS Virtual Garage
• RTSreality
• DEUS
• Крок: VR-система для сферы проектирования
• HP Z VR Backpack
• VRCoin
• Nvidia Holodeck
• Varjo Technologies
• Nreal Light (AR-гарнитура)
• Logitech VR Ink (стилус для виртуальной реальности)
• Konica Minolta genARate
• Yandex Sloy
• Varwin Reality Management System
• Cyberverse (платформа смешанной реальности)
• Wireality (VR-устройство для передачи тактильных ощущений)
• VR-шлем с передачей ощущений на язык и губы

• Microsoft Pivot, Microsoft Mesh
• HololensHoloLens Emulator
• Google Glass
• Epson Moverio Pro BT Очки дополненной реальности
• Magic Leap One Creator Edition (очки дополненной реальности)
• Intel Vaunt Умные очки
• Barry (виртуальный помощник)