Управление системой Windows 10 с помощью глаз
Технология управления взглядом основана на отслеживании движений глаз для управления мышью, печати на экранной клавиатуре и общения с другими людьми с помощью преобразования текста в речь.
Чтобы включить управление взглядом, подключите поддерживаемое устройство для отслеживания движения глаз на компьютер и настройте его.
Затем выберите пункт Пуск → Параметры → Специальные возможности → Другие функции и разрешите Управление компьютером и набор текста с помощью устройства, отслеживающего движение глазных яблок.
- Управление взглядом находится в бета-версии и ваши отзывы могут помочь в его совершенствовании.
- Управление взглядом не поддерживается в Windows 10 S.
Управление панелью запуска
После включения управления взглядом на экране появится в панель запуска (лаунпад).
Панель запуска позволяет выполнять следующие действия:
- Управление курсором мыши для нажатия и открытия элементов на компьютере.
- Управление колесиком прокрутки мыши для перемещения по веб-странице или приложению.
- Ввод с помощью клавиатуры, управляемой взглядом.
- Использование функции преобразования текста в речь.
- Перемещение лаунчпад в верхнюю или нижнюю часть экрана.
- Быстрой доступ к меню «Пуск».
- Приостановка взглядом таких процессов, как просмотр фильма.
Чтобы выбрать одну из этих кнопок, смотрите на неё, пока она не будет активирован. Сосредоточьте зрение на части экрана и не отводите глаз от этой области в течение определенного времени. Это время называется временем удержания.
Управление мышью с помощью глаз
Чтобы управлять мышью, посмотрите на кнопку мыши в панели запуска. Затем направьте взгляд в место, куда вы хотите переместить курсор. Затем вы можете настроить кнопку и выбрать действие (нажатие левой/правой кнопкой, двойной щелчок или отмена).
Прокрутка веб-страниц и приложений
Для прокрутки веб-страниц и приложений удерживайте взгляд на кнопке прокрутки в панели запуска. Затем переведите взгляд в место на экране, в которое необходимо переместить курсор.
Вы можете задержать взгляд на кнопке вверх, вниз, влево или вправо для прокрутки в указанном направлении. Чем дольше вы смотрите на эти кнопки, тем быстрее прокрутка.
Чтобы отменить прокрутку, посмотрите на область вне экрана, чтобы вернуться к панели запуска.
Примечание: некоторые приложения, такие как Карты Windows, увеличивают и уменьшают масштаб при использовании кнопки прокрутки.
Ввод текста с помощью взгляда
Чтобы открыть клавиатуру, сосредоточьте зрение на кнопке клавиатуры в панели запуска, а затем задерживайте взгляд на символах, которые следует ввести.
Когда вы будете смотреть на буквы в верхней части клавиатуры будут появляться подсказки слов. Сосредоточьте зрение на нужном слове, чтобы его выбрать.
Чтобы вводить цифры и специальные символы, нажмите клавишу &123 . Чтобы ввести другие клавиши, выберите Fn .
Примечание: управление зрением поддерживает только английская (США) раскладка клавиатуры.
Печать текста с помощью плавного ввода
Плавный ввод позволяет быстрее писать слова. Плавный ввод позволяет формировать слова через сосредоточение зрения на первой и последней букве слова и проведении взгляда по буквам между ними. Подсказка слова появляется на последней букве. Если подсказка ошибочна, выберите другое слово.
Чтобы включить функцию плавного ввода, откройте настройки клавиатуры на экранной клавиатуре. Выберите клавишу Fn . Выберите клавишу Параметры и включите параметр Ввод текста с проведением. После включения плавного письма, вы можете включать и выключать эту опцию с помощью кнопки на клавиатуре.
Изменение параметров управления зрением
Управление взглядом предлагает различные параметры, которые можно настроить для ваших нужд. Чтобы изменить их, нажмите клавишу Fn на клавиатуре для управления взглядом, а затем выберите клавишу Настройки .
Вы можете изменить следующие параметры:
- Время сосредоточения взгляда при вводе. Вы можете установить время удержания взгляда для букв, цифр и символов.
- Общее время сосредоточения. Установите время удержания взгляда для функциональных клавиш, автозавершения слов и кнопок мыши.
- Плавный ввод. Включение и выключение плавного ввода.
- Курсор точки взгляда. Можно включить курсор, который показывает, на какое место на экране Вы смотрите.
Преобразование текста в речь при управлении взглядом
Преобразование текста в речь позволяет общаться с семьей и друзьями. Чтобы использовать эту функцию, сосредоточьте зрение на кнопке преобразования текста в речь на панели запуска. Затем с помощью клавиатуры введите фразу и выберите кнопку Воспроизведение , чтобы читать их вслух.
В верхней части экрана будут появляться короткие фразы, которые будут произноситься сразу же после их выбора. Чтобы изменить эти всплывающие фразы, сосредоточьте взгляд на кнопке редактирования слева от готовых предложений.
Чтобы изменить голос, который Windows использует для чтения вслух текста, выберите Пуск → Параметры → Время и язык → Речь и выберите голос в меню преобразования текста в речь.
Вопросы и ответы по управлению зрением
Какие устройства поддерживают управление взглядом?
Управление зрением поддерживает следующие устройства для отслеживания зрения:
Tobii
- Tobii Eye Tracker 4C
- Tobii EyeX
- Tobii Dynavox PCEye Plus
- Tobii Dynavox EyeMobile Mini
- Tobii Dynavox EyeMobile Plus
- Tobii Dynavox PCEye Mini
- Tobii Dynavox PCEye Explore
- Tobii Dynavox I-Series+
- Ноутбуки и мониторы, которые поддерживают отслеживание движения глаз
EyeTech
Со временем список будет расширяться.
Какие версии Windows работают с функцией управления взглядом?
Управление взглядом доступно начиная с обновления Windows 10 Fall Creators Update (версия 1709). Инструмент работает на всех компьютерах с операционной системой Windows 10, в том числе на планшетных устройствах.
Управление взглядом не поддерживается в Windows 10 S.
Какие языки поддерживают функцию управления взглядом?
Управление взглядом доступно не на всех рынках. Однако, клавиатура управления зрением работает только в раскладке «Английский США». Кроме того, часть текста в настройках управления зрением доступна только на английском языке.
Собирает ли Майкрософт данные о движениях глаз?
Нет, корпорация Майкрософт не собирает и не передает данных о движении глаз.
Управление взглядом при ношении очков или рядом с окном?
В зависимости от устройства для отслеживания глаз, функция управления зрением не может хорошо работать в сильно освещенных местах. Кроме того, технология отслеживания движения глаз работает по-разному в зависимости от цвета глаз, их размера и формы. Другие факторы могут также влиять на точность отслеживания глаз.
Чтобы лучше понять ограничения устройства отслеживания движения глазных яблок, прочитайте прилагаемую к нему документацию.
Управление компьютером при помощи глаз — практическая реализация
Статья написана, прежде всего, для людей, которым трудно или невозможно работать на компьютере общепринятым способом: нажимая кнопки на клавиатуре и двигая мышь. Постараюсь рассказать, как была сделана система, которая позволяет управлять компьютером при помощи одного только взгляда. Сразу оговорюсь, что приведённое решение может плохо работать, если человек носит астигматические очки/очки с линзами разных диоптрий.
Итак, есть только глаза и компьютер. Ничего другого использовать нельзя, — ни педалей, ни поворота головы, ни преобразования речи в текст.
2. Выбор из существующих решений
- Готовые устройства существуют, но стоят удивительных денег; на территории России их никто не продаёт, не обслуживает; программное обеспечение не предусматривает работу с русским языком (в частности, нет клавиатуры с кириллицей).
- Есть программное обеспечение с открытым исходным кодом, нацеленное на создание самодельных систем. Испытания со своей камерой не дают приемлемого качества работы.
- Есть возможность купить устройства для разработчиков (developer edition) по сходной цене в компаниях Tobii и TheEyeTribe. Но по схеме «утром — деньги, вечером — стулья», то есть предзаказ можно оформить осенью 2013 года, а получить устройство — в начале 2014 года.
Для справки, в разделе «5. Другие способы, которые я не попробовал» привожу описание разных устройств, о которых я набрал информацию.
Неожиданно в середине декабря компания Tobii меняет концепцию, переходит на разработку нового устройства EyeX, а своё старое устройство REX рассылает разработчикам по цене, в три раза ниже первоначальной и прямо сейчас, уверяя, что написанный для REX код будет работать и с EyeX.
Долго думать не стал, заказал REX, на основе которого и сделана система.
[исправление от 22.08.2017] В настоящий момент появились более современные айтрекеры, которые также могут быть использованы (см. ниже)
3. Детали реализации
3.1. Аппаратная часть
3.1.1. Вариант первый: Tobii Eye Tracker 4C
Наиболее актуальная на лето 2017 года модель недорогого айтрекера.
Рекомендую именно это устройство. По сравнению с моделью EyeX:
- продаётся в России (около 11 500 рублей)
- не требует порта USB 3.0, достаточно USB 2.0
- меньше светит в глаза красными лампочками
- меньше грузит процессор
- провод USB жёстко заделан в корпусе, а не вываливается из mini-USB разъёма
- железо поновее
3.1.2. Вариант второй: Tobii EyeX
Предыдущая модель от Tobii. Сейчас ещё можно купить, но только если с деньгами совсем туго. Приготовьтесь глазеть на красные лампочки. Тем не менее, очень достойный аппарат для своего времени.
Внимание! Для работы EyeX требуется USB3! Если в вашем компьютере нет портов USB3, устройство работать не будет!
Заказать устройство можно на сайте Tobii.
Доставляют UPS’ом из Швеции.
3.1.3. Другие поддерживаемые устройства
Tobii REX – больше не продаётся, но была очень хорошая машинка с двумя камерами.
TheEyeTribe – больше не продаётся. Так себе железка. Хотя и сделала прорыв в области малобюджетных айтрекеров, заставив Tobii существенно снизить цены.
GazePoint GP3 – весьма дорогой прибор, в то же время уступающий более дешёвым приборам от Tobii.
3.2 Программное обеспечение
В комплекте с устройствами идут только демонстрационные программы, призванные показать, на что способно устройство, и средства для написания своих собственных программ (SDK). Документация, которая идёт с SDK, можно сказать, никакая. Но есть примеры на С++ и С#, изучив которые, можно понять, как и что надо делать.
При попытке использовать программное обеспечение от других, более дорогих моделей Tobii, именуемое Tobii Gaze Interaction, ничего не получилось. Но понравилась идея, там реализованная.
Итак, программное обеспечение пришлось писать самому.
Была написана программа, которая позволяет имитировать глазами действия мышью: левый, правый, двойной щелчок, drag-and-drop, колесо прокрутки, а также набирать текст глазами на виртуальной клавиатуре.
Лучше, впрочем, один раз увидеть. Демонстрацию работы программы приглашаю посмотреть здесь.
Программа доступна для скачивания (в том числе в исходных кодах) на github: здесь.
Для скачивания нужно нажимать кнопку «RAW» — так принято на github.
Подробная инструкция по установке программы приведена вот здесь. Пусть вас не смущает, что там описывается только работа в режиме таблицы.
Программа пригодилась нескольким людям из разных стран, больным боковым амиотрофическим склерозом (БАС). Вот в этом клипе фонда «Милосердие» рассказана одна из таких историй.
4. Проблема работы в очках
Используемое устройство, так же как и большинство других аналогичных, использует для определения направления взгляда блики на зрачках, которые получаются от инфракрасной подсветки. К сожалению, очки добавляют паразитные блики.
Несмотря на то, что при настройке устройства под конкретного пользователя есть возможность указать, что человек носит очки, это не слишком помогает, устройство постоянно теряет положение зрачков.
Буду благодарен за проверенные рекомендации по устранению бликов на линзах очков в инфракрасном диапазоне.
5. Другие способы, которые я не попробовал
[устаревшая информация, это было актуально в 2013-2014 годах]
Сразу оговорюсь, что устройства используются не только для облегчения работы на компьютере для людей с ограниченными возможностями, но и, например, для исследования того, каким частям веб-страниц пользователи уделяют наибольшее внимание. Поэтому иногда за такие системы заламывают чудовищные деньги. Впрочем, и за устройства для инвалидов часто заламывают удивительные деньги.
5.1. Продукты коммерческих компаний
SMI — senso-motoric instruments
Их устройства можно посмотреть вот здесь.
Устройства можно купить в России (не буду давать ссылку), но когда я поинтересовался ценой самого дешёвого, мне озвучили цену в один миллион двести тысяч рублей. До свидания, SMI.
Tobii
Фирма давно выпускает продукты для людей с ограниченными возможностями. Даже Intel инвестировала в них несколько миллионов долларов. У них был альянс с фирмой Dell, когда планшет поставлялся с железкой для отслеживания глаз, причём техническую поддержку оказывала Dell.
На русском можно прочитать здесь.
На английском — на их сайте.
Много всего про эти устройства можно посмотреть на youtube.
Совсем недавно цены начинались с $4000. В настоящее время (январь 2014) цена на PCEye упала до $2000, но софт не русифицирован (Tobii Gaze Interaction).
EyeTech
Тоже давно работают в этой сфере, кажется с конца 90-х. Их устройства более аляповатые, но очень понравился софт, демонстрацию которого можно посмотреть вот здесь.
В то же время есть клип, на котором человек моргает глазами для нажатия на кнопку мыши — это не понравилось, обморгаешься. У Tobii такого не видел.
Есть три устройства, различающихся только размером, для разных мониторов, от ноутбука до 30 дюймов. Цена, которую мне удалось найти — $8700. Господа не скромничают.
Но то, как работает их софт, приметим.
DynaVox
Специализированное устройство, нельзя пользоваться стандартными компьютерными программами.
EyeGaze Edge (от LC Technologies)
Монстроподобное устройство, включающее в себя камеру и компьютер, который обрабатывает её данные. Можно подсоединить весь этот агрегат к своему компьютеру (в том числе беспроводно), тогда он заменит мышь и клавиатуру, что позволит работать с обычными программами. Опять 8-10 тысяч долларов.
Вроде бы есть набор «EyeGaze Edge Pack», где компьютер вы используете свой, просто добиваете в него их камеру и софт, но цены на него не нашёл нигде.
Это основные игроки на рынке. Одна из маленьких новых амбициозных контор, которая сама не смогла довести до ума свой продукт, тем не менее не поленилась раскритиковать лидеров и привела вот такую табличку, из которой понятно, что сами они самые крутые (хотя продукта ещё нет, а демо-ролик показывает, что позиция зрачка всё время скачет). Но сравнение остальных весьма показательно. Хотя оборудование там приведено часто уже устаревшее, но можно оценить порядок цен и кто продвинулся дальше.
5.2. Проекты с открытым исходным кодом
К сожалению, ни одна из упомянутых ниже программ не дала достаточно точного определения направления взгляда на имеющемся оборудовании (видеокамера PC104E с режимом ночной съёмки и отдельно расположенная инфракрасная светодиодная подсветка). Тем не менее, возможно у кого-то заработает лучше.
GazeTracker
Рекомендую начать с того, что посмотреть клип на этой странице.
Проект развивался в университете ИТ Копенгагена. Развивался где-то до конца 2010 года, после чего впал в апатию. Тем не менее многими уважаем за свою открытость, некоммерциализованность и определённые достижения. Изначально был нацелен на возможность работы с оборудованием типа «сделай сам» (DIY — do it yourself). Многие самодельщики использовали этот софт со своими железками, часто обходившимися им в 20-30 долларов. См., например, вот это.
Текущая версия 2.0 beta, до этого был ряд стабильных версий, например 1.6, 1.8.
В инструкции по использованию упоминается, что сами разработчики использовали камеру Sony HDR-HC5 с одной или двумя лампами подсветки от той же Sony, модель HVL-IRM.
На сайте [относительно] живой форум, можно пообщаться если не с разработчиками, то с апологетами.
Haytham
Университет ИТ в городе Копенгагене не забросил работы после того, как команда GazeTracker свалила. Теперь у них есть куда более красивая система:
Это не одна программа, а сервер, раздающий положение зрачка клиентам по сети. Один из клиентов — это программа Haytham_Monitor, которая управляет курсором мыши. Если бы хорошо заработала на моём железе, не было бы нужды ничего делать. Удачи ребятам.
- Tobii
- REX
- ограниченные возможности
- управление глазами
- Eye Gaze Tracking
- Assisitive Technology
В ChromeOS появится управление глазами вместо клавиатуры и мыши
Компания добавит в ChromeOS функцию Face Tracking для отслеживания лица пользователя. Благодаря технологии можно управлять хромбуком при помощи движения глаз.
На Chromebook уже существует инструмент специальных возможностей ChromeVox, который позволяет помечать каждый элемент на экране номером. Произнеся этот номер, пользователь может выбрать его так, как если бы щелкнул по нему мышью. Если компания создаст подобную функцию для глаз, это может существенно повысить привлекательность Chromebook для клиентов.
Управление взглядом и церебральный паралич
Что можно сказать о человеке, глядя ему в глаза? Все, если наблюдатель – камера айтрекера. Для людей с проблемами мобильности, связанными с церебральным параличом, глаза могут говорить, печатать, искать информацию в Интернете и даже управлять телевизором, домашними светильниками и газонными разбрызгивателями.
Церебральный паралич – болезнь, которая может развиться до, во время и сразу после рождения. Повреждения определенных областей мозга вызывают нарушения мышечного контроля от легкой до тяжелой степени. Ходить, говорить и держать вещи бывает невозможно.
Технология айтрекинг – способ, с помощью которого люди с церебральным параличом могут управлять коммуникационным устройством или компьютером посредством только своего взгляда. Это позволяет им говорить, читать, писать и взаимодействовать с окружающим миром. С помощью технологии айтрекинг пользователи работают на компьютере, направляя курсор глазами. Посмотрите на иконку на мониторе, задержите взгляд, моргните – и вы только что сказали компьютеру или устройству, что нужно делать.
Кому может помочь технология отслеживания направления взгляда?
Люди, имеющие проблемы в пользовании компьютером или в общении обычными способами, смогут оценить систему для управления взглядом.
Человека, пользующегося данной технологией, будет сопровождать группа заинтересованных людей, обычно состоящей из членов семьи, врачей и учителей, а также логопеды, эрготерапевты, инженеры по реабилитации, физиотерапевты или социальные работники.
Они будут оценивать основные факторы, включая:
- Способность постоянно фокусировать взгляд на одной точке
- Остроту зрения, достаточную для того, чтобы четко видеть изображения на мониторе компьютера
- Способность оставаться в нужном положении перед устройством
- Способность проводить взглядом по монитору туда и обратно
Как действует управление взглядом?
Маломощные светодиоды светят невидимым инфракрасным светом в глаза пользователя. Одни световые отблески отражаются от поверхности глаза, в то время как другие отблески отражаются от сетчатки в задней части глаза. Камера в айтрекере записывает изображения глаз пользователя и световых отражений. Затем система может прикрепить движение глаза к конкретной точке на мониторе компьютера.
Айтрекеры особенно полезны для людей с церебральным параличом, так как они могут отслеживать положение взгляда данной категории людей, несмотря на интенсивные движения головой. Здесь вы можете узнать больше о взаимодействии взгляда.
Открытие новых миров
Использование технологии отслеживания направления взгляда может открывать новые миры для людей с церебральным параличом. Она позволяет пользователям общаться с окружающими людьми, управляя программой речевого синтеза. Делая компьютер доступным, эта технология облегчает коммуникацию и связь с окружающими людьми. Будучи связанной с умными домашними устройствами, она позволяет определенную степень независимости, которая может быть невообразимой. Она может помочь пользователям улучшить свое образование. Она может позволить им наслаждаться компьютерными играми и выражать свое творчество в изобразительных и музыкальных программах.
Технология отслеживания направления взгляда поможет полностью разблокировать потенциал людей, страдающих от церебрального паралича.