BERT обновление Google. Как оптимизировать сайт под BERT.
BERT — это нейронная сеть, созданная Google, доказавшая свои преимущества в ряде задач. С помощью BERT можно создавать программы для обработки естественного языка: анализировать текст, отвечать на произвольные вопросы, создавать переводчики и т.д. В октябре 2019 года компания добавила обученную нейронную сеть BERT в основное ядро алгоритмов Google для английского языка, а в декабре — еще для сотни языков, включая русский. Новое обновление, которое сам Google считает прорывом, получило ожидаемое название BERT. Обновление, по утверждению компании, затронуло 10% всех поисковых запросов.
Содержание:
- BERT — нейронная сеть от Google
- История развития BERT
- Как работает нейросеть BERT
- BERT — новое обновление ядра алгоритмов Google
- Как найти запросы, на которые повлиял BERT
- Как оптимизировать сайт под BERT
1. BERT — нейронная сеть от Google
1.1. История развития BERT
Научить машины разбирать и интерпретировать слова, как это делает человек, является интересной и сложнейшей задачей. Над ней с переменным успехом бьются уже не один десяток лет. Ведь в естественном языке крайне много разнообразных нюансов, разобраться в которых с трудом могут даже люди.
В 2018 году состоялся прорыв в NLP (Natural Language Processing). Один за другим выходят ULMFiT, ELMO, OpenAl Transformer, Google BERT. При этом внедрение transfer learning (возможность использовать предварительно обученные модели к практическим данным) позволило активно внедрять NLP для использования в широчайшем круге задач и процессов.
Итак, в 2018 году Google анонсирует BERT (Bidirectional Encoder Representations from Transformers)
BERT использует Transfer learning (трансферное обучение), что позволяет использовать его основную языковую модель, дополнительно обучив её под свои конкретные задачи, самым разнообразным компаниям.
Так, Яндекс, с 2018 года использует BERT в своем переводчике, а с 2019 года — в формировании новостной ленты для оценки «качества» заголовков статей. Алгоритм позволяет находить не только «неправильные» с точки зрения правописания заголовки, но и устаревшие новости. Перед этим Яндекс обучил BERT поиску опечаток и рассогласований слов с помощью собственных асессоров из Толоки.
В августе 2019 года вышла улучшенная версия BERT под именем RoBERTa, где исследователи из Facebook и Вашингтонского университета увеличили количество данных для претренинга, длину входящих последовательностей и время обучения. При этом они удалили задачу по «предсказанию следующего предложения», которая изначально была в BERT и отрицательно влияла на результаты и усложнили задачу с маскировкой отдельных слов.
На данный момент существует еще одна новая версия BERT — ALBERT (аббревиатура от «lite BERT», то есть, «облегчённый BERT»), c немного измененной базовой структурой нейросети и показывающая лучшие результаты в тестах GLUE.1.2. Как работает нейросеть BERT
Основная проблема современных задач обработки естественного языка (NLP) — найти достаточно размеченных людьми примеров, чтобы обучить нейросеть. Если нужен рост качества, то обучающая выборка должна быть очень большой — миллионы и миллиарды примеров. При этом задач в NLP много и все они разные. Собрать данные в подобных объёмах под каждую задачу долго, дорого, а зачастую и невозможно.
Но есть вариант обойти эту проблему — с помощью обучения в два этапа. Сначала долго и дорого на огромном корпусе в миллиарды слов нейросеть учат структуре языка (это pre-training). Потом сеть быстро и дёшево подкручивают под конкретную задачу — например, для разделения отзывов на плохие и хорошие (это fine-tuning).
До 2018 года одним из основных инструментов претренинга было нечто вроде словаря. Этот словарь использовал векторное представление слов (word embedding), описывавших связи между словами в виде цифр так, чтобы нейросети могли воспринимать эту информацию, как входные данные. Однако прошедшая претренинг на векторном словаре нейросеть всё равно оставалась слепой к смыслу слов на уровне предложений. С её точки зрения, предложения «человек укусил собаку» и «собака укусила человека» идентичны.
Улучшенный метод использует претренинг для обеспечения нейросети более богатыми правилами – не только словарём, но и синтаксисом с контекстом – перед тем, как обучать её на выполнение определённой задачи по NLP. Вместо претренинга только одного, первого слоя сети при помощи векторного представления слов, исследователи начали обучать нейросети целиком на более общей задаче под названием языковое моделирование. Такие языковые модели с глубоким претренингом можно довольно эффективно создавать. Исследователи просто скармливают своим нейросетям огромные объёмы написанного текста из свободных ресурсов вроде Википедии – миллиарды слов, расставленных в грамматически корректные предложения – и дают сети возможность предсказывать следующее слово самостоятельно. Более того, такие предварительно обученные нейросети могут применять свои репрезентации языка для обучения более узкой задаче, не связанной с предсказанием слов – к процессу тонкой настройки.
На этой идее и основана технология BERT (Bidirectional Encoder Representations from Transformers).
По сути, BERT состоит из трех важнейших составляющих. Во-первых — это прошедшая претренинг языковая модель. Во-вторых – возможность решить, какие из особенностей предложения являются наиболее важными.
Transformer — это такая архитектура нейросети, которая позволяет учитывать весь контекст сразу. Непоследовательная природа трансформера представляет предложения более выразительно (древовидно). Каждый слой нейросети устанавливает много параллельных связей между определёнными словами, игнорируя остальные.
Такие древовидные репрезентации предложений дают трансформерам возможность моделировать контекстный смысл, а также эффективно изучать связи между словами, стоящими далеко друг от друга в сложных предложениях.
В-третьих, в отличие от других прошедших претренинг языковых моделей, созданных посредством обработки нейросетями терабайтов текста, читаемого слева направо, модель BERT читает и справа налево, и одновременно слева направо, и обучается предсказывать, какие слова случайным образом были исключены из предложений.
К примеру, BERT может принять на вход предложение вида «Джордж буш […] в Коннектикуте в 1946 году», и предсказать, какое именно слово скрыто в середине предложения (в данном случае, «родился»), обработав текст в обоих направлениях. Эта двунаправленность заставляет нейросеть извлечь как можно больше информации из любого подмножества слов.
Используемый BERT претренинг, похожий на игру в слова – языковое моделирование с маскированием – вещь не новая. Его десятилетиями использовали для оценки понимания языка людьми. Для Google он обеспечил практический способ использования двунаправленности в нейросетях вместо односторонних методов претренинга, доминировавших в этой области до этого.
Каждый из трёх этих составляющих – глубокая модель языка с претренингом, внимание и двунаправленность – существовали до BERT по отдельности. Но до тех пор, пока Google не выпустил свой алгоритм в конце 2018 года, никто не скомбинировал их таким успешным образом.
Более подробно и понятно узнать, что такое BERT, как работают NLP, можно в статье «BERT — state-of-the-art языковая модель для 104 языков. Туториал по запуску BERT локально и на Google Colab». Там же есть ссылка на готовую сборку (из статьи), где вы можете «поиграться» с алгоритмом, оценив как он может предсказывать слова и проверять сочетаемость слов.
2.Внедрение BERT в основной алгоритм поиска Google
2.1. BERT — новое обновление ядра алгоритмов Google
В октябре 2019 года Google «выкатил» обновление ядра алгоритмов поиска под названием BERT. Отныне, одноименная нейросеть будет работать в качестве составляющего ядра алгоритмов поиска. По заверению Google — это крупнейшее обновление ядра со времен RankBrain.
Многие вебмастера не заметили скачков трафика после внедрения нового алгоритма, хотя Google заверяет, что оно коснулось 10% всех поисковых запросов. Чтобы понять, почему вебмастера не ощутили значительных колебаний трафика, еще раз рассмотрим как работает BERT и на какие запросы он влияет.
BERT хорошо работает на длинных запросах. Он позволяет предсказывать пропущенные в запросе слова, лучше «понимает» саму структуру запроса и выдает более релевантные результаты в органической выдаче и в «расширенных фрагментах». Таким образом, BERT лучше понимает НЧ и микро-НЧ запросы, длинный хвост запросов. В частности это могут подтвердить дорвейщики, которые ощутили резкие колебания трафика и некоторые вебмастера, плотно работающие с 3-5 словниками, что характерно для продуктовых партнерок, например работающих под Amazon.
Типичный вебмастер, в основном, сфокусирован на СЧ или даже ВЧ запросы, которые достаточно коротки (1-3 слово), поэтому они просто не замечают колебания, которое оказал BERT на выдачу.
Существенное влияние нейросеть окажет на голосовые запросы. Они, как правило, гораздо длинней и теперь ядро поиска Google сможет более точно и полно ответить на запрос.
Так же, необходимо понимать, что BERT это не изолированный фактор ранжирования, нейросеть напрямую не влияет на ранжирование в органике. Google научился немного лучше распознавать запрос, но непосредственно на ранжирование влияют сотни факторов и тысячи их комбинаций.
Однако, если вы не заметили значительных флуктуаций в выдаче, это не означает, что их не было. Вы просто их не искали.
2.2.Как найти запросы, на которые повлиял BERT
Методика поиска таких запросов стандартна и я её описывал неоднократно за последние несколько лет, например в статье про YMYL в разделе «Как найти некачественный контент на сайте».
Для поиска запросов, на которые оказал влияние BERT можно использовать Google Analytics. Даты релиза алгоритма нам известны — 21 октября 2019 для англоязычных и 9 декабря для русскоязычных сайтов. Отсчитываем 4 недели после даты релиза (можно и больше) и сравниваем его с предыдущим периодом.
Используем каналы (органическую выдачу Google). И строим разрез по ключевым словам.
Нам интересны именно длинные запросы (НЧ) и те, которые существовали в предыдущем периоде, а в новом периоде (после внедрения алгоритма) не имеют показов. Так мы найдем утерянные запросы.
Отсортировав результат по отсутствующим в предыдущем периоде и появившемся в новом (после релиза ядра алгоритмов), мы увидим, какие запросы появились, как теперь Google осмысляет контент.
Особым эстетам, все то же самое можно проделать в Google Search Console. Выбираем «Эффективность» — «Результаты поиска» (1) и устанавливаем диапазоны дат (2).
Мы должны получить четкое представление о запросах, у которых было 0 показов до BERT, а теперь этот запрос ранжируется (показывается в выдаче) или о тех запросах, которые перестали показываться после обновления BERT.
Здесь, мы выбираем закладку «Сравнить» (1), выбираем «Пользовательский» диапазон дат (2).
Так как сайт русскоязычный, то дата обновления ядра — 9 декабря 2019 года. Выставляем 4 недели до этой даты (3) и 4 недели после этой даты (4).
Помните, что это обновление в значительной степени затронуло семантические запросы с длинным хвостом, которые, по своей сути, являются микро-НЧ с минимальным объемом поиска. Поэтому вам необходимо выбрать самые широкие диапазоны дат, которые вы сможете. Обратите внимание, чтобы в этот диапазон не попадали значительные обновления контента на сайте, которые могут смазать картину.
Получаем результаты по выбранным диапазонам дат. Во вкладке «Запросы» (1) мы видим непосредственно список запросов (2). Мы их можем отфильтровать, например по «пропавшим» запросам (3) или выгрузить для анализа в Excel (4).
Не забываем отсортировать или отфильтровать запросы по показам равным 0 в одном из периодах.
Если не было значительных обновлений контента сайта за этот период, то с большой долей уверенности можно сказать, что на эти запросы оказал влияние BERT — обновление ядра алгоритмов Google.
2.3. Как оптимизировать сайт под BERT
Сотрудники Google утверждают, что оптимизация под BERT — невозможна.
Так, Дэнни Салливан высказался, что «нет ничего, что можно оптимизировать для BERT». В январе 2019 года Джон Мюллер рассказал чуть объемней о б оптимизации сайтов под алгоритм BERT.
Смотрите с тайм кода 18:32.
Мюллер сообщил, что с помощью BERT Google пытается лучше понять текст.
«С одной стороны, запуск BERT дает нам лучшее понимание вопросов и запросов, которые задают пользователи. С другой стороны, алгоритм позволяет нам лучше понять текст на странице».
«Запросы не являются чем-то, на что вы можете повлиять в плане SEO», – сообщил Мюллер.
Затем он дал несколько советов, как работать с текстовым контентом: «Текст на странице – это то, на что вы можете повлиять. Наша рекомендация по сути сводится к следующему: пишите естественно. Большинство алгоритмов пытаются понять естественный текст, а также понять, каким темам посвящена эта страница, чтобы найти наилучшее соответствие запросу».
«Если есть что-то, что вы можете сделать для оптимизации под алгоритм BERT, так это убедиться, что на ваших страницах естественный текст… Вместо того, чтобы использовать как можно больше ключевых слов, пишите естественно».
Не густо, не правда-ли? И как всегда, сотрудники Google лукавят, что ничего сделать нельзя. Но необходимо сделать два важных уточнения.
Во-первых, необходимо помнить, что результаты работы BERT призваны повысить эффективность поиска прежде всего по «непопулярным» низкочастотным запросам и используется для формирования «нулевой» выдачи — когда Google не может найти релевантные сайты и выводит наиболее близкие к запросу результаты.
Во-вторых, BERT затрагивает, в основном, информационные запросы, и в меньшей мере транзакционные и навигационные запросы.
Google приводит примером результаты выдачи по запросу «Может ли преподаватель выгнать студента с занятия?». Старый алгоритм давал ответ на вопрос «Имеет ли преподаватель право не пустить студента на пару?», что имеет абсолютно иной смысл. Сейчас BERT обрабатывает фразу пользователя более правильно, помещая на первую строку самый подходящий контент. Еще больше примеров есть в статье про BERT от Google.
Итак, чтобы «оптимизировать» под алгоритм BERT, рекомендую изучить ваш набор данных по приобретенным и потерянным ключевым словам и провести традиционную оптимизацию контента, чтобы улучшить или восстановить позиции запросов.
Сначала вам нужно определить ключевые слова, которые вы потеряли после обновления BERT и заняться редакцией контента для их восстановления. При этом вовсе не нужно добавлять в контент эти поисковые запросы. Иногда достаточно добавить несколько предлогов и перефразировать пару предложений.
В случае «пропажи» запросов, скорее всего страница перестала ранжироваться из-за «смещения акцентов» в смысле контента, совсем как в примере про преподавателя и студента. Обновление BERT помогает Google лучше понимать семантику (значение слов и фраз). Это означает, что если вы ранее ранжировались по фразе с длинным хвостом, но потеряли позиции после внедрения BERT, то, вероятно, страница соответствовала ключевым словам в запросе, но на самом деле не соответствовала цели поиска (интенту). Необходимо добавить смысла тем фразам и акцентировать внимание на тех словах, которые соответствуют интенту пользователя.
Улучшайте ваш контент и для тех ключей, которые появились после обновления BERT. Изучите, что именно пишут конкуренты и как они расставляют акценты в своих текстах. Используйте идеи конкурентов, чтобы сделать свой контент более «ценным», чем у них. Необходимо отвечать на конкретные запросы в своем контенте лучше, чем конкуренты.
Если на сайте есть инфографика, слайды, видео или аудио — записи, то сделайте их текстовую расшифровку.
Интересное наблюдение сделал Manish Dudharejia в статье на SearchEngineJournal.com. Он отметил, что для BERT объем контента не играет значительной роли. Прекрасно ранжируется контент размером в несколько сот символов, однако при условии, что он отвечает на заданный вопрос пользователя. Действительно, НЧ запросы — крайне конкретны. Они подразумевают четкий и лаконичный ответ, в отличии от многих СЧ или ВЧ запросов. Именно поэтому точность ответа становиться более важным фактором, чем объем контента или точное вхождение ключа в контент.
Хороший рост показали информационные сайты, построенные по SILO-структуре. Здесь изолированные кластеры запросов более точно давали ответы на НЧ запросы за счет наличия значительного числа «поддерживающих» страниц.
Заключение
Внедрение нейросети BERT в ядро алгоритмов поиска Google — очередной шаг корпорации к улучшению понимания запросов пользователей, заданных на естественном языке.
Нейросеть будет развиваться на всех уровнях. Уверен, что она пройдет не только post но pre- тренинг, будет постоянно обучаться, в том числе и силами асессоров, контролирующих качество органической выдачи. Все это скажется в дальнейшем на стратегиях продвижения сайтов и способах манипуляции ранжирующими факторами.
И обратите внимание, что русскоязычная языковая модель, по сравнению с англоязычной, на порядок хуже прошла пре-тренинг и показывает гораздо худшие результаты. Это означает, что основные обновления как языковой модели, так и обученной нейросети BERT еще впереди.
Готовьтесь и читайте правильную литературу, чтобы понимать, как нужно оптимизировать свой сайт.
Библиография
- Гаскаров Т. Как Яндекс научил искусственный интеллект находить ошибки в новостях / Т. Гаскаров – Текст: электронный // Habr: Интернет-портал. – URL: https://habr.com/ru/company/yandex/blog/479662/ (дата обращения: 15.01.2020)
- Голованов В. Машины уже опережают людей в тестах на чтение; но понимают ли они прочитанное? / В. Голованов – Текст: электронный // Habr: Интернет-портал. – URL: https://habr.com/ru/post/479446/ (дата обращения: 15.01.2020)
- DesertFlow. BERT — state-of-the-art языковая модель для 104 языков. Туториал по запуску BERT локально и на Google Colab / DesertFlow – Текст: электронный // Habr: Интернет-портал. – URL: https://habr.com/ru/post/436878/ (дата обращения: 16.01.2020)
- Nayak P. Understanding searches better than ever before / Pandu Nayak – Текст: электронный // Google Blog: Интернет-портал. – URL: https://blog.google/products/search/search-language-understanding-bert (дата обращения: 14.01.2020)
- Dudharejia M. How Will Google BERT Impact Your Content Strategy? / Manish Dudharejia — Текст: электронный // Search Engine Journal: Интернет-портал. – URL: https://www.searchenginejournal.com/google-bert-content-strategy/336377 (дата обращения: 14.01.2020)
- Devlin J. Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing //Jacob Devlin, Ming-Wei Chang — Текст: электронный // Google AI Blog: Интернет-портал. – URL: https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html (дата обращения: 14.01.2020)
16
Янв
2020
DrMax. Занимаюсь аудитами, оценкой качества YMYL проектов и SEO сайтов более 20 лет. В настоящее время провожу аудиты и реанимирую трафик сайтов, восстанавливаю позиции в органической выдаче сайтов, помогаю снять алгоритмические и ручные штрафы Google. В портфолио — продвижение несколько десятков проектов как региональных частников, так и крупнейших мировых компаний. Владелец SEO блога Drmax.su. Автор 22 книг по продвижению и аудиту сайтов.
Посмотрите еще
- Как улучшить YMYL страницы в 2022 году
- Итоги обновления алгоритма Google Page Experience
- Изменение заголовка в органической выдаче Google
Комментарии
Виктор 16 января, 2020
Те сайты которые нормально оптимизированы и продвигаются, просадок не заметят, скорее наоборот, увидят хороший плюс.
А вот те, кто «спамит», тем будет дурно))) ответНазар 18 января, 2020
Спасибо за статью. А есть инфа на какие языки еще не внедрен BERT? К примеру: белорусский, украинский, казахстанский и тд. ответDrMax 18 января, 2020
Назар, спасибо. На данный момент BERT выпущен для 104 языков. Я думаю всяко и блоруский и казахтанский там есть. Но! Претренинг для моделей этих языкоа на порядок хуже а то и на два, чем для буржуинского английского. ответВебрекламист 27 января, 2020
Представители Гугла или сильно преувеличивают возможности алгоритма, или просто не знакомы с примерами типа «Казнить нельзя помиловать». Никакой алгоритм, Берт или другой, не справятся с этим однозначно правильно. У русского языка и других родственных, смысл слов не так однозначно просто выражается, как в английском. Эзопов язык, иронию и сарказм тоже никто не отменял. Не думаю, что какой-нибудь ИИ в ближайшем будущем с этим справится. �� ответDrMax 28 января, 2020
1. Даже Яндекс, лет 10 назад, выпускал обновление, которое помогало ему разбирать подобные неопределенности. 2 Эзопов язык и сарказм? Ну если пользователь, вводя запрос поиска пользуется ими — то у него явно не все в порядке с головой. Что он хочет (или не хочет) найти? Зачем он тратит свое время? BERT обрабатывает именно запросы для поисковой машины. ответBert reader device что это
3 ; SERVICE_DEMAND_START (0:SERVICE_BOOT_START, 1:SERVICE_SYSTEM_START, 2:SERVICE_AUTO_START, 3:SERVICE_DEMAND_START, 4:SERVICE_DISABLED)
ErrorControl
1 ; SERVICE_ERROR_NORMAL
ServiceBinary
%12%\bertreader.sys
[bertreader_Device.NT.CoInstallers]
bertreader_Device_CoInstaller_AddReg
bertreader_Device_CoInstaller_CopyFiles
[bertreader_Device_CoInstaller_AddReg]
[bertreader_Device_CoInstaller_CopyFiles]
[bertreader_Device.NT.Wdf]
KmdfService
bertreader, bertreader_wdfsect
[bertreader_wdfsect]
KmdfLibraryVersion
SPSVCINST_ASSOCSERVICE
0x00000002
ManufacturerName
«Intel Corporation»
«BERT Reader»
SDDL_DEVOBJ_SYS_ALL_ADM_RX
«D:P(A;;GA;;;SY)(A;;GRGX;;;BA)»
«Boot Error Record Reader Driver Installation Disk»
bertreader.DeviceDesc
«BERT Reader Device»
bertreader.SVCDESC
«BERT Reader Service»
Use the search function to find the driver you needMany hardware names are usually named after the chip model, and each chip model has its own dedicated driver, so as long as you know the chip model used by the hardware, you can find the right driver. For example, if your graphics card is named: «AMD Radeon RX 580», while actually the core chip model used is: «Radeon RX 580», then enter «Radeon RX 580» or «RX 580» to find the driver.
If you have a laptop or an all-in-one PC, you can also use the product name to search, and then go to the download page which has all the drivers for this machine (including: graphics card, network card, sound card, etc.). For example, if your laptop product name is: «Dell A6-9220e Inspiron Flagship», then type «Dell A6-9220e» to find all the drivers for this laptop.
1. Enter a keyword in the input box and click the «Search» button
2. In the query results, find the driver file you need, and click the download button
Driver Finder:
• Can’t find the required driver files?
• Don’t know how to find driver files?
• Unable to download driver files due to unstable network?
You can try using this driver file finder. The method of use is very simple. The program will automatically list all the driver files available for your current system. You can install drivers for devices that do not have drivers installed, and you can also upgrade drivers to the latest driver version for devices that have already installed drivers. Click here to download the driver finder.
Other Drivers
If you have any questions, please leave a message. We will seriously reply to every question.
Устранение проблем с неизвестными устройствами в диспетчере устройств Windows ХР
Версия данной статьи для Microsoft Windows 2000: 244601.
ВВЕДЕНИЕ
Диспетчер устройств выводит на экран список всех устройств, установленных на компьютере под управлением Windows XP. При просмотре информации об устройствах можно встретить устройства, обозначенные как Неизвестное устройство с желтым вопросительным знаком перед этим названием. Выяснить причину появления неизвестного устройства бывает трудно, поскольку на нее мало указаний. В этой статье рассматриваются возможные причины появления неизвестных устройств в диспетчере устройств.
Дополнительная информация
Наиболее частой причиной появления пункта Неизвестное устройство в диспетчере устройств является наличие неправильно работающего устройства. Для устранения данной проблемы получите обновленный драйвер устройства.
Чтобы устройство могло быть опознано системой Windows , используйте следующие способы.
Способ 1. Центр обновления Windows
Посетите следующий веб-сайт Майкрософт, чтобы автоматически проверить наличие обновленного драйвера для устройства. Установите все рекомендованные драйверы.
Способ 2. Скачайте и установите последнюю версию драйвера из Интернета.
Если при скачивании драйвера из Интернета предлагается несколько версий для Windows, выберите предназначенную для Windows XP. Воспользуйтесь одним из следующих вариантов.
- Если устройство поставлялось вместе с компьютером, посетите веб-сайт производителя компьютера.
- Если устройство было установлено после приобретения компьютера, посетите веб-сайт производителя устройства.
- Если на веб-сайте производителя компьютера нет обновленного драйвера для предустановленного устройства, посетите веб-сайт производителя устройства.
На веб-сайте производителя откройте раздел Драйверы или Загрузка и найдите название устройства. Загрузите и установите версию драйвера для Windows XP.
Раздел для опытных пользователей
Этот раздел предназначен для опытных пользователей. Если дополнительные способы устранения неполадок слишком сложны, можно обратиться за помощью к специалисту или в службу поддержки. Дополнительные сведения о том, как это сделать, см. на веб-сайте корпорации Майкрософт по следующему адресу:
Причины появления неизвестных устройств в диспетчере устройств
- Для устройства не установлен драйвер. Если драйвер устройства недоступен, диспетчер устройств относит его к категории неопознанных и помещает в папку Другие устройства. Наиболее часто это происходит со сложными и составными устройствами, работающими в стандартах USB (Universal Serial Bus) и IEEE 1394 (Institute of Electrical and Electronics Engineering). Следует учесть, что состояние Код ошибки 1 или Код ошибки 10 при просмотре свойств устройства в диспетчере устройств может просто не отображаться.
Примечание. Большинство устройств в стандартах USB и IEEE 1394 работают правильно без установки дополнительных драйверов, так как эти устройства включаются и настраиваются с помощью общих драйверов Windows для этих типов шин. Однако если устройство не попадает ни в один из определенных для Windows и поддерживаемых системой классов, ему требуется отдельный драйвер. Если шина не может определить тип устройства, оно автоматически рассматривается как составное и именно так отображается в диспетчере устройств.
Примечание. Подобные устройства могут создаваться программами, которым требуются виртуальные завязки на аппаратные компоненты. К другому классу устройств, часто отображаемых в диспетчере устройств как неопознанные, относятся преобразователи стандартов и типов шин, например драйверы, позволяющие параллельному порту эмулировать шину SCSI или ATAPI.
Устранение неполадок для опытных пользователей
Устранение неполадок программного обеспечения
Существует несколько способов проверки того, было ли неопознанное устройство создано чисто программным способом.
-
Запуск компьютера в безопасном режиме
Одним из самых простых, хотя не самым надежным способом определить, создано ли неизвестное устройство программным обеспечением, является запуск компьютера в безопасном режиме.
Программа «Сведения о системе» может использоваться для определения причины появления неизвестного устройства.
- Выберите в меню Пуск пункт Выполнить, введите команду msinfo32 и нажмите кнопку ОК.
- Раскройте узел Программная среда и дважды щелкните пункт Автоматически загружаемые программы.
На экран будет выведен список программ, запускаемых при старте компьютера.
Для использования средства «Сведения о системе» с целью просмотра списка устройств с неполадками выполните описанные ниже действия.
- Выберите в меню Пуск пункт Выполнить, введите команду msinfo32 и нажмите кнопку ОК.
- Разверните узел Компоненты и дважды щелкните пункт Устройства с неполадками.
- Столбец Устройство содержит общие имена устройств или связанных с ними драйверов.
- Столбец Код устройства PNP содержит связанные с устройством коды, такие, как PCI ID, ISA ID и коды всех прочих шин, либо сообщение о том, что код неизвестен.
- Столбец Код ошибки содержит код ошибки, связанный с конкретной проблемой. Код ошибки часто позволяет выяснить причину появления неопознанного устройства. Например, сообщению «Неверный или отсутствующий драйвер устройства» могут соответствовать три вида записей в папке Устройства с неполадками, в зависимости от типа устройства.
- Код PCI PnP:
Если устройство имеет понятное имя, для определения причины возникновения неизвестного устройства воспользуйтесь сведениями, содержащимися в файле Setupapi.log. По умолчанию файл Setupapi.log находится в папке %SystemRoot%.
Иногда имя устройства может только вводить в заблуждение. Например, в диспетчере устройств устройство может числиться как последовательное, не имея при этом никакого отношения к последовательному порту. Подобные вещи происходят, когда доступна только часть кода Plug and Play, и диспетчер устройств классифицирует устройство неправильно. Такая интерпретация может происходить из-за совместимого идентификатора устройства. И снова чтобы устранить ошибку, необходимо найти неправильно работающую программу запуска.
Устранение неполадок оборудования
Чтобы установить причину появления неизвестного устройства, воспользуйтесь одним из указанных ниже способов.
-
Удалите аппаратные устройства из компьютера
Если при установке драйвера устройства Windows обнаружит, что драйвер не имеет цифровой подписи, на экране может появиться предупреждающее сообщение с возможностью прекратить или продолжить установку. Это сообщение выводится только в том случае, если в настройках компьютера включен режим вывода предупреждений о попытках установки драйверов устройств, не имеющих цифровой подписи.
Примечание. Драйвер устройства, имеющий цифровую подпись, тоже может распознаваться диспетчером устройств как неизвестное устройство.
Можно заблокировать установку драйверов, не имеющих цифровой подписи. Этот подход используется для предотвращения умышленных попыток дестабилизировать работу компьютера. Для этого выполните следующие действия:
- Нажмите кнопку Пуск, выберите пункт Выполнить, введите в поле Открыть команду control sysdm.cpl и нажмите кнопку OK.
- Откройте вкладку Оборудование.
- В разделе Драйверы нажмите кнопку Подписывание драйверов и выберите Блокировать — запретить установку неподписанного драйвера программного обеспечения.
- Дважды нажмите кнопку ОК.
Существует несколько способов вывести список установленных на компьютере драйверов устройств, не имеющих цифровой подписи.
-
Просмотрите файл Setupapi.log
- Нажмите кнопку Пуск, выберите команду Выполнить, введите командную строку sigverif и нажмите кнопку ОК.
- Нажмите кнопку Дополнительно, а затем выберите Искать другие файлы, не подписанные цифровой подписью на вкладке Поиск.
- Установите флажок включая подпапки и нажмите кнопку Обзор.
- Найдите и выберите папку %SystemRoot%\System32\Drivers, дважды нажмите кнопку OK, после чего нажмите кнопку Начать.
Просмотрите список и узнайте у производителей драйверов, как получить обновленные драйверы, имеющие цифровую подпись.
USB-устройства, отвечающие ранним версиям спецификации USB, могут порождать в списке вторичные устройства-призраки, появляющиеся, когда основное устройство подключено, и исчезающие при его отключении. Также, само по себе устройство может работать правильно, однако порождать в списке ни с чем не связанное неопознанное устройство. Обычно это вызвано устаревшим или неправильно сконфигурированным микропрограммным обеспечением. В этом случае следует обратиться к изготовителю за обновленной версией микропрограммной прошивки.
Устройства-призраки могут возникать при установке вручную драйвера к устройству Plug and Play, которое было опознано компьютером и драйверы к которому уже установлены. Эту проблему можно разрешить, удалив устройство-призрак.
Подобные проблемы и их решение: советы для опытных пользователей
Дополнительные сведения об использовании диспетчера устройств для управления устройствами в Windows XP см. в следующих статьях базы знаний Майкрософт:
283658 Как осуществлять управление устройствами в операционной системе Microsoft Windows XP
307970 Как выполнить настройку устройств с помощью диспетчера устройств в Microsoft Windows XP
304514 Настройка диспетчера устройств для получения подробных сведений об устройствах (Эта ссылка может указывать на содержимое полностью или частично на английском языке.)
310126 Устранение конфликтов устройств с помощью диспетчера устройств
283361 В списке диспетчера устройств Microsoft Windows XP отображается удаленное устройство
310123 Разъяснение кодов ошибок, о которых сообщает диспетчер устройств в Microsoft Windows XP Professional
Дополнительные сведения о средстве «Сведения о системе» см. в следующих статьях базы знаний Майкрософт:
308549 Описание средства «Сведения о системе» в Windows XP (Msinfo32.exe)
300887 Использование параметров командной строки при запуске средства «Сведения о системе» (MSINFO32) (Эта ссылка может указывать на содержимое полностью или частично на английском языке.)
Дополнительные сведения об устранении неполадок с помощью средства Msconfig см. в следующих статьях базы знаний Майкрософт.
310560 Устранение ошибок в конфигурации Windows XP с помощью программы настройки системы
Если с помощью этих статей решить проблему не удается или возникают неполадки, отличные от описанных в данной статье, дополнительные сведения можно получить путем поиска по базе знаний Майкрософт. Чтобы выполнить поиск в базе знаний корпорации Майкрософт, перейдите по следующему адресу:
http://support.microsoft.com/?ln=ruЗатем введите в поле поиска текст полученного сообщения об ошибке или описание проблемы.
В этой статье упоминаются программы сторонних производителей. Корпорация Майкрософт не дает никаких подразумеваемых и прочих гарантий относительно работы или надежности этих продуктов.
BERT — коротко о главном
Предварительно обученные модели представления языка
Существует два способа использования предобученных языковых моделей: извлечение признаков (feature-based), когда представления предварительно обученной модели используются в качестве дополнительных функций для архитектуры другой модели, и точная настройка (fine-tuning), при которой языковые представления используются для конкретных задач после точной настройки всех предварительно обученных параметров модели.
Знакомство с BERT
BERT (Bidirectional Encoder Representation Transformers), в переводе на русский “двунаправленная нейронная сеть-кодировщик” — модель представления языка, которая предназначена для предварительного обучения глубоких двунаправленных представлений на простых немаркированных текстах путем совмещения левого и правого контекстов во всех слоях. Это позволяет настраивать предварительно обученную модель BERT с помощью лишь одного дополнительного выходного слоя и получать наиболее актуальные результаты для широкого спектра задач.
Стандартные модели представления языка, существовавшие до BERT, например OpenAI GPT (генеративный предварительно обученный трансформатор), были однонаправленными. Это ограничивало выбор архитектур, которые можно использовать для предварительного обучения. Например, в OpenAI GPT каждый токен мог обслуживать только предыдущий токен (слева направо) в слое внутреннего внимания модели.
Такой подход создает ряд ограничений, поэтому для предварительного обучения BERT используют маскированную языковую модель (MLM): случайным образом маскируется некоторое количество токенов во входных данных, затем модель должна предсказать исходное значение замаскированных слов, исходя из контекста. Это предоставляет возможность совмещать левый и правый контексты, что в свою очередь позволяет предварительно обучить двунаправленную модель представлений.
Реализация
В структуре BERT есть два этапа:
1. Предварительное обучение — модель обучается на немаркированных данных, выполняя различные задачи.
2. Точная настройка — модель загружается с предварительно обученными параметрами и обучается на помеченных данных из последующих задач.
Представления на входе и выходе
Чтобы BERT научился обрабатывать различные задачи, на входе можно подавать как одно, так и пару предложений в одной и той же последовательности токенов. Модель использует эмбеддинг WordPiece со словарным запасом в 30 000 токенов. Первый токен в каждой последовательности — это специальный токен для классификации предложения [CLS], окончательное скрытое состояние которого используется в качестве представления совокупной последовательности для задач классификации. Предложения в последовательности различают двумя способами. Можно разделять их с помощью специального токена [SEP], а можно добавить заученный эмбеддинг к каждому токену, чтобы указать, принадлежит ли он предложению A или предложению B. Последний скрытый вектор специального токена обозначается как C , а последний скрытый вектор некоторого входного токена i обозначается как Ti .
Для данного токена его входное представление строится путем суммирования соответствующих эмбеддингов токена, сегмента и позиции.
Задачи предварительного обучения
Задача 1 — маскированная языковая модель (MLM)
Стандартные модели можно обучать только слева направо или справа налево, в свою очередь двунаправленное обусловливание позволяет каждому слову непоследовательно видеть себя, а модель может тривиально предсказывать следующее слово в многослойном контексте. Чтобы обучить глубокое двунаправленное представление, случайный процент (15% в рассматриваемом примере) входных токенов маскируют и тренируют нейросеть предсказывать закрытые маской токены. Финальные скрытые векторы, соответствующие маскированным токенам, передаются в выходной softmax слой из словаря. Однако в результате получается несогласованность между предварительным обучением и точной настройкой, поскольку токен, используемый для маскировки [MASK], не появляется во время точной настройки. Чтобы исправить этот недостаток, маскированный токен заменяется на [MASK] в 80% случаев, заменяется случайным токеном в 10% случаев и остается неизменным в 10% случаев.
Задача 2 — предсказание следующего предложения (NSP)
Многие последующие задачи основаны на понимании отношений между предложениями. Это в какой-то степени отражает суть языкового моделирования. Чтобы обучить модель понимать отношения между предложениями, ее предварительно обучают бинаризованной задаче прогнозирования следующего предложения. При подготовке примеров предложений A и B для предварительного обучения в 50% случаев B — это фактическое следующее предложение, которое следует за A , а в 50% случаев B — случайное предложение из корпуса.
Данные для предварительного обучения
Корпуса, используемые для предварительного обучения:
Точная настройка BERT
В BERT точная настройка выполняется путем простой замены соответствующих входных и выходных данных в зависимости от того, включают ли последующие задачи один текст или текстовые пары. Для каждой конкретной задачи подключают входные и выходные данные соответственно и полностью настраивают модель.
Результат предварительного обучения
No NSP обучается без задачи прогнозирования следующего предложения. LTR & No NSP обучается как LM слева направо без задачи предсказания следующего предложения, как OpenAI GPT.
+ BiLSTM добавляет случайно инициализированный BiLSTM поверх модели LTR + No NSP во время точной настройки.
Влияние параметров архитектуры модели
#L = количество слоев; #H = скрытый размер; #A = количество голов внимания. LM (ppl) — это степень неопределенности маскированной языковой модели LM удерживаемых обучающих данных.
Помимо этого в источнике подробно описываются несколько экспериментов с метриками BERT и feature-based подход к использованию BERT, которые мы не рассматриваем в этой статье.
BERT позволяет одной и той же предварительно обученной модели успешно решать самые разные задачи НЛП, такие как классификация текста, обнаружение сходства и многие другие.
- ML-инженер или специалист по обработке данных? (Закат науки о данных?)
- Разработка и развёртывание приложения машинного обучения: полное руководство
- Когда ИИ или машинное обучение неуместны