Как обучается нейросеть

Нейросети для чайников и гуманитариев: когда роботы заменят людей

Искусственные нейронные сети окружают нас повсюду: Алиса расскажет погоду на день, навигатор построит быстрый маршрут до работы, а умная лента покажет подборку новостей по интересам. Благодаря нейросетям любой желающий может почувствовать себя большим художником или писателем, даже если не умеет рисовать и красиво выражать мысли. Тем не менее для многих они по-прежнему остаются загадкой. Как и словосочетание Big Data, о котором мы уже как-то рассказывали.

Попробуйте угадать, где поработала нейросеть, а где человек! Мы придумали короткий тест, в котором предлагаем вам сравнить результаты и проверить свое чутье. В конце вас ждут несколько советов, как можно отличить авторскую работу от машинной. Для теста мы использовали сервисы Балабоба и MidJourney, за что безмерно признательны их разработчикам.

В своей книге «Как учится машина. Революция в области нейронных сетей и глубокого обучения» Ян Лекун рассказывает, как работают нейросети и где применяются. Автор — лауреат премии Тьюринга, аналога Нобелевской премии в области вычислительной техники. Его называют крестным отцом нейронных сетей. Обзор будет полезен тем, кто пользуется достижениями нейросетей и хочет узнать о них больше, не погружаясь в сложные технические подробности.

Как обучаются нейросети

Первую обучающуюся машину создал в 1957 году американский психолог Фрэнк Розенблатт в авиационной лаборатории Корнеллского университета в Буффало, США. Ученый вдохновился работой нейронов в человеческом мозге и по аналогии сделал искусственную нейросеть, которую назвал перцептрон.

Нейронная сеть в мозге человека состоит из 86 млрд нервных клеток, или нейронов, которые связаны друг с другом. Искусственные нейросети, в свою очередь, состоят из искусственных нейронов, математических функций, тоже связанных между собой.

Как и человек, нейросеть учится за счет изменения связей между нейронами. Проще всего отследить этот процесс на примере моллюска аплизии. У него очень простая нервная система, которая управляет внешними жабрами. Если прикоснуться к жабрам, то моллюск сначала их втянет, а потом спустя время выпустит. Если повторять касания жабр из раза в раз, постепенно моллюск начнет выпускать их быстрее, а потом и вовсе перестанет втягивать. Так нейронные связи адаптируются к внешним раздражителям, то есть обучаются.

Существует много способов обучения нейросетей. Большинство из них состоят из двух этапов: поиск основного правила и отладка. На первом этапе нейросети показывают миллиарды картинок и говорят, что на них изображено. Машина находит отличительные черты разных предметов и вырабатывает собственный алгоритм, как их различать. На втором этапе проверяют, может ли нейросеть правильно назвать картинки, которых она еще не видела. Если машина ошибается, оператор ей об этом сообщает. Тогда нейросеть перенастраивает свои внутренние связи, чтобы в следующий раз дать правильный ответ.

Например, чтобы научить машину отличать корабли от самолетов, нужно сначала собрать тысячи фотографий тех и других и загрузить их в нейросеть. Затем показать ей изображение корабля. Если машина дает правильный ответ — ничего менять не нужно. Если машина дает неверный ответ, то необходимо настроить параметры системы так, чтобы ее ответ приблизился к правильному.

Аналогично чтобы построить автомобиль, который может ездить самостоятельно, сначала нужно собрать данные от опытного водителя. Для этого каждую долю секунды надо записывают положение автомобиля на дороге и то, как водитель поворачивает руль, чтобы машина оставалась в пределах полосы. В результате за час наблюдений ученые получают 36 000 положений автомобиля и углов поворота руля. На этой информации нейросеть потом учится.

«Магия» обучения заключается в том, что обученная машина способна выйти за рамки того, что ей показывали. Она может правильно определить, что изображено на картинке, которую она видит впервые. Или принять верное решение на дороге, даже если сталкивается с новой помехой.

Что нейросети могут уже сегодня

1. Распознавать изображения

Когда вы ищете какое-нибудь изображение в интернете, например Эйфелевой башни, вы имеете дело с нейросетями. Браузер выдает результат, потому что обучен определять изображенные предметы или события.

Чтобы обучить нейронную сеть различать изображения, сотрудники Google собрали миллионы картинок и пометили их вручную. Когда Google, чтобы отсеять ботов, в следующий раз попросит вас «щелкнуть каждое изображение, содержащее стрекозу» и вы это сделаете, знайте, что вы тоже внесете вклад в обучение нейросетей. В среде айтишников даже ходит такая шутка: когда роботы научатся ставить галочку в капчах и проходить этот квест, тогда и начнется восстание машин.

Специалисты Института трансляционной аналитики данных (TDAI) в Университете штата Огайо разработали платформу Wildbook, которая помогает исследователям и защитникам природы находить и сохранять редкие виды животных. Чтобы это стало возможным, ученые обучили нейронные сети распознавать изображения тех, кому угрожает опасность. Машина видит фотографию кита, косатки или леопарда и узнает животное, опираясь на текстуру и окраску его шерсти, линию плавника или хвоста. Система обучается с помощью образцов, помеченных вручную.

2. Распознавать голос и переводить

Нейронные сети используются почти во всех голосовых приложениях. При этом они научились распознавать речь не только взрослых, но и детей, у которых она не всегда внятная, а также людей с акцентами и необычными голосами. Но недостаточно просто расшифровать звук — виртуальный помощник должен еще правильно понять его смысл. Для Алексы, например, инженеры Amazon определили около 80 различных намерений: позвонить кому-нибудь, воспроизвести музыку, дать информацию о пробках на дороге, выбрать радиостанцию. Как только помощник распознает намерение, сервер Amazon сможет выполнить запрошенную задачу.

Благодаря нейросетям, машинные переводы теперь не уступают тем, которые сделаны человеком, а иногда и превосходят его. В 2019 году в конкурсе GLUE (General Language Understanding Evaluation), который проверяет понимание языка, человек оказался только на четвертом месте. В тройку лидеров вошли RoBERTa от Facebook (признана экстремистской организацией и запрещена на территории РФ. — Прим. ред.), XLNet от Google и MT-DNN от Microsoft.

3. Делать прогнозы

Нейросети могут прогнозировать спрос на разные продукты и предсказывать изменение цен акций. Например, они помогают французской государственной энергетической компании EDF прогнозировать потребление энергии. С этими знаниями компания эффективнее управляет производительностью электростанций и распределяет ресурсы с минимальными потерями. В маркетинге нейросети используются для изучения интереса людей к тому или иному контенту:к примеру, подскажут, на какой рекламный баннер будут реагировать чаще.

4. Помогать водителям

Существуют полуавтономные и автономные системы помощи водителям, в которых применяются нейросети. Первые уже часто используются в автомобилях: система определяет, где можно ехать, а где есть препятствие, может удерживать курс и ускоряться. Нейросеть умеет различать другие автомобили, пешеходов, велосипедистов. Например, такой системой оснащены автомобили Tesla. Но рядом всегда должен быть человек, который в случае ошибки может взять управление на себя. Системы для полностью автономного вождения, когда автопилот работает без внешнего контроля, пока не изобрели.

5. Помогать врачам

Нейронные сети используются в аппаратах для рентгена, магнитно-резонансной и компьютерной томографии (МРТ и КТ) для обнаружения опухолей, а еще в ревматологии и при протезировании. Они снижают стоимость диагностики и затраты времени на нее, помогая врачу не пропустить опухоль, сосредоточить внимание на сложных случаях.

Какие ограничения есть у нейросетей

Даже самые лучшие системы искусственного интеллекта, к сожалению, тратят очень много энергии. Если человеческий мозг совершает 1,5×10¹⁸ операций в секунду и потребляет всего 25 Вт в день, то современная видеокарта может выполнить только 1013 операций в секунду и потребляет около 250 Вт. Чтобы достичь мощности человеческого мозга, пришлось бы подключить сотню тысяч таких видеокарт к гигантскому компьютеру, потребляющему не менее 25 мегаватт. Это в миллион раз превышает потребности человеческого мозга.

К тому же машины часто совершают ошибки. Например, в 2018 году во Франции в интернете разместили фотографию известной картины «Происхождение мира» Гюстава Курбе. Нейронная сеть приняла изображение за порнографический контент и удалила его.

И самое важное: искусственные нейросети плохо предвидят последствия своих действий, в отличие от человека. Если мы видим фотографию, на которой перед маленькой девочкой стоит торт с зажженными свечами, мы с легкостью угадаем, что произойдет дальше. Машине это пока недоступно, потому что она не обладает человеческим опытом и здравым смыслом.

Заменят ли нейросети людей

Нейросети меняют общество и экономику. Как и любая технологическая революция, они способствуют появлению новых профессий и уничтожению старых. Многие специалисты со временем могут оказаться ненужными, их заменят роботы. Это пугает, но дальновидные экономисты, которые специализируются на вопросах влияния технологий на экономику, настроены оптимистично.

Например, американский академик Эрик Бриньолфссон, изучающий производительность труда, указывает на то, что новые технологии начинают применяться не сразу после изобретения, процесс их внедрения может занимать от 15 до 20 лет. Этого времени достаточно, чтобы люди адаптировались. Например, первый массовый персональный компьютер был выпущен IBM в 1981 году, но повсеместно его стали использовать только с середины 1990-х годов.

Люди с творческими профессиями и помогающими специальностями, например психологи, детские воспитатели, учителя и консультанты, имеют больше шансов сохранить работу. Искусственный интеллект еще не скоро сможет заменить человеческий опыт. По мнению Яна Лекуна, современным нейронным сетям не хватает разума. «Когда дело доходит до создания действительно умных машин, способных разрабатывать стратегии и хорошо разбираться в мире, у нас даже нет ингредиентов для рецепта», — жалуются ученые-коллеги Яна Лекуна.

Нейросети значительно упростили нашу жизнь. Вероятно, к ним и нужно относиться как к ассистентам. Например, наш Мегаплан может взять на себя постановку задач по шаблонам или планирование дел по расписанию. Но для этого нужны настройки, которые никто, кроме человека, не сделает. Так что отдаем нейросетям рутину и освобождаем время для более творческих и интересных видов деятельности!

Текст: Татьяна Котова
Иллюстрации: Лидия Пожидаева

Как обучается нейросеть

В последнее время все очень активно обсуждают нейросети. Сегодня ИИ проник во многие сферы жизни людей: банковскую систему, кинематограф, развлечения, медицину.

Виды обучения нейронных сетей

Есть множество методов «тренировки» нейронных сетей, но все они основываются на двух ключевых принципах: с помощью учителя и без него. Это происходит точно так же, как и у человека: можно приобретать новые знания под руководством наставника, который подскажет и скорректирует отдельные моменты, а можно заниматься самообразованием. В последнем случае человек опирается только на свой личный опыт и наблюдения. Главное отличие этих двух подходов заключается в том, что для одних случаев присутствие учителя необходимо, а в других ситуациях можно освоить материал самостоятельно.

Обучение с учителем

• Подготовка данных — в самом начале требуется подготовить набор входных данных, для которых известны ожидаемые результаты. Например, если мы хотим обучить нейронную сеть распознавать изображения кошек, нам нужно подготовить набор изображений кошек (входные данные) и меток, которые указывают, что на этих изображениях действительно изображены кошки (ожидаемые результаты).
• Процесс обучения — на этом этапе нейронная сеть просматривает входные данные и делает предсказания на основе своих текущих параметров (весов). Затем эти предсказания сравниваются с ожидаемыми результатами.
• Обратное распространение ошибки — если предсказание нейросети не совпадает с ожидаемым результатом, то происходит процесс, называемый обратным распространением ошибки. В ходе него вычисляется, насколько каждый вес внутри нейросети способствовал общей ошибке. Затем эти веса корректируются в направлении, которое уменьшит ошибку.
• Итерации — повторяются множество раз с использованием новой системы входных данных из обучающего набора. С течением времени веса нейросети подстраиваются таким образом, чтобы ошибка между предсказаниями и ожидаемыми результатами были минимизирована.
• Тестирование и оценка — обученные нейронные сети тестируют на новых данных, которые ранее не использовались. Это позволяет оценить, насколько хорошо робот способен применять свои знания для новых ситуаций.

Важно отметить, что обучение с преподавателем требует большого количества размеченных данных, что может быть дорогостоящим и трудоемким процессом.

Самостоятельное обучение

Обучение без учителя (Unsupervised Learning) — это когда нейронная сеть обучается на неразмеченных данных. Главная ее задача: найти скрытые закономерности, структуры или взаимосвязи без какой-либо предварительной информации о результатах.

• Начинается все с подготовки данных — в отличие от обучения с учителем, в этом случае не требуется разметка данных. Нам просто нужен набор входных показателей. Например, если мы хотим обучить нейронную сеть группировать изображения кошек и собак, нам просто нужны картинки кошек и собак без указания, что и к чему относится.
• Нейросеть приступает к процессу обучения — на этом этапе она пытается найти структуру или закономерности в данных. Это может быть кластеризация (группировка похожих объектов), поиск аномалий (выявление объектов, которые отличаются от большинства) или уменьшение размерности (сокращение количества признаков без значительной потери информации).
• В течение всего периода параметры (веса) нейронной сети обновляются таким образом, чтобы лучше отражать структуру данных.
• Повторяются множественные итерации до тех пор, пока веса нейросети не подстроятся таким образом, чтобы лучше отражать структуру данных.
• На финишном этапе работа обученных нейросетей тестируется на новых данных.

Читайте также

С приходом ИИ все больше людей задаются вопросом, что станет с рынком труда после того, как роботов начнут применять повсеместно. Есть опасения, что многие проф.

Алгоритмы обучения нейронных сетей

• Градиентный спуск (Gradient Descent) — основной алгоритм. Он использует градиент функции потерь по весам для обновления их значений в направлении уменьшения.
• Обратное распространение (Backpropagation) — используется в связке с градиентным спуском для вычисления по весам. Ошибка распространяется от выходного слоя к входному, пропорционально весам связей.
• Адаптивные методы оптимизации (Adaptive Optimization Methods) — модифицируют темп образования (learning rate) на основе прошлых обновлений весов. Примеры включают алгоритмы Adam, RMSprop и Adagrad.
• Стохастический градиентный спуск с импульсом (SGD with Momentum) — добавляет импульс, представляющий собой накопленное значение градиента, к обновлению весов, чтобы улучшить стабильность и ускорить сходимость.
• Прореживание (Pruning) — метод устранения ненужных связей и нейронов после обучения для уменьшения размера и улучшения эффективности программы.

Чем машинное обучение отличается от нейросетей

Машинное обучение и нейронные сети связаны между собой, однако это все же разные области искусственного интеллекта. В первом случае речь идет о широком термине, который означает использование алгоритмов для анализа данных, обучения на их основе и прогнозирования или принятия решений. Здесь могут использоваться разные способы: статистические методы, деревья решений и т. д.

Нейронные сети — это подмножество машинного обучения, которое использует архитектуру, вдохновленную биологическими нейросетями. Это означает, что они состоят из слоев «нейронов», которые передают и преобразуют информацию. Они хорошо подходят для обработки сложных данных (изображения, звук).

Таким образом, можно сказать, что все нейросети являются частью машинного обучения, но не все его методы используют нейронные сети.

Простые и глубокие нейронные сети: баланс между сложностью и производительностью

При погружении в мир нейронных систем мы обнаруживаем, что существует множество архитектур, отражающих их разнообразие и способности. Выделяются два ключевых типа: простые и глубокие нейросети. Оба вида имеют свои преимущества и ограничения. Чтобы получить хороший результат, важно научиться находить баланс между ними.

Простые нейронные сети обычно состоят из одного или двух слоев и могут быть эффективными для решения простых задач (например, бинарная классификация или регрессия). Они быстро обучаются и не нуждаются в большом объеме данных.

Глубокие нейросети содержат три или больше слоев. При этом они могут обучаться выполнению более сложных задач (например, распознавание фотоснимка, обработка речи и т. д.), однако есть и минус: на это уходит много времени и данных.

В целом невозможно однозначно сказать, какой тип нейронной сети лучше. Выбор между простыми и глубокими должен основываться на таких параметрах, как уровень сложности задачи, требующей решения, и объем имеющихся входных данных.

Заключение

Обучение нейросетей — это сложный и многосторонний процесс, требующий глубокого понимания и тщательного подхода.

Это важный инструмент в области ИИ, который помогает моделировать сложные взаимосвязи и решать разнообразные задачи.

Однако несмотря на все преимущества обучение нейросетей также имеет и свои сложности: необходимость в большом объеме данных, проблемы с интерпретацией полученных результатов, способность переобучаться.

Если срочно нужен текст, переходите по ссылке и заказывайте статьи у лучших авторов на бирже еТХТ!

Как работает нейронная сеть: разбираемся с основами

Мария Жарова Эксперт по Python и математике для Data Science, ментор одного из проектов на курсе по Data Science.

Сейчас на слуху «творчество нейросетей»: сгенерированные машиной тексты и стихи, несуществующие картины и фотографии людей, почти похожие на настоящие. Для человека вне IT это выглядит как чудо. Но на самом деле нейронные сети хорошо объясняются математически, хотя результат их работы действительно невозможно предсказать.

Что такое нейросети?

Нейросети — математические модели и их программное воплощение, основанные на строении человеческой нервной системы. Самую простую нейронную сеть, перцептрон (модель восприятия информации мозгом), вы сможете легко самостоятельно написать и запустить на своем компьютере, не используя сторонние мощности и дополнительные устройства. Пройдите наш тест и узнайте, какой контент подготовил искусственный интеллект, а какой — реальный человек. Чтобы лучше понять, что это такое, попробуем сначала разобраться, как работают биологические нейронные сети — те, что находятся внутри нашего организма. Именно они стали прообразом для машинных нейронных сетей. Биологические нейронные сети. Нервная система живого существа состоит из нейронов — клеток, которые накапливают и передают информацию в виде электрических и химических импульсов. У нейронов есть аксон — основная часть клетки, и дендрит — длинный отросток на ее конце, который может достигать сантиметра в длину. Дендриты передают информацию с одной клетки на другую и работают как «провода» для нервных импульсов. С помощью специальных шипов они цепляются за другие нейроны, и так сигналы передаются по всей нервной системе.

Освойте профессию «Data Scientist» на курсе с МГУ
Data Scientist с нуля до PRO

Освойте профессию Data Scientist с нуля до уровня PRO на углубленном курсе совместно с академиком РАН из МГУ. Изучите продвинутую математику с азов, получите реальный опыт на практических проектах и начните работать удаленно из любой точки мира.

25 месяцев
Data Scientist с нуля до PRO
Создавайте ML-модели и работайте с нейронными сетями
11 317 ₽/мес 6 790 ₽/мес

В качестве примера можно привести любое осознанное действие. Например, человек решает поднять руку: импульс сначала появляется в его мозгу, потом через сеть нейронов информация передается от одной клетки к другой. По пути она преобразуется и в конечном итоге достигает клеток в руке. Рука поднимается. Так работает большинство процессов в организме — тех, которые управляются мозгом. Но главная особенность нейронных сетей — способность обучаться. И именно она легла в основу машинных нейросетей. Первые машинные нейросети. В сороковых годах прошлого века люди впервые попытались описать сеть нейронов математически. Затем, в пятидесятых, — воссоздать ее модель с помощью кода. Получилась та самая структура, которую назвали перцептрон. На графиках и иллюстрациях ее обычно рисуют как набор кругов и прямых, их соединяющих — это и есть нейроны, образующие сетку. Перцептрон был проще современных нейросетей. Он имел всего один слой и три типа элементов: первый тип принимал информацию, второй обрабатывал и создавал ассоциативные связи, третий выдавал результат. Но даже элементарная структура уже могла обучаться и более-менее точно решать простые задачи. Например, перцептрон мог ответить, есть ли на картинке предмет, который его научили распознавать. Он был способен отвечать только на вопросы, где есть два варианта ответов: «да» и «нет». После этого развитие нейросетей замедлилось. Существующих на тот момент технологий было недостаточно, чтобы создать мощную систему. Наработки шли неторопливо, но чем больше развивалась компьютерная отрасль, тем больше интереса вызывал концепт. Современные нейронные сети. Когда компьютеры развились до современных мощностей, концепция нейронной сети снова стала привлекательной. К тому моменту ученые успели описать много алгоритмов, которые помогали распространять информацию по нейронам, и предложили несколько структур. Это были как однослойные, так и многослойные сети, однонаправленные и рекуррентные — подробнее мы расскажем о классификации далее. Чем более продвинутыми становились компьютеры, тем больше сложных и интересных задач могли реализовать нейронные сети. Мощность системы играет важную роль, т.к. каждый нейрон постоянно выполняет ресурсоемкие вычисления. Чтобы решить сложную задачу, обычно нужно много нейронов, их масштабная структура и множество математических функций. Понятно, что для этого понадобится очень сильный компьютер.

Как работает нейросеть?

Структуру нейрона воссоздают при помощи кода. В качестве «аксона» используется ячейка, которая хранит в себе ограниченный диапазон значений. Информация о как бы «нервных импульсах» хранится в виде математических формул и чисел. Связи между нейронами тоже реализованы программно. Один из них передает другому на вход какую-либо вычисленную информацию, тот получает ее, обрабатывает, и затем передает результат уже своих вычислений дальше. Таким образом, информация распространяется по сети, коэффициенты внутри нейронов меняются — происходит процесс обучения.

Станьте дата-сайентистом на курсе с МГУ и решайте амбициозные задачи с помощью нейросетей

Как работает обучение?

Предоставление информации. Когда нейросеть обучают, ей «показывают» данные, по которым необходимо что-то предсказать, и эталонные правильные ответы для них — это называется обучающей выборкой. Информации должно быть много — считается, что минимум в десять раз больше, чем количество нейронов в сети. Во время обучения нейросети показывают какую-либо информацию и говорят, что это такое, т.е. дают ответ. Все данные представляются не посредством слов, а с помощью формул и числовых коэффициентов. Например, изображению женщины соответствует «1», а изображению мужчины — «0». Это простой пример; реальные сети устроены сложнее. Преобразования. Входные нейроны получают информацию, преобразуют ее и передают дальше. Содержание информации автоматически обрабатывается с помощью формул и превращается в математические коэффициенты. Примерно как то, что мы видим глазами, превращается в нервные импульсы и передается в мозг. Он их обрабатывает, и человек понимает, что находится вокруг него. Здесь принцип похож.

Науки о данных

Онлайн-магистратура МФТИ.
Приобретите опыт на реальных проектах и выйдите на новый уровень в профессии и карьере.

Обработка и выводы. У каждого нейрона есть «вес» — число внутри него, рассчитанное по особым алгоритмам. Он показывает, насколько показания нейрона значимы для всей сети. Соответственно, во время обучения веса нейронов автоматически меняются и балансируются. В результате складывается ситуация, когда определенные нейроны реагируют, например, на силуэт человека — и выдают информацию, которая преобразуется в ответ: «Это человек». При этом человека не нужно описывать как набор математических фигур — во время обучения нейронная сеть сама задает значения весов, которые определяют его. Результат. Выводом нейронной сети становится набор формул и чисел, которые преобразуются в ответ. Например, если изображение мужчины — «0», а женщины — «1», то результат 0,67 будет означать что-то вроде «Скорее всего, это женщина». Нейросеть из-за своей структуры не может дать абсолютно точный ответ — только вероятность. И из-за закрытости и нестабильности нейронов ее показания могут различаться даже для одинаковых выборок.

Читайте также Как написать свою первую нейросеть на Python

Особенности нейронных сетей

Из архитектуры и режима работы нейросети следует несколько особенностей, ключевых для понимания направления. Нейросети закрыты. Мы не можем сказать, по каким критериям программа «решает», что на картинке изображен человек или что текст является стихотворением. Все это происходит автоматически; задача разработчика — правильно описать структуру и задать формулы. Примерно так же мы не можем достоверно сказать, что именно происходит в человеческом мозгу, почему он понимает, что собака — это собака, даже если впервые видит незнакомую породу. Если у собаки не будет хвоста, она окажется бесшерстной или покрашенной в неестественный цвет, мы все равно определим ее как собаку — по ряду характеристик, которые до конца не осознаем сами. Нейроны в сетях независимы. Каждый нейрон никак не связан с процессом работы других. Да, они получают друг от друга информацию, но их внутренняя деятельность не зависит от других элементов. Поэтому даже если один нейрон выйдет из строя, другой продолжит работать — это важно в вопросе отказоустойчивости. Подобная устойчивость свойственна и биологическим нейронным сетям, которые продолжают работать, даже если оказываются повреждены. Но у независимости есть и недостаток: из-за нее решения оказываются многоступенчатыми и порой хаотичными, их сложно предсказать и повлиять на них.

Начните карьеру в Data Science.
Онлайн-магистратура МФТИ с практикой на реальных проектах

Нейросети очень гибкие. Так как нейроны сами подбирают критерии и не зависят друг от друга, нейросети более гибкие, чем другие модели машинного обучения. Их архитектура унаследовала важные свойства биологической нервной системы: способность самообучаться и приспосабливаться к новым данным, возможность игнорировать «шумы» и неважные детали входной информации. Как живой человек сможет различить знакомого в толпе, так нейросеть можно научить выделять нужное и отбрасывать ненужное. Гибкость проявляется не только в этом. Нейросети способны решать широкий спектр задач, и их можно адаптировать практически под любые обстоятельства. Нейросети приблизительны. Мы уже говорили: любой результат, выданный нейронной сетью, приблизителен и неточен. Например, сеть, которая распознает картинки, может сказать «Здесь изображена корова» только с определенной вероятностью. И эта вероятность всегда будет меньше единицы, то есть ниже ста процентов. Более того: если два раза показать нейросети одну и ту же картинку, она может выдать разные вероятности в качестве ответа. Различаться они, конечно, будут на сотые и тысячные доли, но это все же неодинаковый, недетерминированный результат. Нейросети могут ошибаться. Любой искусственный интеллект уступает человеческому. Это происходит из-за того, что мощности нашего мозга до сих пор невозможно повторить. В теле человека 86 миллиардов нейронов, и еще не создана сеть, которая хотя бы немного приблизилась к этому числу. В современных нейросетях содержится примерно 10 миллиардов нейронов. Даже при наличии продвинутых формул искусственная нейросеть все равно остается упрощенной моделью — например, в ней нет понятия силы импульса, которое есть в биологических нервах. У биологических нейронных сетей, конечно, тоже бывают ошибки. Но для нейросетей они проявляются более ярко за счет их упрощенной структуры. Читайте также: Искусственный интеллект против сценаристов: как нейросети создают истории

Ошибки нейросетей: какими они бывают

Существует три основных проблемы работы с сетями — это явления забывчивости и переобучения, а также непредсказуемость. В биологических нейронных сетях они тоже есть, но мы их корректируем. В искусственных нейросетях аналогично применяются методы корректировки, но это сложнее и не всегда может быть эффективно. Забывчивость. Представьте, что вы попали сразу в несколько незнакомых ситуаций, опыта для которых ранее не было. Скорее всего, вам будет тяжело эффективно работать. Даже простые, но отличающиеся действия будут вызывать стресс, вы будете допускать больше ошибок. В теории нейронных сетей это называется забывчивостью: программы плохо реагируют на большое разнообразие ситуаций. Если обстоятельства все время меняются, нейросеть будет пытаться подстроиться под каждое из них, и в результате точность решений упадет. Но если человек еще может сориентироваться в незнакомой обстановке, то программе это сделать сложнее, ведь она — «вещь в себе», лишенная нейропластичности. Переобучение. Это явление, когда модель хорошо объясняет только примеры из обучающей выборки, адаптируясь к примерам оттуда, вместо того, чтобы учиться классифицировать что-то другое, не участвующее в обучении. Если вы когда-нибудь смотрели на автомобиль и видели, что фары похожи на глаза, а решетка радиатора — на рот, вы понимаете, как это работает. Нейросеть точно так же начинает путаться. Но ресурсов человеческого мозга хватает, чтобы понять, что машина — не настоящее лицо. Программа понять это не может и в подобной ситуации способна действительно выдать результат, что на картинке изображен человек. Еще один пример переобучения можно привести для сетей, которые создают что-то новое, например стиль. Вы, наверное, замечали, что у реальных художников и писателей есть свои характерные приемы, а их произведения со временем становятся все более похожими друг на друга. Это тоже пример переобучения — и генерирующие контент нейросети также ему подвержены. Непредсказуемость. Это прямое следствие закрытости и автономности нейронов. Сложно предугадать результат работы нейросети, будет ли она корректно работать в решении той или иной задачи. И если с предыдущими ошибками можно бороться благодаря правильным алгоритмам обучения, то непредсказуемость не пропадает. Это не стандартная программа, которая выдает известный результат для каждой ситуации. С непредсказуемостью тоже борются: точность можно повысить, если использовать подходящую архитектуру. Не обязательно более сложную — с некоторыми задачами хорошо справляются, наоборот, более простые сети. Но это дополнительно усложняет работу над нейросетями, особенно когда результат работы критичен.

Для чего нужны нейронные сети?

Нейросети используются в огромном количестве сфер, в первую очередь в тех, где от машины нужна функциональность сродни человеческой. То есть в ситуациях, где нет четко заданного скрипта, описывающего каждый конкретный случай; входные данные могут быть любыми, поэтому нужно уметь обрабатывать все возможные варианты. Хороший пример — робот-ассистент или подсказки в поле поиска. В свое время именно поисковые системы дали толчок развитию методов искусственного интеллекта. Пока с нейронными сетями работают в основном большие компании и холдинги. Для того чтобы создать нейросеть, способную достаточно грамотно работать в сложных условиях, нужны мощные машины и большие наборы обучающих данных. Такие ресурсы могут себе позволить только крупные корпорации. Еще есть стартапы — они в основном работают на арендованных мощностях и концентрируются на создании нейросети под конкретные задачи. Пример — знаменитое приложение Prisma. Отрасль может быть любой. Во всех сферах есть задачи, которые в силах решить нейросеть. Рассмотрим основные области задач, для решения которых используются нейросети. Классификация. Нейросеть получает объект и относит его к определенному классу. Самая первая сеть, перцептрон, решала именно задачи классификации, но очень простые. Сейчас возможности шире: сети могут классифицировать клиентов и выделять аудитории по интересам — вы сталкиваетесь с этой возможностью каждый день, когда ваш электронный почтовый ящик определяет (классифицирует) некоторые письма как спам. Но это не единственный пример: автоматический скоринг в банках, контекстная реклама — это все касается классификации. Распознавание. Задача поставлена иначе: она не в том, чтобы отнести объект к одному из классов, а в том, чтобы найти нужное среди множества данных — например, лицо на картинке. «Умные» фильтры для фотографий работают именно так. Можно вспомнить многочисленные нейросети, которые превращают фотографии в картины маслом или постеры, — они тоже сначала распознают, что находится на изображении. Распознавать можно и текстовые данные, например приложения для определения названия музыкальных треков. Но распознавание — это не только приложения. Это и поиск по картинке, и чтение текста с изображения, и работа «умных» камер слежения. Разнообразные программы для людей с ограниченными возможностями тоже используют возможности распознавания. Сюда же относятся голосовые ассистенты, которые распознают речь. Сейчас нейросети начинают активно применяться в медицине, например распознают информацию на снимках, что облегчает диагностику. Прогнозирование. Третий вариант — нейросети, которые получают входные данные и на их основе что-то предсказывают. Их часто применяют в аналитике, например в финансовом секторе такая сеть может предсказывать поведение рынка, а в маркетинге — тренды и аудитории. Нейросетевые программы, которые дописывают текст или дорисовывают изображение, тоже по сути занимаются прогнозированием. Так же работают поисковые системы: вы начинаете вводить фразу, а вам предлагают ее завершение. Это тоже задача прогнозирования, причем интересная — с учетом смысла предыдущих слов. Генерация. Нейронные сети могут сами генерировать контент. Пока он далек от идеального, но программы становятся умнее. Сейчас нейросети могут писать музыку, создавать изображения, и со временем они становятся все больше похожими на настоящие. Это комплексная задача, которая может состоять из нескольких предыдущих. Например, «дорисовка» человека на фотографии — задача распознавания и прогнозирования одновременно. Генерация текста в определенном стиле — классификация плюс прогнозирование.

Какими бывают нейронные сети?

У нейросетей есть общие черты — например, наличие входного слоя, который принимает информацию на вход. Но много и различий. Для каждой из перечисленных выше задач потребуется своя нейронная сеть. У них будут различаться структуры, архитектура, типы нейронов и многое другое. Создать универсальный алгоритм невозможно, по крайней мере пока, поэтому сети отдельно оптимизируют под определенные спектры задач. Однонаправленные. Нейросети работают в одном направлении — как оригинальный перцептрон. Это значит, что у них нет «памяти», а поток информации передается только в одну сторону. Структура выходит более простой, чем в случае с рекуррентными сетями, о которых мы поговорим ниже. Но это не плохо: для решения некоторых задач простые структуры подходят лучше. Однонаправленные сети хорошо подходят для задач распознавания. Суть примерно та же, что и в случае с восприятием окружающего мира реальным мозгом. Органы чувств получают информацию и передают ее в одном направлении, та в процессе трансформируется и распознается. Мозг делает вывод: «я вижу собаку», «слышна рок-музыка», «на улице холодно». Однонаправленная модель работает по тому же принципу, но более упрощенно. Еще один вариант применения — прогнозирование. Принцип такой же: «На улице тучи — значит, пойдет дождь». Но критерии, по которым нейросети делают выводы, до конца непонятны. Рекуррентные. У этих сетей есть эффект «памяти» благодаря тому, что данные передаются в двух направлениях, а не в одном. В результате они воспринимают предыдущую полученную информацию и могут глубже ее «анализировать». Это полезно, если перед сетью стоит сложная задача вроде перевода текста. Однонаправленная нейросеть переведет каждое слово по отдельности, и получится бессвязная «каша». Рекуррентная сможет учесть контекст и перевести, например, apple tree не как «яблоко дерево», а как «яблоня». Или более сложный пример: идиома that’s a piece of cake в контексте переведется не как «это кусок торта», а как «проще простого» в зависимости от стиля текста. На это сейчас способны не все переводчики. Задачи для рекуррентной сети можно сформулировать так: это работа с большим объемом данных, которые надо разбить на более мелкие и обработать. Причем с учетом связей между друг другом. Правильно настроенная рекуррентная нейронная сеть способна отличать контекст одной ситуации от другой. Это важно, например, при создании «говорящих» ботов: вспомните, как «обижаются» голосовые помощники, если сказать им что-то грубое. Сверточные. Это отдельная категория нейронных сетей, менее закрытая, чем другие, благодаря принципиальной многослойности. Многослойными называются нейронные сети, в которых нейроны сгруппированы в слои. При этом каждый нейрон предыдущего слоя связан со всеми нейронами следующего слоя, а внутри слоев связи между нейронами отсутствуют. Сверточные сети используют для распознавания образов. У них особая структура слоев: часть занимается «свертыванием», преобразованием картинки, а часть — группировкой и распознаванием маленьких дискретных элементов, созданных на сверточных слоях. Таких слоев несколько. Результат — более высокая точность и качественное восприятие информации. Интересный факт: как обычные нейросети были основаны на нейронах в головном мозгу, так сверточные — на структуре зрительной коры. Это та часть мозга, которая отвечает за восприятие картинок. В ней чередуются «простые» и «сложные» клетки: первые реагируют на определенные линии и очертания, вторые — на активацию конкретных простых клеток. Так происходит процесс распознавания образов в мозгу, и примерно так же устроена сверточная нейросеть. Сверточные слои «воспринимают» отдельные элементы картинки как простые клетки — линии. Особые слои, называемые субдискретизирующими, реагируют на конкретные найденные элементы. Чем больше слоев, тем более абстрактные детали способна заметить и определить сеть. На результат работы промежуточных слоев можно посмотреть, если заглянуть в файлы нейросети. Поэтому она и считается менее закрытой. Результат больше всего напоминает карту признаков из машинного обучения.

Нейронные сети — это машинное обучение?

Не совсем. Нейронные сети относят к глубокому обучению (Deep Learning), которое является частью машинного, но от классического ML подход сильно отличается. В стандартном машинном обучении программе предварительно рассказывают, как выглядит то, что она должна сделать. Например, если нужно отличить мужчину от женщины, потребуется «объяснить» модели, в чем принципиальные различия между фигурами. Это делается с помощью математических формул и абстракций, которые будут описывать параметры. Выше мы говорили про понятие карты признаков — по сути, это она и есть. При обучении нейросети такой задачи не стоит. Признаки сеть находит сама, их не нужно описывать. Необходимо только задать коэффициенты и результаты, соответствующие каждому возможному исходу. Это и хорошо, и плохо. Плохо — потому что приводит к уже описанной выше непредсказуемости. Хорошо — потому что дает больше гибкости: два необученных исходника одной и той же сети можно обучить на выполнение двух разных задач. Не понадобится писать другой алгоритм и задавать новые параметры. Можно оставить ту же архитектуру, главное — чтобы она изначально была оптимальной для этого типа задач.

То есть нейронная сеть может заменить человека?

Нейросети действительно используются для решения задач, похожих на те, которые решает человеческий мозг. Но даже мощная нейросеть может ошибиться. И в некоторых случаях цена этой ошибки может быть крайне велика, а ее вероятность намного больше, чем если задачу решает человек. Поэтому сейчас нейронные сети используются скорее для ассистирования, чем для полномасштабной самостоятельной работы. Существуют проблемы, в решении которых машины действительно могут заменить человека. Это некоторые аналитические задачи, а также те, которые связаны с более-менее однообразными действиями. Например, с помощью нейросети может работать робот-почтальон. Но далеко не все задачи можно решить вот так. Например, робот может ответить на более менее стандартные вопросы в банковском приложении, но не поймет, что делать, если человек задаст что-то неочевидное.

А что с творчеством нейронных сетей?

Нейросеть не осознает свои действия. Даже если она генерирует контент — она делает это машинально, на основе предыдущих данных, а не благодаря собственному мышлению. Вряд ли нейронная сеть, даже сложная, сможет догадаться, что созданное ей предложение абсурдно и не имеет смысла. Для нее нет такого понятия, как «смысл». Творчество нейросетей — примерно как «речь» говорящего попугая или «китайская комната». Поэтому есть мнение, что книга или картина, написанные нейросетью, не смогут заменить человеческие, даже если алгоритмы будут очень хорошо имитировать наше творчество. Вряд ли много кто захочет читать книгу, если точно известно, что автор не вкладывал туда никаких мыслей. Правда, пока создавать с нуля контент, похожий на настоящий, могут немногие системы. Но вы можете внести свой вклад в их развитие — если освоите, как они работают. Сейчас это направление востребовано как никогда. Тест: нейросеть или человек — сможете определить?

Примеры популярных нейронных сетей

Нейросеть	Описание
Convolutional Neural Network (CNN)	Используется для обработки изображений и распознавания паттернов в них. Применяется в компьютерном зрении.
Recurrent Neural Network (RNN)	Подходит для работы с последовательными данными, такими как текст и аудио. Применяется в языковых моделях.
Generative Adversarial Network (GAN)	Используется для генерации новых данных, таких как изображения и звуки. Применяется в синтезе контента.
Transformer	Базовая архитектура для моделей обработки естественного языка, таких как BERT и GPT.
Deep Q-Network (DQN)	Применяется в обучении с подкреплением для игр и задач управления.
U-Net	Широко используется в сегментации изображений, включая медицинское изображение.
YOLO (You Only Look Once)	Одна из популярных архитектур для реального времени обнаружения объектов на изображении.
ResNet	Известная архитектура с нейронными блоками остаточных связей, обычно используется для классификации.
ChatGPT	Разработанный OpenAI, является мощной языковой моделью, основанной на архитектуре GPT (Generative Pre-trained Transformer). ChatGPT способен генерировать тексты и поддерживать разговоры с пользователем, делая его популярным инструментом для задач генерации текста и чат-ботов.

Что такое нейронная сеть?

Нейронная сеть — это метод в искусственном интеллекте, который учит компьютеры обрабатывать данные таким же способом, как и человеческий мозг. Это тип процесса машинного обучения, называемый глубоким обучением, который использует взаимосвязанные узлы или нейроны в слоистой структуре, напоминающей человеческий мозг. Он создает адаптивную систему, с помощью которой компьютеры учатся на своих ошибках и постоянно совершенствуются. Таким образом, искусственные нейронные сети пытаются решать сложные задачи, такие как резюмирование документов или распознавание лиц, с более высокой точностью.

В чем заключается важность нейронных сетей?

Нейронные сети помогают компьютерам принимать разумные решения с ограниченным участием человека. Они могут изучать и моделировать отношения между нелинейными и сложными входными и выходными данными. Например, нейронные сети могут выполнять следующие задачи.

Обобщать и делать выводы

Нейронные сети могут понимать неструктурированные данные и делать общие наблюдения без специального обучения. Например, они могут распознать, что два разных входных предложения имеют одинаковое значение:

• Не подскажете как произвести оплату?
• Как мне перевести деньги?

Нейронная сеть поймет, что оба предложения означают одно и то же. Также она может определить, что Бакстер-роуд — это место, а Бакстер Смит — это имя человека.

Для чего используются нейронные сети?

Нейронные сети распространены во множестве отраслей. В их числе:

• Диагностика с помощью классификации медицинских изображений
• Целевой маркетинг с помощью фильтрации социальных сетей и анализа поведенческих данных
• Финансовые прогнозы с помощью обработки исторических данных финансовых инструментов
• Прогнозирование электрической нагрузки и потребности в энергии
• Контроль соответствия требованиям и качества
• Определение химических соединений

Ниже представлены четыре важнейших задачи, которые помогают решить нейронные сети.

Машинное зрение

Машинное зрение — это способность компьютеров извлекать информацию и смысл из изображений и видео. С помощью нейронных сетей компьютеры могут различать и распознавать изображения так, как это делают люди. Машинное зрение применяется в нескольких областях, например:

• Визуальное распознавание в беспилотных автомобилях, чтобы они могли реагировать на дорожные знаки и других участников движения
• Модерация контента для автоматического удаления небезопасного или неприемлемого контента из архивов изображений и видео
• Распознавание лиц для идентификации людей и распознавания таких атрибутов, как открытые глаза, очки и растительность на лице
• Маркировка изображения для идентификации логотипов бренда, одежды, защитного снаряжения и других деталей изображения

Распознавание речи

Нейронные сети могут анализировать человеческую речь независимо от ее речевых моделей, высоты, тона, языка и акцента. Виртуальные помощники, такие как Amazon Alexa и программное обеспечение для автоматической транскрипции, используют распознавание речи для выполнения следующих задач:

• Помощь операторам колл-центра и автоматическая классификация звонков
• Преобразование клинических рекомендаций в документацию в режиме реального времени
• Точные субтитры к видео и записям совещаний для более широкого охвата контента

Обработка естественного языка

Обработка естественного языка (NLP) — это способность обрабатывать естественный, созданный человеком текст. Нейронные сети помогают компьютерам извлекать информацию и смысл из текстовых данных и документов. NLP имеет несколько сфер применения, в том числе:

• Автоматизированные виртуальные агенты и чат-боты
• Автоматическая организация и классификация записанных данных
• Бизнес-аналитика длинных документов: например, электронных писем и форм
• Индексация ключевых фраз, указывающих на настроение: например, положительных и отрицательных комментариев в социальных сетях
• Обобщение документов и генерация статей по заданной теме

Сервисы рекомендаций

Нейронные сети могут отслеживать действия пользователей для разработки персонализированных рекомендаций. Они также могут анализировать все действия пользователей и обнаруживать новые продукты или услуги, которые интересуют конкретного потребителя. Например, стартап из Филадельфии Curalate помогает брендам конвертировать сообщения в социальных сетях в продажи. Бренды используют службу интеллектуальной маркировки продуктов (IPT) Curalate для автоматизации сбора и обработки контента пользователей социальных сетей. IPT использует нейронные сети для автоматического поиска и рекомендации продуктов, соответствующих активности пользователя в социальных сетях. Потребителям не нужно рыться в онлайн-каталогах, чтобы найти конкретный продукт по изображению в социальных сетях. Вместо этого они могут использовать автоматическую маркировку Curalate, чтобы с легкостью приобрести продукт.

Как работают нейронные сети?

Архитектура нейронных сетей повторяет структуру человеческого мозга. Клетки человеческого мозга, называемые нейронами, образуют сложную сеть с высокой степенью взаимосвязи и посылают друг другу электрические сигналы, помогая людям обрабатывать информацию. Точно так же искусственная нейронная сеть состоит из искусственных нейронов, которые взаимодействуют для решения проблем. Искусственные нейроны — это программные модули, называемые узлами, а искусственные нейронные сети — это программы или алгоритмы, которые используют вычислительные системы для выполнения математических вычислений.

Архитектура базовой нейронной сети

Базовая нейронная сеть содержит три слоя взаимосвязанных искусственных нейронов:

Входной слой

Информация из внешнего мира поступает в искусственную нейронную сеть из входного слоя. Входные узлы обрабатывают данные, анализируют или классифицируют их и передают на следующий слой.

Скрытый слой

Скрытые слои получают входные данные от входного слоя или других скрытых слоев. Искусственные нейронные сети могут иметь большое количество скрытых слоев. Каждый скрытый слой анализирует выходные данные предыдущего слоя, обрабатывает их и передает на следующий слой.

Выходной слой

Выходной слой дает окончательный результат обработки всех данных искусственной нейронной сетью. Он может иметь один или несколько узлов. Например, при решении задачи двоичной классификации (да/нет) выходной слой будет иметь один выходной узел, который даст результат «1» или «0». Однако в случае множественной классификации выходной слой может состоять из более чем одного выходного узла.

Архитектура глубокой нейронной сети

Глубокие нейронные сети или сети глубокого обучения имеют несколько скрытых слоев с миллионами связанных друг с другом искусственных нейронов. Число, называемое весом, указывает на связи одного узла с другими. Вес является положительным числом, если один узел возбуждает другой, или отрицательным, если один узел подавляет другой. Узлы с более высокими значениями веса имеют большее влияние на другие узлы.
Теоретически глубокие нейронные сети могут сопоставлять любой тип ввода с любым типом вывода. Однако стоит учитывать, что им требуется гораздо более сложное обучение, чем другим методам машинного обучения. Таким узлам нужны миллионы примеров обучающих данных, а не сотни или тысячи, как в случае с простыми сетями.

Какие типы нейронных сетей существуют?

Искусственные нейронные сети можно классифицировать по тому, как данные передаются от входного узла к выходному узлу. Ниже приведены несколько примеров.

Нейронные сети прямого распространения

Нейронные сети прямого распространения обрабатывают данные в одном направлении, от входного узла к выходному узлу. Каждый узел одного слоя связан с каждым узлом следующего слоя. Нейронные сети прямого распространения используют процесс обратной связи для улучшения прогнозов с течением времени.

Алгоритм обратного распространения

Искусственные нейронные сети постоянно обучаются, используя корректирующие циклы обратной связи для улучшения своей прогностической аналитики. Проще говоря, речь идет о данных, протекающих от входного узла к выходному узлу по множеству различных путей в нейронной сети. Правильным является только один путь, который сопоставляет входной узел с правильным выходным узлом. Чтобы найти этот путь, нейронная сеть использует петлю обратной связи, которая работает следующим образом:

1. Каждый узел делает предположение о следующем узле на пути.
2. Он проверяет, является ли предположение правильным. Узлы присваивают более высокие значения веса путям, которые приводят к более правильным предположениям, и более низкие значения веса путям узлов, которые приводят к неправильным предположениям.
3. Для следующей точки данных узлы делают новый прогноз, используя пути с более высоким весом, а затем повторяют шаг 1.

Сверточные нейронные сети

Скрытые слои в сверточных нейронных сетях выполняют определенные математические функции (например, суммирование или фильтрацию), называемые свертками. Они очень полезны для классификации изображений, поскольку могут извлекать из них соответствующие признаки, полезные для распознавания и классификации. Новую форму легче обрабатывать без потери функций, которые имеют решающее значение для правильного предположения. Каждый скрытый слой извлекает и обрабатывает различные характеристики изображения: границы, цвет и глубину.

Как обучать нейронные сети?

Обучение нейронной сети — это процесс обучения нейронной сети выполнению задачи. Нейронные сети обучаются путем первичной обработки нескольких больших наборов размеченных или неразмеченных данных. На основе этих примеров сети могут более точно обрабатывать неизвестные входные данные.

Контролируемое обучение

При контролируемом обучении специалисты по работе с данными предлагают искусственным нейронным сетям помеченные наборы данных, которые заранее дают правильный ответ. Например, сеть глубокого обучения, обучающаяся распознаванию лиц, обрабатывает сотни тысяч изображений человеческих лиц с различными терминами, связанными с этническим происхождением, страной или эмоциями, описывающими каждое изображение.

Нейронная сеть медленно накапливает знания из этих наборов данных, которые заранее дают правильный ответ. После обучения сеть начинает делать предположения об этническом происхождении или эмоциях нового изображения человеческого лица, которое она никогда раньше не обрабатывала.

Что такое глубокое обучение в контексте нейронных сетей?

Искусственный интеллект — это область компьютерных наук, которая исследует методы предоставления машинам возможности выполнять задачи, требующие человеческого интеллекта. Машинное обучение — это метод искусственного интеллекта, который дает компьютерам доступ к очень большим наборам данных для дальнейшего обучения. Программное обеспечение для машинного обучения находит шаблоны в существующих данных и применяет эти шаблоны к новым данным для принятия разумных решений. Глубокое обучение — это разновидность машинного обучения, в котором для обработки данных используются сети глубокого обучения.

Машинное обучение и глубокое обучение

Традиционные методы машинного обучения требуют участия человека, чтобы программное обеспечение работало должным образом. Специалист по работе с данными вручную определяет набор соответствующих функций, которые должно анализировать программное обеспечение. Это ограничение делает создание и управление программным обеспечением утомительным и трудозатратным процессом.

С другой стороны, при глубоком обучении специалист по работе с данными предоставляет программному обеспечению только необработанные данные. Сеть глубокого обучения извлекает функции самостоятельно и обучается более независимо. Она может анализировать неструктурированные наборы данных (например, текстовые документы), определять приоритеты атрибутов данных и решать более сложные задачи.

Например, при обучении программного обеспечения с алгоритмами машинного обучения правильно идентифицировать изображение домашнего животного вам потребуется выполнить следующие шаги:

• Найти и вручную отметить тысячи изображений домашних животных: кошек, собак, лошадей, хомяков, попугаев и т. д.
• Сообщить программному обеспечению с алгоритмами машинного обучения, какие функции необходимо найти, чтобы оно могло идентифицировать изображение методом исключения. Например, оно может подсчитать количество ног, а затем проверить форму глаз, ушей, хвоста, цвет меха и так далее.
• Вручную оценить и изменить помеченные наборы данных, чтобы повысить точность программного обеспечения. Например, если в вашем тренировочном наборе слишком много изображений черных кошек, программное обеспечение правильно определит черную кошку, но не белую.
• При глубоком обучении нейронные сети будут обрабатывать все изображения и автоматически определять, что сначала им требуется проанализировать количество ног и форму морды, а уже после посмотреть на хвосты, чтобы правильно идентифицировать животное на изображении.

Что такое сервисы глубокого обучения в AWS?

Сервисы глубокого обучения AWS используют возможности облачных вычислений, чтобы вы могли масштабировать свои нейронные сети глубокого обучения с меньшими затратами и оптимизировать их для повышения скорости. Вы также можете использовать подобные сервисы AWS для полного управления конкретными приложениями глубокого обучения:

• Amazon Rekognition для добавления предварительно обученных или настраиваемых функций машинного зрения в ваше приложение.
• Amazon Transcribe для автоматического распознавания и точной расшифровки речи.
• Amazon Lex для создания интеллектуальных чат-ботов, которые понимают намерения, поддерживают диалоговый контекст и автоматизируют простые задачи на разных языках.

Начните работу с нейронными сетями глубокого обучения в AWS с помощью Amazon SageMaker, чтобы быстро и легко создавать, обучать и развертывать модели в любом масштабе. Также можно использовать решение AMI глубокого обучения AWS для разработки пользовательских сред и рабочих процессов для глубокого обучения.

Создайте бесплатный аккаунт AWS, чтобы начать работу уже сегодня.