Deep learning что это

Что такое deep learning и почему о нем все говорят?
\n «, «page_type»: «article», «page_language»: «ru», «article_categories»: [ «Технологии» ], «article_authors»: [ «Евгений Смагин» ], «article_word_count»: «1233», «article_publication_date»: «Wed, 18 Apr 18 13:03:57 +0000″ >’ data-href-current=»https://hightech.fm/2018/04/18/what-is-deep-learning» data-id-current=»48898″ data-title-current data-href-next=»https://hightech.fm/2018/04/18/metro» data-id-next=»48892″ data-title-next=»Московские власти начали внедрять в метро и ЖД-станциях систему распознавания лиц»>

Технологии 18 апреля 2018

Что такое deep learning и почему о нем все говорят?

3 октября 2015 года мессенджер Telegram оказался недоступен для части пользователей в России и по всему миру. Причины возникших проблем пока неизвестны.

Читайте «Хайтек» в

Что такое deep learning и почему о нем все говорят?
8 карточек • 18 апреля 2018, 13:04

О чем речь?
Что это такое?
Погодите, а что такое машинное обучение?
А глубокое обучение как работает?
Как работает глубокое обучение?
И что с помощью него уже разработали?
А почему глубинное обучение не начали внедрять раньше?
Это прорывная технология, она все поменяет?

ЭТО ИНТЕРЕСНО

О чем речь?

С появления термина «глубокое обучение» прошло уже больше 20 лет, но широко заговорили о нем только недавно. Кратко объясняем, почему так получилось, что такое deep learning, чем оно отличается от машинного обучения и почему вам надо об этом знать.

Что это такое?

Глубокое обучение — это ветвь развития машинного обучения, где используется модель, вдохновленная устройством мозга — взаимодействием нейронов. Сам термин появился еще в 1980-х, но до 2012 года для реализации этой технологии не хватало мощностей и на нее почти никто не обращал внимание. После серии статей известных ученых, публикаций в научных изданиях технология быстро стала популярной и получила внимание крупных медиа, — первым из мировых СМИ об этом написал The New York Times. Одним из поводов для материала стала научная работа специалистов из университетов Торонто Алекса Крижевского, Ильи Сатскевера и Джеффа Хинтона. Они описали и проанализировали результаты конкурса распознавания изображений ImageNet, где с большим отрывом победила их нейросеть, обученная с помощью deep learning, — система определила 85% объектов. С тех пор в конкурсе побеждала только глубокая нейросеть

Погодите, а что такое машинное обучение?

Это подобласть искусственного интеллекта и термин — им описывают методы построения алгоритмов, которые учатся на своем опыте, без написания специальной программы. То есть человеку в этом случае не надо объяснять машине, как решить задачу, она находит ответ сама, из данных, которые ей предоставлены. К примеру, если мы хотим, чтобы алгоритм определял лица, мы должны показать ему десять тысяч разных лиц, отметить, где именно находится лицо, и тогда программа научится определять его самостоятельно. Обучаться машина может как с помощью учителя, когда он помечает для машины правильные ответы, так и без него. Но результаты лучше при обучении с учителем. Каждый раз, когда происходит обработка данных, система становится точнее.

А глубокое обучение как работает?

Оно имитирует абстрактное мышление человека и умеет обобщать. Например, нейросеть, обученная машинным способом, плохо распознает рукописные буквы — и чтобы она не путалась в различных вариантах написания, все они должны быть в нее загружены. Глубокое обучение же используется в случае работы с многослойными искусственными нейронными сетями и сможет справиться с этой задачей. Сергей Николенко, соавтор книги «Глубокое обучение»: «Есть три термина, которые в последнее время часто используют почти взаимозаменяемо: искусственный интеллект, машинное обучение и глубокое обучение. Однако на самом деле это „вложенные“ термины: искусственный интеллект — это всё что угодно, что может помочь компьютеру выполнять человеческие задачи; машинное обучение — это раздел ИИ, в котором программы не просто решают задачи, а обучаются на основе имеющегося у них опыта, а глубокое обучение — это раздел машинного обучения, изучающий глубокие нейронные сети. Проще говоря: 1. если вы написали программу, играющую в шахматы, — это искусственный интеллект; 2. если она при этом обучается на базе партий гроссмейстеров или играя против самой себя — это машинное обучение; 3. а если обучается у неё при этом не что-нибудь, а глубокая нейронная сеть, — это глубокое обучение».

Как работает глубокое обучение?

Возьмем простой пример — мы покажем нейросети фотографии, на которых изображены мальчик и девочка. На первом слое нейроны реагируют на простые визуальные образы — например перепады яркости. На втором — более сложные: углы, окружности. К третьему слою нейроны способны реагировать на надписи и человеческие лица. К каждому следующему слою определяемые образы будут сложнее. Нейронная сеть сама определяет, какие визуальные элементы ей интересны для решения этой задачи, и ранжирует их по степени важности, чтобы в дальнейшем лучше понимать, что изображено на фотографии.

И что с помощью него уже разработали?

Больше всего проектов с глубоким обучением применяется в распознавании фотографии или аудио, диагностике заболеваний. Например, оно уже используется в переводах Google с изображения: технология Deep Learning позволяет определить, есть ли на картинке буквы, а затем переводит их. Другой проект, который работает с фото, — система распознавания лиц под названием DeepFace. Она умеет распознавать человеческие лица с точностью 97,25% — примерно с той же точностью, что и человек. В 2016 году Google выпустил WaveNet — систему, которая может имитировать человеческую речь. Для этого компания загрузила в систему миллионы минут записанных голосовых запросов, которые использовались в проекте OK Google, и после изучения, нейросеть смогла сама составить предложения с правильными ударениями, акцентом и без нелогичных пауз. При этом глубокое обучение может семантически сегментировать изображение или видео — то есть не просто обозначать, что на картинке есть объект, но и идеально выделить его контуры. Эта технология используется в беспилотных автомобилях, которые определяют, есть ли помехи на дороге, разметку и считывают информацию с дорожных знаков, чтобы избежать аварий. Нейросеть также используют в медицине — чтобы определять диабетическую ретинопатию по фотографиям глаз пациентов например. Министерство здравоохранения США уже разрешило использовать эту технологию в государственных клиниках.

А почему глубинное обучение не начали внедрять раньше?

Раньше это было затратно, сложно и долго — нужны были мощные графические процессоры, видеокарты и объемы памяти. Бум глубинного обучения как раз связан с широким распространением графических процессоров, которые ускоряют и удешевляют вычисления, практически неограниченные возможности хранения данных и развитие технологии «больших данных».

Это прорывная технология, она все поменяет?

Об этом сложно сказать точно, мнения разнятся. С одной стороны, Google, Facebook и другие крупные компании уже вложили миллиарды долларов и настроены оптимистично. По их мнению, нейросети с глубинным обучением способны поменять технологическое устройство мира. Один из главных специалистов по машинному обучению — Эндрю Ынг — говорит: «Если человек может выполнить задачу в уме за секунду, скорее всего, в ближайшее время эта задача будет автоматизирована». Ынг называет машинное обучение «новым электричеством» — это техническая революция, и компании, которые ее проигнорируют, очень быстро обнаружат себя безнадежно отставшими от конкурентов. С другой стороны, есть и скептики: они считают, что глубокое обучение — это модное слово или ребрендинг нейронных сетей. К примеру, старший преподаватель факультета компьютерных наук ВШЭ Сергей Бартунов считает, что этот алгоритм — лишь один из вариантов (и при этом не лучший) обучения нейросети, который быстро подхватили массовые издания и о которых теперь знают все. Сергей Николенко, соавтор книги «Глубокое обучение»: «История искусственного интеллекта уже знала две „зимы“, когда за волной хайпа и завышенных ожиданий следовало разочарование. Оба раза, кстати, это было связано с нейронными сетями. Сначала в конце 1950-х решили, что перцептрон Розенблатта тут же приведёт к машинному переводу и осознающим себя компьютерам; но, конечно, не получилось из-за ограниченности железа, данных и отсутствия подходящих моделей. А в конце 1980-х ту же ошибку совершили, когда разобрались, как обучать любые архитектуры нейронных сетей. Показалось, что вот он, золотой ключик, открывающий любые двери. Это уже был не такой уж наивный вывод: действительно, если взять нейронную сеть из конца 1980-х, механически сделать её больше (увеличить число нейронов) и обучить на современных наборах данных и современном „железе“, она будет очень даже неплохо работать! Но ни данных, ни „железа“ в то время не хватало, и революцию глубокого обучения пришлось отложить до конца нулевых годов. Сейчас мы живём на третьей волне хайпа искусственного интеллекта. Закончится ли она третьей „зимой“ или созданием сильного ИИ — покажет только время». Автор: Ильнур Шарафиев

Deep Learning

Deep learning (глубокое обучение) — это вид машинного обучения с использованием многослойных нейронных сетей, которые самообучаются на большом наборе данных.

Освойте профессию «Data Scientist»

Основная логика

Искусственный интеллект с глубоким обучением сам находит алгоритм решения исходной задачи, учится на своих ошибках и после каждой итерации обучения дает более точный результат. Deep learning используют в компьютерном зрении (для извлечения информации из изображений), машинном переводе и распознавании человеческой речи на аудиозаписях.

Кратчайшая история

Первые компьютерные модели нейронных сетей появились в 1943 году. Американские ученые Уолтер Питтс и Уоррен Маккалок создали аналог нейронных сетей человеческого мозга и написали алгоритмы для имитации мыслительного процесса. Позднее исследователи изучали алгоритмы работы искусственных нейросетей, но у технологии были ограничения: для полноценной работы в те годы не хватало мощных компьютеров и объемы имеющихся данных были слишком малы.

Профессия / 24 месяца
Data Scientist

Дата-сайентисты решают поистине амбициозные задачи. Научитесь создавать искусственный интеллект, обучать нейронные сети, менять мир и при этом хорошо зарабатывать. Программа рассчитана на новичков и плавно введет вас в Data Science.

Group 1321314349 (1)

В 1970-x появились первые графические процессоры – GPU. Компьютеры с этими компонентами обрабатывали графические данные в сотни раз быстрее, так как GPU специально были заточены только для этой задачи. В будущем это помогло нейронным сетям выиграть конкуренцию у других моделей искусственного интеллекта, например, машины опорных векторов, так как для обучения нейросети нужно быстро перемножить большое количество матриц, а GPU с этим справляются лучше всего.

Современный этап развития глубокого обучения наступил в начале 2010-х годов. Этому помогли рост производительности графических процессоров и появление сверточных нейронных сетей, при создании которых вдохновлялись устройством человеческого глаза. В 2012 году применение deep learning позволило снизить долю ошибок при распознавании объектов на изображениях в рамках проекта ImageNet до 16%. Сегодня нейросети справляются с подобными задачами с точностью до 94-99%, что превышает возможности человека.

Сегодня нейросети применяют и для анализа активности в человеческом мозге. В 2020 году исследователи использовали deep learning для поиска отделов височной доли мозга, отвечающих за распознавание образов у человека.

Как устроены многослойные нейронные сети

Функционально нейросети делят на слои — структуры нейронов с общей задачей.

Входной слой получает набор данных. В простейшем случае каждый нейрон отвечает за один параметр. Например, в нейросетях для прогнозирования цен номеров в отеле это будут название отеля, категория номера и дата заезда. Информацию по этим параметрам входной слой отдает на скрытые слои.

Скрытые слои производят вычисления на основе входящих параметров. В глубоком обучении у нейронных сетей несколько скрытых слоев. Это позволяет нейросети находить больше взаимосвязей во входных данных. Связи между нейронами имеют свой вес — долю значимости параметра среди всехданных. Например, в подсчете цен номеров большой вес будет иметь дата заезда, поскольку отели меняют цены в зависимости от спроса в конкретный день.

Выходной слой выводит результат вычислений, например, цены номеров в отелях.

В глубоком обучении используется больше одного скрытого слоя. Такие модели называют глубокими нейронными сетями (deep neural network). Например, в компьютерном зрении используют сверточные нейросети. В архитектуре таких нейросетей используют множество слоев, подбирая их количество под каждую задачу. Чем дальше информация со входного изображения продвигается по нейросети, тем более абстрактные детали находит нейросеть. Например, на первых слоях модель находит палочки и круги, из которых состоит любое изображение, а в конце сеть уже может найти хвосты и уши для распознавания животных на фотографиях.

Станьте дата-сайентистом и решайте амбициозные задачи с помощью нейросетей

Как обучают нейросети в deep learning

Глубокая нейросеть тренируется проводить точные вычисления на больших наборах данных. Например, для обучения расчету цен в отелях нужны массивы данных о ценах за предыдущие годы. Нейросеть будет находить закономерности в параметрах и с каждой итерацией будет прогнозировать цены в определенный день точнее.

В deep learning есть два основных способа тренировки нейросети: с учителем и без учителя. В первом случае нейросети задают эталонный результат вычислений. При ответах с ошибкой она перенастраивает свои параметры и проводит вычисления снова, пока ответ не приблизится к эталону. Пример – определение стоимости дома.

При обучении без учителя глубокая нейросеть сама классифицирует входящие данные и вычисляет эталонный результат. Пример – кластеризация пользователей сайта по разным группам.

Где применяется deep learning

Машинный перевод

В технологии нейронного машинного перевода (NMT) нейросети обучают на миллионах примеров пар фрагментов текста и их переводов. Глубокое обучение позволяет модели анализировать контекст употребления слов и грамматику. Один из самых известных примеров — GNMT, нейронный машинный перевод от Google.

Компьютерное зрение

В технологиях компьютерного зрения deep learning помогает распознавать объекты на изображениях. Для этого нейронные сети анализируют области на фото, находя в них закономерности, полученные при обучении. Например, компьютерное зрение используют в поисковиках: алгоритмы Яндекс и Google способны находить похожие на заданные фотографии. Также глубокое обучение применяют для распознавания лиц на камерах видеонаблюдения и для редактирования фотографий.

Синтез и распознавание речи

Благодаря глубокому обучению технологии обработки и синтеза речи стали очень точными. Обучение многослойных нейросетей позволяет компьютеру распознавать голос с учетом речевых особенностей: произношения, акцента, скорости речи, возраста говорящего. В синтезе речи, например, в голосовых помощниках Siri и Алиса, глубокое обучение позволяет объединять записанные фрагменты так, чтобы голос казался естественным.

Data Scientist

картинка (74)

Статьи по теме:
От классификации картинок до диагностирования болезней — рассказываем, чем занимается ML-специалист
История любви с первого модуля

Виктория Тюфякова рассказывает про популярные Data Science задачи в ритейле: где открывать новые точки и как магазинам-каннибалам не съесть друг друга

Deep learning & Machine learning: в чем разница?

В чем разница между Deep learning и Machine learning? Насколько они похожи или отличаются друг от друга? Насколько они выгодны для бизнеса? Давайте разберемся!

Machine learning и Deep learning – это 2 подмножества искусственного интеллекта (ИИ), которые активно привлекают к себе внимание уже на протяжении двух лет. Если вы хотите получить простое объяснение их различий, то вы в правильном месте!

Прежде всего, давайте посмотрим на некоторые интересные факты и статистику Deep learning и Machine learning:

Оклад AI-специалиста приравнивается к стоимости Roll-Royce Ghost Series II 2017 года (согласно New York Times);

Есть ли вероятность потерять работу из-за прогресса AI? Согласно недавнему отчету PwC – возможно. Они предполагают, что примерно к 2030 г. 38% всех рабочих мест в США могут быть заменены искусственным интеллектом и технологиями автоматизации;

Первая AI-программа “The Logic Theorist” была создана в 1955 году компанией Newell & Simon (World Information Organization);

Исследователи прогнозируют, что к 2020 году 85% взаимодействия с клиентами будет осуществляться без участия человека (Gartner);

Рынок искусственного интеллекта или машинного обучения вырастет до 5,05 млрд долларов к 2020 году (Motley Fool);

Любопытно? Теперь попытаемся разобраться, в чем на самом деле разница между Deep learning и Machine learning, и как можно использовать их для новых бизнес-возможностей.

Deep learning & Machine learning

Должно быть, вы имеете элементарное представление о Deep learning и Machine learning. Для чайников представляем несложные определения:

Machine learning для чайников:

Подмножество искусственного интеллекта, связанное с созданием алгоритмов, которые могут изменять себя без вмешательства человека для получения желаемого результата — путем подачи себя через структурированные данные.

Deep learning для чайников:

Подмножество машинного обучения, где алгоритмы создаются и функционируют аналогично машинному обучению, но существует множество уровней этих алгоритмов, каждый из которых обеспечивает различную интерпретацию данных, которые он передает. Такая сеть алгоритмов называется искусственными нейронными сетями. Простыми словами, это напоминает нейронные связи, которые имеются в человеческом мозге.

Взгляните на изображение выше. Это коллекция фотографий кошек и собак. Теперь предположим, что вы хотите идентифицировать изображения собак и кошек отдельно с помощью алгоритмов Machine learning и нейронных сетей Deep learning.

Deep learning & Machine learning: в каких случаях используется Machine learning

Чтобы помочь алгоритму ML классифицировать изображения в коллекции в соответствии с двумя категориями (собаки и кошки), ему необходимо сначала представить эти изображения. Но как алгоритм узнает, какой из них какой?

Ответом на этот вопрос является наличие структурированных данных , о чем было написано выше в определении машинного обучения для чайников. Вы просто маркируете изображения собак и кошек, для того чтобы определить особенности обоих животных. Этих данных будет достаточно для обучения алгоритма машинного обучения, и затем он продолжит работу на основе понятных им маркировок и классифицирует миллионы других изображений обоих животных по признакам, которые он изучил ранее.

Deep learning & Machine learning: в каких случаях используется Deep learning

Нейронные сети Deep learning будут использовать другой подход для решения этой проблемы. Основным преимуществом Deep learning является то, что тут не обязательно нужны структурированные / помеченные данные изображений для классификации двух животных. В данном случае, входные данные (данные изображений) отправляются через различные уровни нейронных сетей, причем каждая сеть иерархически определяет специфические особенности изображений.

Это похоже на то, как наш человеческий мозг работает для решения проблем — пропускает запросы через различные иерархии концепций и связанных вопросов, чтобы найти ответ.

После обработки данных через различные уровни нейронных сетях система находит соответствующие идентификаторы для классификации обоих животных по их изображениям.

Примечание . Это всего лишь пример, который поможет вам понять различия в том, как работают основы машинного и глубокого обучения. И Deep learning, и Machine learning на самом деле не применимы одновременно к большинству случаев, включая этот. Причину этого вы узнаете позже.

Таким образом, в этом примере мы увидели, что алгоритм машинного обучения требует маркированных/структурированных данных, чтобы понять различия между изображениями кошек и собак, изучить классификацию и затем произвести вывод.

С другой стороны, сеть глубокого обучения смогла классифицировать изображения обоих животных по данным, обработанным в слоях сети. Для этого не потребовались какие-либо маркированные/структурированные данные, поскольку она опиралась на различные выходные данные, обрабатываемые каждым слоем, которые объединялись для формирования единого способа классификации изображений.

Что мы узнали:

Основное различие между глубоким обучением и машинным обучением обусловлено тем, как данные представляются в систему. Алгоритмы машинного обучения почти всегда требуют структурированных данных, в то время как сети глубокого обучения полагаются на слои ANN (искусственные нейронные сети).
Алгоритмы машинного обучения созданы для того, чтобы «учиться» действовать, понимая помеченные данные, а затем использовать их для получения новых результатов с большим количеством наборов данных. Однако, когда результат получается неверным, возникает необходимость их «доучивать».
Сети глубокого обучения не требуют вмешательства человека, так как многоуровневые слои в нейронных сетях помещают данные в иерархии различных концепций, которые в конечном итоге учатся на собственных ошибках. Тем не менее, даже они могут быть ошибочными, если качество данных недостаточно хорошее.
Данные все решают. Именно качество данных в конечном итоге определяет качество результата.

То, чего не было в примере, но стоит отметить:

Поскольку алгоритмы машинного обучения требуют маркированных данных, они не подходят для решения сложных запросов, которые включают в себя огромное количество данных.
Хоть в данном случае мы увидели применение Deep learning для решения незначительного запроса, — реальное применение нейронных сетей глубокого обучения происходит в гораздо большем масштабе. Фактически, учитывая количество слоев, иерархий и концепций, которые обрабатывают эти сети, Deep learning подходит только для выполнения сложных вычислений, а не простых.
Оба эти подмножества ИИ так или иначе связаны с данными, что позволяет представлять собой определенную форму «интеллекта». Однако следует знать, что глубокое обучение требует гораздо больше данных, чем традиционный алгоритм машинного обучения. Причиной этого является то, что сети Deep learning могут идентифицировать различные элементы в слоях нейронных сетей только при взаимодействии более миллиона точек данных. Алгоритмы машинного обучения, с другой стороны, способны обучаться по заранее запрограммированным заданным критериям.

Надеемся, приведенный пример и его объяснение позволили вам понять различия между Machine learning и Deep learning. Т.к. это объяснение для чайников, то здесь не употреблялись профессиональные термины.

Теперь пришло время забить последний гвоздь. Когда следует использовать глубокое обучение или машинное обучение в своем бизнесе?

Когда использовать Deep learning в бизнесе?

Если у вас огромное количество данных;
Если вам приходится решать задачи, слишком сложные для машинного обучения;
Если у вас есть достаточно вычислительных ресурсов и возможность на управление оборудованием и программным обеспечением для обучения нейронных сетей Deep learning.

Когда использовать Machine learning в бизнесе?

Если у вас есть данные, которые можно структурировать и использовать для обучения алгоритмов Machine learning;
Если вы хотите использовать преимущества ИИ, чтобы обогнать конкурентов;
Лучшие решения Machine learning могут помочь автоматизировать различные бизнес-операции, включая проверку личности, рекламу, маркетинг и сбор информации, а также использовать большие возможности в будущем.

Подведем итоги:

В связи с ростом различных технологий, предприятия в настоящее время ищут компании, занимающиеся технологическим консалтингом, чтобы найти то, что лучше для их бизнеса.

Развитие искусственного интеллекта также порождает рост услуг по разработке программного обеспечения, приложений IoT и блокчейна. В настоящее время разработчики программного обеспечения изучают новые способы программирования, которые более склонны к глубокому обучению и машинному обучению.

Что такое глубокое обучение?

Глубокое обучение — это разновидность машинного обучения, в рамках которого искусственные нейронные сети (алгоритмы, которые должны работать, как человеческий мозг) обучаются на огромных объемах данных.

Принципы работы глубокого обучения

Работу глубокого обучения обеспечивают уровни нейронных сетей, которые представляют собой алгоритмы, действующие примерно так же, как человеческий мозг. Обучение на больших объемах данных позволяет настроить нейроны в нейронной сети. В результате образуется модель глубокого обучения, которая после окончания обучения способна обрабатывать новые данные. Модели глубокого обучения получают информацию из множества источников и анализируют эти данные в режиме реального времени без вмешательства человека. При глубоком обучении графические процессоры (GPU) оптимизируются для моделей обучения, потому что они могут одновременно обрабатывать множественные вычисления.

Глубокое обучение лежит в основе многих технологий искусственного интеллекта (ИИ), которые могут улучшить автоматизацию и аналитику. Большинство людей сталкиваются с глубоким обучением каждый день, когда ищут что-то в Интернете или пользуются своим мобильным телефоном. Глубокое обучение используется не только в многочисленных приложениях, но и для создания субтитров для видеороликов YouTube, в системах распознавания речи на телефонах и умных динамиках, для распознавания лиц на фотографиях, а также в автомобилях с автономным управлением. И по мере того, как исследователи и специалисты по изучению данных выполняют все более сложные проекты, используя возможности глубокого обучения, этот тип искусственного интеллекта будет занимать все более значимое место в нашей жизни.

В чем разница между глубоким обучением и нейронной сетью?

Сравнение глубокого обучения и нейронных сетей

Если сформулировать просто, то глубокое обучение — это название нейронных сетей с множеством уровней.

Чтобы извлечь информацию из данных наблюдений, таких как фотоснимки и аудиозаписи, нейронные сети пропускают данные через несколько взаимосвязанных уровней узлов. Когда информация проходит через уровень, каждый узел на этом уровне выполняет над ней простые операции и выборочно передает результаты другим узлам. Каждый следующий уровень занимается более сложными характеристиками, чем предыдущий, пока сеть не получит конечный результат.

Между уровнем на входе и уровнем на выходе есть скрытые уровни. Здесь и проявляется различие между нейронными сетями и глубоким обучением. В базовых нейронных сетях может существовать один-два скрытых уровня, а в глубоком обучении таких уровней десятки, а иногда и сотни. С увеличением количества разных уровней и узлов повышается точность сети. Однако при увеличении количества уровней также требуется больше параметров и вычислительных ресурсов.

Глубокое обучение классифицирует информацию, пропуская ее через уровни нейронных сетей с настроенными параметрами на входе для приема необработанных данных. Например, если нейронная сеть обучалась на изображениях птиц, она сможет распознавать птиц на новых изображениях. Чем больше в сети уровней, тем точнее результаты, например, сеть сможет отличить ворону от ворона, а не только ворону от курицы. Глубокие нейронные сети, обеспечивающие работу алгоритмов глубокого обучения, содержат несколько скрытых уровней между узлами ввода и вывода. Это значит, что они способны обеспечить более сложную классификацию данных. Алгоритм глубокого обучения необходимо обучить на больших наборах данных: чем больше данных он получит, тем точнее он будет работать. Например, алгоритму нужно обработать тысячи изображений птиц, прежде чем он сможет точно классифицировать птиц на новых изображениях.

В нейронных сетях обучение моделей глубокого обучения требует значительных ресурсов. Нейронная сеть принимает данные на входе и обрабатывает их на скрытых уровнях, используя веса (параметры, показывающие силу связи между введенными данными), которые уточняются в ходе обучения. Затем модель выдвигает предположение. Веса уточняются при обработке учебных данных, чтобы предположения были более точными. Модели глубокого обучения тратят много времени, обучаясь на больших объемах данных, поэтому такое значение имеют высокопроизводительные вычисления.

Графические процессоры оптимизируются для работы с данными и для повышения скорости и производительности масштабных матричных вычислений. Графические процессоры идеально подходят для параллельного решения масштабных задач глубокого и машинного обучения. Благодаря этому приложения машинного обучения, выполняющие сложные расчеты на больших объемах структурированных или неструктурированных данных (таких, как изображения, тексты или видео), добиваются высокой производительности.

Пять основных причин использовать глубокое обучение

Одно из главных преимуществ глубокого обучения состоит в том, что его нейронные сети умеют находить в данных скрытые закономерности и связи, которые ранее были неочевидны. Используя более надежные модели машинного обучения для анализа больших объемов сложных данных, компании могут быстрее и точнее выявлять случаи мошенничества, управлять цепочками поставок и кибербезопасностью, используя следующие возможности:

Анализ неструктурированных данных

Алгоритмы глубокого обучения можно настроить на работу с текстовыми данными, чтобы они анализировали публикации в социальных сетях, новости и результаты опросов и выявляли закономерности, важные для компании и ее клиентов.

Маркировка данных

В ходе обучения алгоритмы глубокого обучения используют маркированные данные. Но после окончания обучения они могут самостоятельно маркировать новые данные и различать типы данных.

Конструирование признаков

Алгоритмы машинного обучения позволяют экономить время, потому что людям не приходится извлекать признаки из необработанных данных вручную.

Эффективность

Когда алгоритм глубокого обучения хорошо обучен, он может выполнять тысячи задач снова и снова быстрее, чем люди.

Учебный курс

Нейронные сети, которые используются в глубоком обучении, могут работать с разными типами данных и приложениями. Кроме того, модель глубокого обучения можно адаптировать, дообучив работе с новыми данными.

В чем разница между ИИ, машинным обучением и глубоким обучением?

ИИ, машинное обучение и глубокое обучение связаны друг с другом, но между ними есть и определенные различия:

Искусственный интеллект (ИИ)

Искусственный интеллект позволяет компьютерам, машинам или роботам подражать способностям человека, таким как принятие решений, распознавание объектов и понимание языка.

Машинное обучение

Машинное обучение — это разновидность ИИ, ориентированная на создание приложений, способных обучаться на материале данных и со временем повышать точность своей работы без вмешательства человека. Алгоритмы машинного обучения можно настроить на выявление закономерностей, которые упростят принятие решений и построение прогнозов, но для этого обычно требуется участие человека.

Глубокое обучение

Глубокое обучение — это разновидность машинного обучения, которая позволяет компьютерам решать более сложные задачи. Модели глубокого обучения также могут самостоятельно создавать новые функции.

Пять примеров использования глубокого обучения

Социальные сети

Глубокое обучение можно использовать для анализа большого количества изображений. Так социальные сети смогут больше узнать о пользователях. Это позволит точнее настроить таргетинг рекламы и рекомендации.

Финансы

Нейронные сети в моделях глубокого обучения можно использовать для прогнозирования стоимости ценных бумаг и разработки стратегий трейдинга. Можно также выявлять угрозы безопасности и защититься от мошенничества.

Здравоохранение

Глубокое обучение может сыграть важную роль в здравоохранении: анализировать тенденции и поведение, чтобы прогнозировать возможность заболевания у пациентов. Работники сферы здравоохранения могут использовать алгоритмы глубокого обучения, чтобы выбирать оптимальные методы осмотра и лечения для своих пациентов.

Кибербезопасность

Глубокое обучение способно обнаруживать продвинутые угрозы лучше, чем традиционные решения для борьбы с вредоносными программами, потому что оно распознает новые подозрительные действия, а не реагирует на известные угрозы, перечисленные в базе данных.

Цифровые помощники

Цифровые помощники — это довольно популярный пример глубокого обучения. Благодаря технологиям обработки текстов на естественных языках (NLP), Siri, Cortana, Google и Alexa могут отвечать на вопросы и адаптироваться к привычкам пользователей.

Что мешает использовать глубокое обучение?

Несмотря на то, что для глубокого обучения постоянно находятся новые сферы применения, это все еще развивающееся направление, у которого есть свои ограничения.

Большие объемы данных

Чтобы научиться давать более точные, значимые и абстрактные ответы, глубокое обучение должно обработать очень большой объем данных. Так же как и человеческому мозгу, алгоритму глубокого обучения нужны примеры, чтобы он мог учиться на своих ошибках и повышать точность результатов.

Недостаток гибкости

Машины пока еще могут учиться работать только в одном узком направлении, и эта особенность может приводить к ошибкам. Сетям глубокого обучения нужны данные для решения одной конкретной задачи. Если им придется выйти за рамки этой задачи, они, скорее всего, начнут ошибаться.

Недостаток прозрачности

Модель обрабатывает миллионы единиц данных в поисках закономерностей, но при этом трудно понять, как именно нейронная сеть пришла к тому или иному выводу. Из-за того, что процесс обработки данных непрозрачен, трудно выявлять возможные непреднамеренные предпочтения и объяснять прогнозы.

Но, несмотря на эти ограничения, специалисты по изучению данных подходят все ближе к созданию высокоточных моделей глубокого обучения, которые смогут учиться без участия человека. Тогда глубокое обучение станет более быстрым и менее ресурсозатратным.

Продукты и решения для глубокого обучения

Объемы бизнес-данных постоянно увеличиваются, поэтому специалистам по изучению данных нужно уметь быстро создавать модели глубокого обучения и при этом обеспечивать гибкость, превосходящую возможности локального ИТ-оборудования.

Oracle Cloud Infrastructure (OCI) предлагает лучшие по соотношению цены и качества вычислительные возможности для рабочих нагрузок с большим объемом данных, быстрое облачное хранилище и сети 100 Гбит/с с поддержкой RDMA, малым временем задержки и высокой пропускной способностью. OCI также предоставляет экземпляры вычислений на GPU для глубокого обучения, предлагает простые в развертывании образы и обеспечивает гибкость: возможность использовать рабочую станцию с одним GPU или кластер с шаблонами конфигурации нескольких GPU.

Для создания, обучения и развертывания моделей машинного обучения в высокопроизводительной облачной инфрастуктуре попробуйте Oracle Cloud Infrastructure Data Science. Специалисты по изучению данных смогут создавать и обучать модели машинного обучения гораздо быстрее, если будут использовать NVIDIA GPU в сеансах блокнотов. Они также смогут выбирать объемы вычислительных ресурсов и хранилища, необходимые для выполнения проекта любого типа, не беспокоясь о том, где взять эти ресурсы и как поддерживать работу инфраструктуры. Кроме того, OCI Data Science ускоряет создание моделей за счет оптимизации задач по изучению данных, таких как доступ к данным, выбор алгоритмов и описание моделей.

Для ознакомления: решения для высокопроизводительных вычислений на OCI
Попробовать машинное обучение в Oracle Cloud

Deep learning что это