Какой из видов машинного обучения основан на взаимодействии алгоритма с внешней средой
Перейти к содержимому

Какой из видов машинного обучения основан на взаимодействии алгоритма с внешней средой

  • автор:

Машинное обучение

Машинное обучение (Machine Learning) — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. Различают два типа обучения. Обучение по прецедентам, или индуктивное обучение, основано на выявлении общих закономерностей по частным эмпирическим данным. Дедуктивное обучение предполагает формализацию знаний экспертов и их перенос в компьютер в виде базы знаний. Дедуктивное обучение принято относить к области экспертных систем, поэтому термины машинное обучение и обучение по прецедентам можно считать синонимами.

Машинное обучение находится на стыке математической статистики, методов оптимизации и классических математических дисциплин, но имеет также и собственную специфику, связанную с проблемами вычислительной эффективности и переобучения. Многие методы индуктивного обучения разрабатывались как альтернатива классическим статистическим подходам. Многие методы тесно связаны с извлечением информации и интеллектуальным анализом данных (Data Mining).

Наиболее теоретические разделы машинного обучения объединены в отдельное направление, теорию вычислительного обучения (Computational Learning Theory, COLT).

Машинное обучение — не только математическая, но и практическая, инженерная дисциплина. Чистая теория, как правило, не приводит сразу к методам и алгоритмам, применимым на практике. Чтобы заставить их хорошо работать, приходится изобретать дополнительные эвристики, компенсирующие несоответствие сделанных в теории предположений условиям реальных задач. Практически ни одно исследование в машинном обучении не обходится без эксперимента на модельных или реальных данных, подтверждающего практическую работоспособность метода.

Общая постановка задачи обучения по прецедентам

Дано конечное множество прецедентов (объектов, ситуаций), по каждому из которых собраны (измерены) некоторые данные. Данные о прецеденте называют также его описанием. Совокупность всех имеющихся описаний прецедентов называется обучающей выборкой. Требуется по этим частным данным выявить общие зависимости, закономерности, взаимосвязи, присущие не только этой конкретной выборке, но вообще всем прецедентам, в том числе тем, которые ещё не наблюдались. Говорят также о восстановлении зависимостей по эмпирическим данным — этот термин был введён в работах Вапника и Червоненкиса.

Наиболее распространённым способом описания прецедентов является признаковое описание. Фиксируется совокупность n показателей, измеряемых у всех прецедентов. Если все n показателей числовые, то признаковые описания представляют собой числовые векторы размерности n. Возможны и более сложные случаи, когда прецеденты описываются временными рядами или сигналами, изображениями, видеорядами, текстами, попарными отношениями сходства или интенсивности взаимодействия, и т. д.

Для решения задачи обучения по прецедентам в первую очередь фиксируется модель восстанавливаемой зависимости. Затем вводится функционал качества, значение которого показывает, насколько хорошо модель описывает наблюдаемые данные. Алгоритм обучения (learning algorithm) ищет такой набор параметров модели, при котором функционал качества на заданной обучающей выборке принимает оптимальное значение. Процесс настройки (fitting) модели по выборке данных в большинстве случаев сводится к применению численных методов оптимизации.

Замечание о терминологии. В зарубежных публикациях термин algorithm употребляется только в указанном выше смысле, то есть это вычислительная процедура, которая по обучающей выборке производит настройку модели. Выходом алгоритма обучения является функция, аппроксимирующая неизвестную (восстанавливаемую) зависимость. В задачах классификации аппроксимирующую функцию принято называть классификатором (classifier), концептом (concept) или гипотезой (hypothesys); в задачах восстановления регрессии — функцией регрессии; иногда просто функцией. В русскоязычной литературе аппроксимирующую функцию также называют алгоритмом, подчёркивая, что и она должна допускать эффективную компьютерную реализацию.

Типология задач обучения по прецедентам

Основные стандартные типы задач

  • Обучение с учителем (supervised learning) — наиболее распространённый случай. Каждый прецедент представляет собой пару «объект, ответ». Требуется найти функциональную зависимость ответов от описаний объектов и построить алгоритм, принимающий на входе описание объекта и выдающий на выходе ответ. Функционал качества обычно определяется как средняя ошибка ответов, выданных алгоритмом, по всем объектам выборки.
    • Задача классификации (classification) отличается тем, что множество допустимых ответов конечно. Их называют метками классов (class label). Класс — это множество всех объектов с данным значением метки.
    • Задача регрессии (regression) отличается тем, что допустимым ответом является действительное число или числовой вектор.
    • Задача ранжирования (learning to rank) отличается тем, что ответы надо получить сразу на множестве объектов, после чего отсортировать их по значениям ответов. Может сводиться к задачам классификации или регрессии. Часто применяется в информационном поиске и анализе текстов.
    • Задача прогнозирования (forecasting) отличается тем, что объектами являются отрезки временных рядов, обрывающиеся в тот момент, когда требуется сделать прогноз на будущее. Для решения задач прогнозирования часто удаётся приспособить методы регрессии или классификации, причём во втором случае речь идёт скорее о задачах принятия решений.
    • Обучение без учителя (unsupervised learning). В этом случае ответы не задаются, и требуется искать зависимости между объектами.
      • Задача кластеризации (clustering) заключается в том, чтобы сгруппировать объекты в кластеры, используя данные о попарном сходстве объектов. Функционалы качества могут определяться по-разному, например, как отношение средних межкластерных и внутрикластерных расстояний.
      • Задача поиска ассоциативных правил (association rules learning). Исходные данные представляются в виде признаковых описаний. Требуется найти такие наборы признаков, и такие значения этих признаков, которые особенно часто (неслучайно часто) встречаются в признаковых описаниях объектов.
      • Задача фильтрации выбросов (outliers detection) — обнаружение в обучающей выборке небольшого числа нетипичных объектов. В некоторых приложениях их поиск является самоцелью (например, обнаружение мошенничества). В других приложениях эти объекты являются следствием ошибок в данных или неточности модели, то есть шумом, мешающим настраивать модель, и должны быть удалены из выборки, см. также робастные методы и одноклассовая классификация.
      • Задача построения доверительной области (quantile estimation) — области минимального объёма с достаточно гладкой границей, содержащей заданную долю выборки.
      • Задача сокращения размерности (dimensionality reduction) заключается в том, чтобы по исходным признакам с помощью некоторых функций преобразования перейти к наименьшему числу новых признаков, не потеряв при этом никакой существенной информации об объектах выборки. В классе линейных преобразований наиболее известным примером является метод главных компонент.
      • Задача заполнения пропущенных значений (missing values) — замена недостающих значений в матрице объекты–признаки их прогнозными значениями.
      • Частичное обучение (semi-supervised learning) занимает промежуточное положение между обучением с учителем и без учителя. Каждый прецедент представляет собой пару «объект, ответ», но ответы известны только на части прецедентов. Пример прикладной задачи — автоматическая рубрикация большого количества текстов при условии, что некоторые из них уже отнесены к каким-то рубрикам.
      • Трансдуктивное обучение (transductive learning). Дана конечная обучающая выборка прецедентов. Требуется по этим частным данным сделать предсказания отностительно других частных данных — тестовой выборки. В отличие от стандартной постановки, здесь не требуется выявлять общую закономерность, поскольку известно, что новых тестовых прецедентов не будет. С другой стороны, появляется возможность улучшить качество предсказаний за счёт анализа всей тестовой выборки целиком, например, путём её кластеризации. Во многих приложениях трансдуктивное обучение практически не отличается от частичного обучения.
      • Обучение с подкреплением (reinforcement learning). Роль объектов играют пары «ситуация, принятое решение», ответами являются значения функционала качества, характеризующего правильность принятых решений (реакцию среды). Как и в задачах прогнозирования, здесь существенную роль играет фактор времени. Примеры прикладных задач: формирование инвестиционных стратегий, автоматическое управление технологическими процессами, самообучение роботов, и т.д.
      • Динамическое обучение (online learning) может быть как обучением с учителем, так и без учителя. Специфика в том, что прецеденты поступают потоком. Требуется немедленно принимать решение по каждому прецеденту и одновременно доучивать модель зависимости с учётом новых прецедентов. Как и в задачах прогнозирования, здесь существенную роль играет фактор времени.
      • Активное обучение (active learning) отличается тем, что обучаемый имеет возможность самостоятельно назначать следующий прецедент, который станет известен. См. также Планирование экспериментов.
      • Метаобучение (meta-learning или learning-to-learn) отличается тем, что прецедентами являются ранее решённые задачи обучения. Требуется определить, какие из используемых в них эвристик работают более эффективно. Конечная цель — обеспечить постоянное автоматическое совершенствование алгоритма обучения с течением времени.
        • Многозадачное обучение (multi-task learning). Набор взаимосвязанных или схожих задач обучения решается одновременно, с помощью различных алгоритмов обучения, имеющих схожее внутренне представление. Информация о сходстве задач между собой позволяет более эффективно совершенствовать алгоритм обучения и повышать качество решения основной задачи.
        • Индуктивный перенос (inductive transfer). Опыт решения отдельных частных задач обучения по прецедентам переносится на решение последующих частных задач обучения. Для формализации и сохранения этого опыта применяются реляционные или иерархические структуры представления знаний.
        • Иногда к метаобучению ошибочно относят построение алгоритмических композиций, в частности, бустинг; однако в композициях несколько алгоритмов решают одну и ту же задачу, тогда как метаобучение предполагает, что решается много разных задач.

        Специфические прикладные задачи

        Некоторые задачи, возникающие в прикладных областях, имеют черты сразу нескольких стандартных типов задач обучения, поэтому их трудно однозначно отнести к какому-то одному типу.

        • Формирование инвестиционного портфеля (portfolio selection) — это динамическое обучение с подкреплением, в котором очень важен отбор информативных признаков. Роль признаков играют финансовые инструменты. Состав оптимального набора признаков (портфеля) может изменяться со временем. Функционалом качества является долгосрочная прибыль от инвестирования в данную стратегию управления портфелем.
        • Коллаборативная фильтрация (collaborative filtering) — это прогнозирование предпочтений пользователей на основе их прежних предпочтений и предпочтений схожих пользователей. Применяются элементы классификации, кластеризации и восполнения пропущенных данных. См. также Персонализация и Анализ клиентских сред.

        Приложения

        Целью машинного обучения является частичная или полная автоматизация решения сложных профессиональных задач в самых разных областях человеческой деятельности. Машинное обучение имеет широкий спектр приложений:

        • Категория:Приложения в биоинформатике
        • Категория:Приложения в медицине
          • Медицинская диагностика
          • Кредитный скоринг (credit scoring)
          • Предсказание ухода клиентов (churn prediction)
          • Обнаружение мошенничества (fraud detection)
          • Биржевой технический анализ (technical analysis)
          • Биржевой надзор (market surveillance)
          • Техническая диагностика
          • Робототехника
          • Компьютерное зрение
          • Распознавание речи
          • Распознавание текста
          • Обнаружение спама
          • Категоризация документов
          • Распознавание рукописного ввода

          Сфера применений машинного обучения постоянно расширяется. Повсеместная информатизация приводит к накоплению огромных объёмов данных в науке, производстве, бизнесе, транспорте, здравоохранении. Возникающие при этом задачи прогнозирования, управления и принятия решений часто сводятся к обучению по прецедентам. Раньше, когда таких данных не было, эти задачи либо вообще не ставились, либо решались совершенно другими методами.

          Подходы и методы

          Подход к задачам обучения — это концепция, парадигма, точка зрения на процесс обучения, приводящая к набору базовых предположений, гипотез, эвристик, на основе которых строится модель, функционал качества и методы его оптимизации.

          Разделение методов «по подходам» довольно условно. Разные подходы могут приводить к одной и той же модели, но разным методам её обучения. В некоторых случаях эти методы отличаются очень сильно, в других — совсем немного и «плавно трансформируются» друг в друга путём незначительных модификаций.

          Статистическая классификация

          В статистике решение задач классификации принято называть дискриминантным анализом.

          Байесовская теория классификации основана на применении оптимального байесовского классификатора и оценивании плотностей распределения классов по обучающей выборке. Различные методы оценивания плотности порождают большое разнообразие байесовских классификаторов. Среди них можно выделить три группы методов:

          Параметрическое оценивание плотности

          • квадратичный дискриминант;
          • линейный дискриминант Фишера;

          Непараметрическое оценивание плотности

          Оценивание плотности как смеси параметрических плотностей

          • разделение смеси распределений, EM-алгоритм;
          • метод радиальных базисных функций.

          Несколько особняком стоит наивный байесовский классификатор, который может быть как параметрическим, так и непараметрическим. Он основан на нереалистичном предположении о статистической независимости признаков. Благодаря этому метод чрезвычайно прост.

          Другие теоретико-вероятностные и статистические подходы:

          • скрытая марковская цепь;
          • байесовская сеть.

          Классификация на основе сходства

          Метрические алгоритмы классификации применяются в тех задачах, где удаётся естественным образом задавать объекты не их признаковыми описаниями, а матрицей попарных расстояний между объектами. Классификация объектов по их сходству основана на гипотезе компактности, которая гласит, что в «хорошей задаче» схожие объекты чаще лежат в одном классе, чем в разных.

          Метрические алгоритмы относятся к методам рассуждения на основе прецедентов (Case Based Reasoning, CBR>. Здесь действительно можно говорить о «рассуждениях», так как на вопрос «почему объект u был отнесён к классу y?» алгоритм может дать понятный эксперту ответ: «потому, что имеются прецеденты — схожие с~ним объекты, принадлежащие классу y», и~предъявить список этих прецедентов.

          Наиболее известные метрические алгоритмы классификации:

          • метод ближайших соседей;
          • метод парзеновского окна;
          • метод потенциальных функций;
          • метод радиальных базисных функций;
          • отбор эталонных объектов.

          Классификация на основе разделимости

          Большая группа методов классификации основана на явном построении разделяющей поверхности в пространстве объектов. Из них чаще всех применяются Линейные классификаторы:

          • линейный дискриминант Фишера;
          • однослойный персептрон;
          • логистическая регрессия;
          • машина опорных векторов = Метод опорных векторов = SVM.

          Нейронные сети

          Нейронные сети основаны на принципе коннективизма — в них соединяется большое количество относительно простых элементов, а обучение сводится к построению оптимальной структуры связей и настройке параметров связей.

          • персептрон;
          • однослойный персептрон;
          • многослойный персептрон;
          • метод стохастического градиента
          • метод обратного распространения ошибки = Backpropagation = Backprop
          • Нейронная сеть Кохонена ;
          • гибридная сеть встречного распространения;
          • сеть радиальных базисных функций;
          • оптимальное усечение сети = Optimal Brain Damage = OBD.

          Индукция правил (поиск закономерностей)

          Категория:Логические алгоритмы классификации представляют собой композиции простых, легко интерпретируемых правил.

          • решающее дерево;
          • решающий список;
          • решающий лес;
          • тестовый алгоритм;
          • алгоритм вычисления оценок;
          • дерево регрессии;
          • ассоциативные правила = правила ассоциации.

          Кластеризация

          • графовые алгоритмы кластеризации;
          • cтатистические алгоритмы кластеризации;
          • Алгоритм ФОРЕЛЬ;
          • Быстрый алгоритм нахождения метрических сгущений с использованием матрицы парных расстояний в ранговых шкалах.;
          • Алгоритм k средних = k-means;
          • иерархическая кластеризация;
          • ко-кластеризация;
          • Нейронная сеть Кохонена;
          • Ансамбль кластеризаторов,

          Регрессия

          • линейная регрессия;
          • нелинейная регрессия;
          • векторная регрессия;
          • логистическая регрессия.

          Алгоритмические композиции

          • взвешенное голосование;
          • бустинг;
          • бэггинг;
          • метод случайных подпространств;
          • метод комитетов;
          • смесь экспертов.

          Сокращение размерности

          • селекция признаков = отбор признаков;
          • метод главных компонент;
          • метод независимых компонент;
          • многомерное шкалирование.

          Выбор модели

          • минимизация эмпирического риска;
          • структурная минимизация риска;
          • минимум длины описания;
          • критерий Акаике = AIC;
          • байесовский информационный критерий = BIC;
          • скользящий контроль;
          • извлечение признаков;
          • метод группового учёта аргументов = МГУА = самоорганизация моделей;
          • случайный поиск с адаптацией;
          • генетический алгоритм.

          Байесовский вывод

          • байесовский вывод
          • байесовский информационный критерий = BIC;
          • метод релевантных векторов = RVM
          • байесовская сеть

          Софт

          На середину 2016 года лидирующие позиции в мире статистической обработки информации занимает R, который, в частности, содержит обширный набор пакетов для машинного обучения.

          Нейронные сети: нейронная сеть с одним скрытым слоем реализована в пакете nnet (поставляется в составе R). Пакет RSNNS предлагает интерфейс к Stuttgart Neural Network Simulator (SNNS). Интерфейс к библиотеке FCNN позволяет расширяемые пользователем искусственные нейронные сети в пакете FCNN4R.

          Рекурсивное разделение: модели с древовидной структурой для регрессии, классификации и анализа дожития, следующие идеям в документации CART, реализованы в пакетах rpart и tree (поставляется с R). Пакет rpart рекомендуется для вычислений подобных CART-деревьям. Обширный набор инструментов алгоритмов разделения доступен в пакете Weka, RWeka обеспечивает интерфейс этой реализации, включая J4.8-вариант C4.5 и M5. Кубиxческий пакет подгоняет модели, основанными на правилах (подобными деревьям) с линейными регрессионными моделями в терминальных листах, основанных на коррекции наблюдений и бустинге. Пакет C50 может подогнать деревья классификации C5.0, модели, основанные на правилах и их версиях бустинга.

          Два рекурсивных алгоритма разделения с несмещенным выбором переменной и статистическим критерием остановки реализованы в пакете party. Функция ctree () основывается на непараметрических условных процедурах вывода для тестирования независимости между откликом и каждой входной переменной, тогда как mob() может использоваться, чтобы разделить параметрические модели. Расширяемые инструменты для визуализации двоичных деревьев и распределений узла отклика также доступны в пакете party.

          Модели древовидной структуры с изменяемыми коэффициентами реализованы в пакете vcrpart.

          Для задач с двоичными входными переменными пакет LogicReg реализует логистическую регрессию. Графические инструменты для визуализации деревьев доступны в пакете maptree.

          Деревья для моделирования длящихся данных посредством случайных эффектов предлагаются пакетом REEMtree. Разделение смешанных моделей выполнено RPMM. Вычислительная инфраструктура для представления деревьев и объединенных методов для предсказания и визуализации реализована в partykit. Эта инфраструктура используется пакетом evtree, чтобы реализовать эволюционное приобретение знаний о глобально оптимальных деревьях. Наклонные деревья доступны в пакете oblique.tree.

          Случайные леса: ссылка на реализованный алгоритм случайного лесного для регрессии и классификации доступна в пакете randomForest. У пакета ipred есть бэггинг (укладывание в мешки) для регрессии, классификации и анализа дожития, а также связывания, комбинации многоуровневых моделей через приобретение знаний ансамблем. Кроме того, вариант случайного леса для переменных отклика, измеренных в произвольных весах на основе условных деревьев вывода, реализован в пакете party. Пакет randomForestSRC реализует объединенную обработку случайных лесов Бреимена для задач дожития, регрессии и классификации. Квантильные регрессионные леса в пакете quantregForest позволяют квантилей числового отклика на исследовательских переменных с помощью подхода случайного леса. Для двоичных данных LogicForest — лес деревьев логистической регрессии (пакет LogicReg. Пакеты varSelRF и Boruta фокусируются на выборе переменной по средним значениям для алгоритмов случайных лесов. Кроме того, пакеты ranger и Rborist предлагают интерфейсы R к быстрым реализациям C++ случайных лесов.

          Методы регуляризации и усечения: регрессионные модели с некоторым ограничением на оценки параметров могут быть подогнаны с использованием пакетов lasso2 и lars. Lasso с одновременными обновлениями для групп параметров (groupwise лассо) доступно в пакете grplasso; grpreg пакет реализует много других моделей со групповыми штрафами, такими как группа MCP группа SCAD. Путь регуляризации L1 для обобщенных линейных моделей и моделей Cox может быть получен из функций, доступных в пакете glmpath, всем лассо или эластично-сетевом пути регуляризации (также в elasticnet) для линейной регрессии, логистической, и регрессионные полиномные модели могут быть получены из пакета glmnet. Пакет со штрафами предоставляет альтернативную реализацию лассо (L1), и гребенки (L2) для шрафовки регрессионных моделей (и GLM и модели Cox). Пакет RXshrink может использоваться, чтобы идентифицировать и вывести на экран ТРАССИРОВКИ для указанного пути усечения и определения надлежащей степени усечения. Полупараметрические аддитивные модели опасностей под штрафами лассо предлагаются пакетом ahaz. Обобщение метода уменьшения Лассо для линейной регрессии называют ослабленным лассо и доступно в пакете relaxo. Проекция Фишера LDA с дополнительным штрафом ЛАССО, чтобы произвести прореженные решения реализована в пакете penalizedLDA. Прореженный классификатор центроидов и утилиты для анализов экспрессии гена реализованы в пакете pamr. Реализация многомерных адаптивных регрессии сплайнов доступна в пакете earth. Выбор переменной посредством выбора клона в SVMs в оштрафованных моделях (SCAD или штрафы L1) реализован в пакете penalizedSVM. Различные формы оштрафованного дискриминантного анализа реализованы в пакетах hda, rda, и sda. Пакет LiblineaR предлагает интерфейс библиотеке LIBLINEAR. пакет ncvreg подгоняет моделям линейной регрессии и логистической регрессии под SCAD и штрафы регрессии MCP, используя координационный алгоритм спуска. Регрессия гребня высокой производительности (т.е. штрафования со многими переменными прогноза) и гетероскедастичные модели эффектов является содержанием пакета bigRR. Реализация методов ограничений для упорядоченной минимизации рисков — доступен пакете bmrm. Также имеется лассо с негауссовским и ошибками гетероскедастичности оценено hdm, вывод на низко-размерных компонентах регрессии Лассо и предполагаемых эффектов обработки в высоко-размерной установке. Пакет SIS реализует уверенный независимый отбор в линейной обобщенной модели и модели Cox.

          Бустинг (усиление): различные формы градиентного бустингаа реализованы в пакете gbm (бустинг, основанный на дереве функциональный градиентный спуск). Оптимизируется функция потерь Hinge с помощью бустинга, реализованного в пакете bst. Можно использовать пакет GAMBoost для подгонки обобщенных аддитивных моделей алгоритмом бустинга. Расширяемая платформа бустинга для обобщенных линейных, аддитивных и непараметрических моделей доступна в пакете mboost. Основанный на правдоподобии бустинг для моделей Cox реализовано в CoxBoost и для смешанных моделей в GMMBoost. Можно подогнать модели GAMLSS, используя бустинг gamboostLSS.

          Методы опорных векторов и ядерные методы: функция svm () из e1071 предлагает интерфейс библиотеке LIBSVM, и пакет kernlab реализует гибкую платформу для ядерного обучения (включая SVMs, RVMs и другие алгоритмы ядерного обучения). Интерфейс к реализации SVMlight (только для one-all классификации) дан в пакете klaR. Соответствующая размерность в пространствах признаков ядра может быть оценена, используя rdetools, который также предлагает процедуры для выбора модели и предсказание.

          Байесовские Методы: Bayesian Additive Regression Trees (BART), где заключительная модель определена с точки зрения суммы по многим слабым ученикам (мало чем отличающийся от методов ансамбля), реализованы в пакете BayesTree. Байесовская нестационарная, полупараметрическая нелинейная регрессия и проектирование с помощью древовидного Гауссовского процесса, включая Байесовский CART и древовидной линейные модели, доступны в пакете tgp.

          Оптимизация с использованием генетических алгоритмов: Пакеты rgp и rgenoud предлагают подпрограммы оптимизации на основе генетических алгоритмов. Пакет Rmalschains реализует имитационные алгоритмы с цепочками локального поиска, которые являются специальным типом эволюционных алгоритмов, комбинируя генетический алгоритм устойчивого состояния с локальным поиском для реально оцененной параметрической оптимизации.

          Правила ассоциации: Пакет arules обеспечивает обе структуры данных для эффективной обработки прореженных двоичных данных, а также интерфейсов к реализациям Apriori, и Eclat для интеллектуальной обработки частотных наборов элементов, максимальных частотных наборов элементов, замкнутых частотных наборов элементов и правила ассоциации.

          Системы, основанные на нечетких правилах: пакет frbs реализует стандартные методы для изучения систем, основанных на нечетких правилах для регрессии и классификации. Пакет RoughSets содержит всесторонние реализации грубой теории множеств (RST) и нечеткой грубой теории множеств (FRST) в одном пакете.

          Выбор и проверка модели: пакет e1071 содержит функцию настройки tune() для настройки параметров, а функция errorest () (ipred) может использоваться для оценки коэффициента ошибок. Параметр стоимости C для методов опорных векторов может быть выбран, использовав функциональность пакета svmpath. Функции для анализа ROC и другие методы визуализации для сравнения классификаторов доступны в пакете ROCR. Пакеты hdi и stabs реализуют выбор устойчивости для диапазона моделей, hdi также предлагает другие процедуры вывода в высоко-размерных моделях.

          Другие процедуры: очевидные классификаторы определяют количество неопределенности по поводу класса тестовых образцов, используя функцию mass Dempster-Shafer в пакете evclass. Пакет OneR (Одно Правило) предлагает алгоритм классификации с улучшениями для сложной обработки отсутствующих значений и числовых данных вместе с обширными диагностическими функциями

          Пакеты-обертки: пакет caret содержит функции для подгонки моделей с последующим предсказанием, включая настройку параметров и и мер значимости переменных. Пакет может использовать с различными инструментами по организации параллельных вычислений (например, MPI, NWS и т.д.). В подобном духе пакет mlr предлагает высокоуровневый интерфейс различным пакетам статистически и машинного обучения. Пакет SuperLearner реализует аналогичный набор инструментов. Пакет h2o реализует платформу машинного обучения общего назначения, у которой есть масштабируемые реализации многих популярных алгоритмов, такие как случайный лес, GBM, GLM (с эластичной сетевой регуляризацией), и глубокое обучение (feedforward многоуровневые сети), среди других.

          GUI rattle — графический пользовательский интерфейс, обеспечивающий полный цикл машинного обучения: предварительный анализ данных (data mining), подгонку 6 типов моделей, предсказание по этим моделям и оценку реузльтативности моделей. Все действия пользователя протоколируются на R, что может быть использовано в дальнейшем.

          CORElearn реализует довольно широкий класс машинного обучения.

          Конференции

          Основные международные конференции — ICML, NIPS, ICPR, COLT.

          Международные конференции в странах СНГ — ИОИ.

          Основные всероссийские конференции — ММРО, РОАИ.

          Ссылки

          • Google Machine Learning News — форумы и новости по машинному обучению на Гугле
          • [1] — перечень пакетов, содержащихся в R, по машинному обучению
          • hunch.net — блог Джона Лангфорда (John Langford) по проблемам машинного обучения
          • ML OSS (Machine learning open source software) — коллективный сайт разработчиков открытого софта для машинного обучения
          • KDnuggets — крупнейший портал по интеллектуальному анализу данных, поддерживаемый Григорием Пятецким-Шапиро, одним из идеологов Data Mining
          • ML challenges — cоревнования в решении задач машинного обучения
          • KDNet (Knowledge Discovery Network of Excellence) — международный проект, объединяющий представителей науки и бизнеса, решающих практические задачи интеллектуального анализа данных
          • MLpedia — вики-ресурс по машинному обучению, в последнее время почему-то недоступен
          • Wikipedia — категория Machine Learning в англоязычной Википедии
          • CiteSeer — основной источник знаний по Computer Science
          • CiteSeer X — альфа-версия нового CiteSeer, пока глючная, но зато пополняемая

          См. также

          • Как обучаются машины? Научно-популярная статья (Н.Ю.Золотых)
          • Машинное обучение (курс лекций, Н.Ю.Золотых)
          • Машинное обучение (курс лекций, К.В.Воронцов)
          • Машинное обучение и обучаемость: сравнительный обзор ( В.И.Донской)[2]
          • Математические методы распознавания образов (курс лекций, А.Е. Лепский, А.Г. Броневич)
          • Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов, 2009)
          • Прикладная регрессия и оптимизация (курс лекций, B.В.Стрижов)
          • Все учебные курсы на MachineLearning.ru

          Курсы лекций

          • Воронцов К. В. Математические методы обучения по прецедентам. Курс лекций. МФТИ. 2006
          • Сергей Николенко. Курс лекций «Самообучающиеся системы»
          • Сергей Николенко. Курс лекций «Вероятностное обучение»

          Использованная литература

          1. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983.
          2. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: исследование зависимостей. — М.: Финансы и статистика, 1985.
          3. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.
          4. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. — М.: Наука, 1974.
          5. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979.
          6. Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: Фазис, 2006. ISBN 5-7036-0108-8.
          7. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. ISBN 5-86134-060-9.
          8. Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. — Киев: Наукова думка, 2004. ISBN 966-00-0341-2.
          9. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. — Springer, 2001. ISBN 0-387-95284-5.
          10. MacKay D.On-line book: Information Theory, Inference, and Learning Algorithms. — 2005.
          11. Mitchell T. Machine Learning. — McGraw-Hill Science/Engineering/Math, 1997. ISBN 0-07-042807-7.
          12. Schölkopf B., Smola A.J. Learning with Kernels. Support Vector Machines, Regularization, Optimization, and Beyond. — MIT Press, Cambridge, MA, 2002 ISBN 13-978-0-262-19475-4 [3]
          13. Vapnik V.N. Statistical learning theory. — N.Y.: John Wiley & Sons, Inc., 1998. [4]
          14. Witten I.H., Frank E. Data Mining: Practical Machine Learning Tools and Techniques (Second Edition). — Morgan Kaufmann, 2005 ISBN 0-12-088407-0[5]

          Разработка метода оперативного прогнозирования динамики развития лесного пожара посредством искусственного интеллекта и глубокого машинного обучения Текст научной статьи по специальности «Компьютерные и информационные науки»

          ЛЕСНОЙ ПОЖАР / ОПЕРАТИВНОЕ ПРОГНОЗИРОВАНИЕ / ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ / ГЛУБОКОЕ МАШИННОЕ ОБУЧЕНИЕ / СВЁРТОЧНАЯ НЕЙРОННАЯ СЕТЬ / МЕТОД ПРОГНОЗИРОВАНИЯ / НЕОПРЕДЕЛЕННОСТЬ / НЕСТАЦИОНАРНОСТЬ / FOREST FIRE / OPERATIONAL PREDICTION / ARTIFICIAL INTELLIGENCE / DEEP MACHINE LEARNING / CONVOLUTIONAL NEURAL NETWORK (CNN) / PREDICTION METHOD / UNCERTAINTY / NONSTATIONARITY

          Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Станкевич Татьяна Сергеевна

          ЦЕЛЬ данной работы состоит в повышении эффективности оперативного прогнозирования динамики развития лесного пожара при нестационарности и неопределенности посредством разработки метода оперативного прогнозирования на базе искусственного интеллекта ( Artificial Intelligence ) и глубокого машинного обучения ( Deep Machine Learning ). МЕТОДЫ. Для решения поставленной задачи использованы методы системного анализа, методы теории нейронных сетей и глубокое машинное обучение. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ. Для обеспечения формирования эффективного оперативного прогноза в сложных условиях (в условиях неопределенности и нестационарности ) разработан метод оперативного прогнозирования динамики развития лесного пожара , предполагающий построение и настройку свёрточной нейронной сети СНС (или Convolutional neural network CNN). В работе описана общая логическая схема предлагаемого метода. Для построения и настройки сети использованы: данные о пожаре, полученные в режиме реального времени с помощью сканирующих радиометров MODIS и VIIRS, установленных на метеоспутниках; данные о факторах окружающей среды, характере лесных насаждений и виде пожара. ВЫВОДЫ. Разработанный метод оперативного прогнозирования на базе искусственного интеллекта и глубокого машинного обучения позволяет выполнить анализ визуальных данных и выявить ключевые зависимости распространения лесного пожара от факторов внешней среды, характера лесных насаждений и вида пожара.

          i Надоели баннеры? Вы всегда можете отключить рекламу.

          Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Станкевич Татьяна Сергеевна

          Применение сверточных нейронных сетей для решения задачи оперативного прогнозирования динамики распространения лесных пожаров

          Моделирование распространения лесного пожара при нестационарности и неопределенности посредством искусственного интеллекта и глубокого машинного обучения

          Оперативное прогнозирование пространственно распределенных динамических процессов на поверхности земли на основе усвоения данных

          Прогнозирование развития лесных пожаров на основе аэрокосмического мониторинга

          Разработка системы поддержки принятия решений руководителя тушения пожара на базе нечеткой нейронной сети ANFIS при пожаре на территории морского порта

          i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
          i Надоели баннеры? Вы всегда можете отключить рекламу.

          DEVELOPMENT OF OPERATIONAL PREDICTION METHOD OF FOREST FIRE DYNAMICS BASED ON ARTIFICIAL INTELLIGENCE AND DEEP MACHINE LEARNING

          PURPOSE. The purpose of the present research is to increase the efficiency of operational prediction of forest fire dynamics under nonstationarity and uncertainty through the development of the operational prediction method based on Artificial Intelligence and Deep Machine Learning . METHODS. The methods of system analysis, neural networks, and deep machine learning are used to solve the set problem. RESULTS AND THEIR DISCUSSION. To ensure the formation of an effective operational prediction in the complex conditions of uncertainty and nonstationarity a method for operational prediction of forest fire dynamics has been developed. It consists in building and training of the convolutional neural network (CNN). The paper describes the general logical scheme of the proposed method. CNN construction and setting is performed on the basis of the following data: the real-time fire data from the satellites using MODIS and VIIRS, data on environmental factors, data on the type of forest plantations and the type of fire. CONCLUSIONS. The developed operational prediction method based on Artificial Intelligence and Deep Machine Learning allows to analyze visual data and reveal the key dependences of forest fire propagation on the environmental factors, the type of forest plantations and the type of fire.

          Текст научной работы на тему «Разработка метода оперативного прогнозирования динамики развития лесного пожара посредством искусственного интеллекта и глубокого машинного обучения»

          Оригинальная статья / Original article УДК 004.65, 614.841.42

          РАЗРАБОТКА МЕТОДА ОПЕРАТИВНОГО ПРОГНОЗИРОВАНИЯ

          ДИНАМИКИ РАЗВИТИЯ ЛЕСНОГО ПОЖАРА ПОСРЕДСТВОМ ИСКУССТВЕННОГО

          ИНТЕЛЛЕКТА И ГЛУБОКОГО МАШИННОГО ОБУЧЕНИЯ

          Калининградский государственный технический университет, 236022, Российская Федерация, г. Калининград, Советский проспект, 1.

          РЕЗЮМЕ. ЦЕЛЬ данной работы состоит в повышении эффективности оперативного прогнозирования динамики развития лесного пожара при нестационарности и неопределенности посредством разработки метода оперативного прогнозирования на базе искусственного интеллекта (Artificial Intelligence) и глубокого машинного обучения (Deep Machine Learning). МЕТОДЫ. Для решения поставленной задачи использованы методы системного анализа, методы теории нейронных сетей и глубокое машинное обучение. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ. Для обеспечения формирования эффективного оперативного прогноза в сложных условиях (в условиях неопределенности и нестационарности) разработан метод оперативного прогнозирования динамики развития лесного пожара, предполагающий построение и настройку свёрточной нейронной сети — СНС (или Convolutional neural network — CNN). В работе описана общая логическая схема предлагаемого метода. Для построения и настройки сети использованы: данные о пожаре, полученные в режиме реального времени с помощью сканирующих радиометров MODIS и VIIRS, установленных на метеоспутниках; данные о факторах окружающей среды, характере лесных насаждений и виде пожара. ВЫВОДЫ. Разработанный метод оперативного прогнозирования на базе искусственного интеллекта и глубокого машинного обучения позволяет выполнить анализ визуальных данных и выявить ключевые зависимости распространения лесного пожара от факторов внешней среды, характера лесных насаждений и вида пожара.

          Ключевые слова: лесной пожар, оперативное прогнозирование, искусственный интеллект, глубокое машинное обучение, свёрточная нейронная сеть, метод прогнозирования, неопределенность, нестационарность.

          Информация о статье. Дата поступления 13 июля 2018 г.; дата принятия к печати 27 августа 2018 г.; дата онлайн-размещения 28 сентября 2018 г.

          Формат цитирования. Станкевич Т.С. Разработка метода оперативного прогнозирования динамики развития лесного пожара посредством искусственного интеллекта и глубокого машинного обучения // Вестник Иркутского государственного технического университета. 2018. Т. 22. № 9. С. 111-120. DOI: 10.21285/1814-3520-2018-9-111120

          DEVELOPMENT OF OPERATIONAL PREDICTION METHOD OF FOREST FIRE DYNAMICS BASED ON ARTIFICIAL INTELLIGENCE AND DEEP MACHINE LEARNING

          Kaliningrad State Technical University,

          1, Sovetskiy pr., Kaliningrad, 236022, Russian Federation

          ABSTRACT. PURPOSE. The purpose of the present research is to increase the efficiency of operational prediction of forest fire dynamics under nonstationarity and uncertainty through the development of the operational prediction method based on Artificial Intelligence and Deep Machine Learning. METHODS. The methods of system analysis, neural networks, and deep machine learning are used to solve the set problem. RESULTS AND THEIR DISCUSSION. To ensure the formation of an effective operational prediction in the complex conditions of uncertainty and nonstationarity a method for operational prediction of forest fire dynamics has been developed. It consists in building and training of the convolu-

          Станкевич Татьяна Сергеевна, кандидат технических наук, доцент кафедры защиты в чрезвычайных ситуациях, начальник отдела организации научно-исследовательской работы студентов, e-mail: tatiana.stankevich@klgtu.ru Tatiana S. Stankevich, Candidate of technical sciences, Associate Professor of the Department of Safety in Emergency Situations, Head of the Department of Students’ Research Work Organization, e-mail: tatiana.stankevich@klgtu.ru

          tional neural network (CNN). The paper describes the general logical scheme of the proposed method. CNN construction and setting is performed on the basis of the following data: the real-time fire data from the satellites using MODIS and VIIRS, data on environmental factors, data on the type of forest plantations and the type of fire. CONCLUSIONS. The developed operational prediction method based on Artificial Intelligence and Deep Machine Learning allows to analyze visual data and reveal the key dependences of forest fire propagation on the environmental factors, the type of forest plantations and the type of fire.

          Keywords: forest fire, operational prediction, artificial intelligence, deep machine learning, convolutional neural network (CNN), prediction method, uncertainty, nonstationarity

          Information about the article. Received July 13, 2018; accepted for publication August 27, 2018; available online September 28, 2018

          For citation. Stankevich T.S. Development of operational prediction method of forest fire dynamics based on artificial intelligence and deep machine learning. Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta = Proceedings of Irkutsk State Technical University, 2018, vol. 22, no. 9, pp. 111-120. DOI: 10.21285/1814-3520-2018-9-111-120 (In Russian)

          В настоящее время общемировая проблема обеспечения требуемого уровня пожарной безопасности лесов, направленная на реализацию устойчивого развития человечества во взаимодействии с окружающей средой, является остроактуальной. Решение данной проблемы имеет важное значения для Российской Федерации, которая в силу географического положения значительно подвержена опасности возникновения лесных пожаров.

          Согласно статическим данным Рос-лесхоза [1], с 2009 по 2017 гг. наблюдается увеличение площади лесных земель, пройденной пожарами. Так, в 2009 г. площадь лесных земель, пройденная пожарами, составила ~ 2,6 млн га, в 2017 г. — 3,3 млн га, увеличение составило 27,92%. Анализ статистических данных за период с 2013 по 2017 гг. показал также рост расходов на охрану, защиту, воспроизводство лесов, расположенных на землях лесного фонда. В 2013 г. данный тип расходов составил ~ 30343,8 млн руб., а в 2017 г. — 37116,8 тыс. руб., рост составил 22,32%. При этом выше указанная динамика показателей наблюда-

          ется при параллельном снижении общего количества лесных пожаров в России: за период с 1992 по 2017 гг. зафиксировано снижение в 2,36 раза — с 25777 случаев в 1992 г. до 10922 случаев в 2017 г.

          Природные пожары в Российской Федерации являются угрозой национальной безопасности страны, негативно влияя на экономику государства и на экологическую обстановку как в стране, так и в мире.

          Одним из направлений решения проблемы обеспечения необходимого уровня пожарной безопасности лесов является совершенствование процесса прогнозирования динамики развития лесных пожаров.

          Цель данной работы состоит в повышении эффективности оперативного прогнозирования динамики развития лесного пожара при нестационарности и неопределенности посредством разработки метода оперативного прогнозирования на базе искусственного интеллекта (Artificial Intelligence) и глубокого машинного обучения (Deep Machine Learning).

          Обоснование необходимости разработки метода оперативного прогнозирования динамики развития лесного пожара на базе искусственного интеллекта и глубокого машинного обучения

          Как показал всесторонний анализ современных отечественных и зарубежных источников в области прогнозирования лесных пожаров [2-10], для формирования прогноза лесного пожара активно исполь-

          зуются как в России, так и в мире (США, Канаде, Австралии, Западной Европе) волновые (эллиптические), статистические и имитационные модели лесного пожара. На базе волновых моделей построены такие

          системы прогнозирования динамики лесных пожаров, как «Прометей» [6] и НатМар [8]. Примером применения статических моделей является модель, представленная в работе [10]. Имитационная модель лежит в основе системы прогнозирования динамики пожара FARSITE [7].

          В ходе анализа функциональных особенностей моделей прогнозирования лесного пожара проведено сравнение данных типов моделей по следующим критериям: точность прогноза; временные затраты на построение модели; временные затраты на построение прогноза; вычислительная сложность построения прогноза; универсальность модели; функционирование в условиях неопределенности и нестационарности.

          Получены следующие результаты:

          — волновые модели характеризуется: относительно высокой точностью прогноза; относительно высокими временными затратами на построение модели; средними временными затратами на построение прогноза; относительно высокой вычислительной сложностью построения прогноза; универсальностью модели; ограниченной функциональность в условиях неопределенности и нестационарности;

          — имитационные модели имеют: относительно высокую точностью прогноза; относительно высокие временные затраты на построение модели; средние временные затраты на построение прогноза; относительно высокую вычислительную сложность построения прогноза; универсальность; ограниченную функциональность в условиях неопределенности и нестационарности;

          — статистические модели обладают: средней точностью прогноза; относительно высокими временными затратами на построение модели; относительно низкими временными затратами на построение прогноза; относительно низкой вычислительной сложностью построения прогноза; не обладают универсальностью; ограниченно функционируют в условиях неопределенности и нестационарности.

          Как видим, существующие традици-

          онные модели прогнозирования лесного пожара (волновые, имитационные, статистические) имеют ряд существенных недостатков. Анализ данных результатов позволяет сделать вывод, что хотя данные модели лесных пожаров широко применяются на практике, их использование ограничено в условиях оперативного прогнозирования.

          В настоящее время наблюдается стремительное развитие таких областей информационных технологий, как искусственный интеллект, системы обработки больших объемов данных (Big Data) и глубокое машинное обучение. Рассмотренные информационные технологии являются высокоэффективным инструментом для решения широкого перечня задач, которые относятся к слабоформализуемым или не-формализуемым. Поскольку распространение пожара относится к типу слабоформа-лизуемых процессов, что обусловлено неустойчивостью и недостаточной изученностью механизмов физико-химических процессов горения, то применение данных перспективных информационных технологий направлено на обеспечение возможности формирования оперативного прогноза.

          Существующие на данный момент модели прогнозирования динамики развития с использованием нейросетевых технологий (например, представленные в работах [11, 12]) устраняют часть недостатков, присущих традиционным моделям. Однако нейросетевые модели имеют трудности в практическом применении в связи со сложностью и трудоемкостью построения архитектуры сети с последующей настройкой, скрытым характером функционирования сети и др.

          С учетом вышеизложенного автором настоящей статьи разработан метод оперативного прогнозирования динамики развития лесного пожара посредством применения перспективных информационных технологий — искусственного интеллекта и глубокого машинного обучения. Данный метод предназначен для повышения эффективности оперативного прогнозирования динамики развития лесного пожара при нестационарности и неопределенности.

          Обоснование выбора свёрточной нейронной сети как элемента метода оперативного прогнозирования динамики развития лесного пожара

          В процессе разработки метода оперативного прогнозирования динамики развития лесного пожара в сложных условиях (при неопределенности и нестационарности) предложено использовать свёрточную нейронную сеть.

          Согласно [13-16] суть функционирования сети данного типа, представляющей собой один из методов глубокого машинного обучения, заключается в осуществлении последовательности переходов от конкретных особенностей входных данных к более абстрактным деталям до понятий высокого уровня. Особенностью архитектуры сети, представленной на рис. 1, является чередование свёрточных (С-1ауеге), субдискре-тизирующих ^-1ауеге) и полносвязных ^-1ауеге) слоев на выходе.

          При этом ключевым слоем сети является свёрточный слой, где выполняется операция свёртки. В свёрточном слое ядро свёртки (матрица весов, являющаяся ограниченной и имеющая небольшой размер)

          обрабатывает слой (для первого этапа в качестве обрабатываемого слоя используется входное изображение) и производит формирование сигнала активации после каждого сдвига. Сигнал активации передается на нейрон следующего слоя, имеющий соответствующее размещение. Благодаря обучению сети (наиболее распространенным методом обучения является метод обратного распространения ошибки) выполняется определение весовых коэффициентов ядра свёртки. После выполнения операции свёртки формируется карта признаков, демонстрирующая наличие и координаты признака в обрабатываемом слое.

          Субдискретизирующий слой предназначен для уменьшения размерности карт признаков, сформированных предыдущим слоем сети. Данный слой выполняет выбор максимального нейрона из ряда соседних нейронов карты признаков, выбранный нейрон в дальнейшем заменяет всю рассматриваемую совокупность нейронов.

          Рис. 1. Общий вид архитектуры свёрточной нейронной сети для формирования оперативного прогноза Fig. 1. General view of the convolution neural network (CNN) architecture for operational prediction formation

          Полносвязный слой сети позволяет осуществить формирование полносвязной нейронной сети из абстрактных понятий, извлеченных из входного изображения.

          Выбор свёрточной нейронной сети для решения задачи оперативного прогнозирования лесного пожара в сложных условиях при дефиците времени обусловлен достоинствами данного типа сетей.

          Согласно [13-16] основными достоинствами сетей данного типа является их высокая точность и оперативность выполнения расчетов. Так, в соответствии с [16], при распознавании образов и изображений наилучшие возможные скорости распознавания достигнуты с использованием свёр-сточных нейронных сетей: 99,77% — с использованием базы данных рукописных цифр MNIST; 97,47% — с использованием набора данных трехмерных объектов МОРБ; 97,6% — с использованием более 5600 изображений с более чем 10 объектами. Производительность свёрточных нейронных сетей, как указано в работе [16], существенно превосходит производительность других алгоритмов распознавания объектов и изображений. Кроме того, в ряде задач результаты сети превосходят результаты, демонстрируемые людьми.

          Также свёрточные нейронные сети характеризуются [13-16]: устойчивостью; возможностью увеличения производительности вычислений за счет распараллеливания; нетребовательностью к входным данным (требуется минимальная обработка входных данных); способностью производить самонастройку и самостоятельно определять иерархии абстрактных признаков с целью последующего определения ключевых деталей и др.

          В настоящее время область применения свёрточных нейронных сетей многообразна. Как указано в [16], изначально данный тип многослойных искусственных нейронных сетей был разработан Яном Ле-куном для решения проблемы вариабельности 2D-фигур. Затем благодаря своим неоспоримым достоинствам сети стали применяться для классификации изображений, для автоматического распознавания речи и др.

          С учетом вышеизложенного предлагается использовать свёрточную нейронную сеть для анализа визуальных данных и последующего выявления зависимостей влияния факторов окружающей среды, характера лесных насаждений и вида пожара на динамику развития лесного пожара.

          Метод оперативного прогнозирования динамики развития лесного пожара на базе искусственного интеллекта и глубокого машинного обучения

          Общая логическая схема разработанного метода оперативного прогнозирования динамики развития лесного пожара при неопределенности и нестационарности на базе искусственного интеллекта и глубокого машинного обучения представлена на рис. 2.

          Предложенный метод основан на использовании данных из системы управления ресурсами (FIRMS) [17], которая предоставляет данные о распространении пожара в режиме реального времени (NRT) в течение 3 часов со спутника как с помощью спектрорадиометра с умеренным разрешением (MODIS, спутники Terra и Aqua),

          так и с помощью видимого инфракрасного рентгенограммного набора ^1^). Методом также предусмотрено использование данных о факторах окружающей среды, данных о характере лесных насаждений и данных о виде пожара. Пример визуальных данных приведен на рис. 3.

          Для оптимизации работы с собранными визуальными данными выполнено построение соответствующей базы данных, которая непрерывно пополняется. В настоящее время планируется защитить результаты интеллектуальной деятельности посредством подачи заявки на государственную регистрацию базы данных.

          Рис. 2. Общая логическая схема метода оперативного прогнозирования динамики развития лесного пожара на базе искусственного интеллекта и глубокого машинного обучения Fig. 2. General block diagram of the method of forest fire dynamics operational prediction based on Artificial Intelligence and Deep Machine Learning

          Рис. 3. Космоснимок территории, охваченной лесным пожаром: а — 18:24 GMT, 04.05.2018; VIRS 375 m; b — 11:12 GMT, 05.05.2018; VIRS 375 m; c — 09:06 GMT, 06.05.2018; VIRS 375 m; d — 15:36 GMT, 07.05.2018; VIRS 375 m

          Fig. 3. A space image of the forest fire area: a — 18:24 GMT, 4 May 2018; VIRS 375 m; b — 11:12 GMT, 5 May 2018; VIRS 375 m; c — 09:06 GMT, 6 May 2018; VIRS 375 m; d — 15:36 GMT, 7 May 2018; VIRS 375 m

          Метод оперативного прогнозирования динамики развития лесного пожара при неопределенности и нестационарности на базе искусственного интеллекта и глубокого машинного обучения включает последовательное выполнение следующих шагов:

          первый этап — формирование базы визуальных данных о динамике развития лесных пожаров, о факторах окружающей среды, характере лесных насаждений и виде пожара;

          второй этап — предварительная обработка данных для исключения из дальнейшей обработки искаженных элементов входного изображения;

          третий этап (реализуется в случае отсутствия ранее сформированной сверхточной нейронной сети или необходимости ее изменения) — построение и/или настройка свёрточной нейронной сети;

          четвертый этап — построение оперативного прогноза динамики развития лесного пожара посредством применения

          моделей распространения лесного пожара.

          Суть разработанного метода оперативного прогнозирования динамики развития лесного пожара заключается в формировании оперативного прогноза путем применения моделей распространения лесного пожара на базе свёрточной нейронной сети. Для построения адекватных моделей распространения лесного пожара необходима разработка адекватных сетей. Качество построения и обучения сети зависит от набора данных для построения и обучения сети.

          Главной особенностью предложенного метода является необходимость проведения анализа значительного количества визуальных данных с целью выявления зависимостей влияния факторов окружающей среды, характера лесных насаждений и вида пожара на динамику развития лесного пожара путем применения свёрточной нейронной сети.

          Таким образом, для обеспечения формирования эффективного оперативного прогноза в сложных условиях (в условиях неопределенности и нестационарности)

          разработан метод оперативного прогнозирования динамики развитии лесного пожара посредством искусственного интеллекта и глубокого машинного обучения.

          На основании полученных результатов можно сформулировать следующие выводы:

          1. Обоснована необходимость разработки метода оперативного прогнозирования динамики развития лесного пожара, учитывающего влияние факторов окружающей среды, характера лесных насаждений и вида пожара при нестационарности и неопределенности с использованием перспективных информационных технологий -искусственного интеллекта и глубокого машинного обучения. Существующие традиционные модели прогнозирования лесного пожара (волновые, имитационные и статистические модели) имеют ряд существенных недостатков, что делает их малоприменимыми для оперативного прогнозирования в сложных условиях.

          2. Обоснован выбор свёрточной нейронной сети как элемента метода оперативного прогнозирования динамики развития лесного пожара. За счет ряда достоинств свёрточных нейронных сетей (высокой производительности, низких временных затрат на формирование решения, устойчивости, способности решать слабоформа-лизуемые или неформализуемые задачи)

          1. Единая межведомственная информационно-статистическая система (ЕМИСС) [Электронный ресурс]. URL: https://fedstat.ru/ (30.05.2018).

          2. Гришин А.М. Математическое моделирование лесных пожаров и новые способы борьбы с ними. Новосибирск: Наука, 1992. 404 с.

          3. Масленников Д.А., Катаева Л.Ю. Моделирование лесных пожаров в трехмерной системе координат с учетом рельефа // Вестник Нижегородского университета им. Н.И. Лобачевского. 2011. № 4 (5). С. 2338-2340.

          4. Перминов В.А. Математическое моделирование возникновения и распространения верховых лесных пожаров в осредненной постановке // Журнал технической физики. 2015. Т. 85. № 2. С. 24-30.

          их применение для формирования оперативного прогноза лесного пожара при дефиците времени в условиях неопределенности и нестационарности является перспективным.

          3. Разработан метод оперативного прогнозирования динамики развития лесного пожара посредством применения искусственного интеллекта и глубокого машинного обучения. Предлагаемый метод, как наглядно видно на общей логической схеме, представленной на рис. 2, включает четыре этапа: формирование базы визуальных данных; предварительная обработка данных; построение и/или настройка сети; построение оперативного прогноза динамики развития лесного пожара. Разработанный метод оперативного прогнозирования позволяет выполнить анализ визуальных данных о динамике лесных пожаров и выявить основные зависимости распространения лесного пожара от факторов внешней среды, характера лесных насаждений и вида пожара.

          Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-37-00035 «мол_а».

          5. Рылкова О.И., Катаева Л.Ю., Масленников Д.А., Романова Н.А., Рылков И.В., Лощилов А.А. Численное моделирование лесного пожара в лесах Высокоборского лесничества Борского района Нижегородской области [Электронный ресурс] // Современные проблемы науки и образования. 2013. № 6. URL: http://www.science-education.ru/ru/artic-le/view?id=11671 (30.05.2018).

          6. Welcome to FireGrowthModel.ca [Электронный ресурс]. URL: http://firegrowthmodel.ca (30.05.2018).

          7. Farsite [Электронный ресурс]. URL: https://www.firelab.org/project/farsite (30.05.2018).

          8. Finney M.A., Andrews P.L., Butler B.W., comps. An overview of FlamMap fire modeling capabilities [Электронный ресурс] // Proceedings RMRS-P-41. 2006.

          https://www.fs.fed.us/rm/pubs/rmrs_p041/rmrs_p041_2 13_220.pdf (30.05.2018).

          9. Ходаков В.Е., Жарикова М.В. Лесные пожары: методы исследования. Херсон: Гринь Д.С., 2011. 470 с.

          10. Source Code for the EMBYR Wildfire Simulation Model [Электронный ресурс]. URL: https://www.geobabble.org/~hnw/embyr/ (30.05.2018).

          11. Коморовский В.С., Доррер Г.А. Методика расчета параметров лесных пожаров как динамических процессов на поверхности земли с использованием данных космического мониторинга // Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева. 2010. № 3. С. 47-50.

          12. Ясинский Ф.Н., Потёмкина О.В., Сидоров С.Г., Евсеева А.В. Прогнозирование вероятности возникновения лесных пожаров с помощью нейросетевого алгоритма на многопроцессорной вычислительной технике // Вестник Ивановского государственного энергетического университета им. В.И. Ленина. 2011. № 2. С. 82-84.

          13. Krizhevsky A., Sutskever I., Hinton G. ImageNet Classification with Deep Convolutional Neural Networks [Электронный ресурс]. Advances in Neural Information Processing Systems, 2012. 9 p. URL: https://www.cs.toronto.edu/~fritz/absps/imagenet.pdf (30.05.2018).

          14. LeCun Y. LeNet-5, convolutional neural networks [Электронный ресурс]. URL: http://yann.lecun.com/exdb/lenet/ (02.04.2018).

          15. Aghdam H.H., Heravi E.J. Guide to Convolutional Neural Networks. A Practical Application to Traffic-Sign Detection and Classification. Springer International Publishing, 2017. 282 p.

          16. Hijazi S., Kumar R., and Rowen C. Using Convolutional Neural Networks for Image Recognition [Электронный ресурс]. Cadence IP-Group, White Paper, 2015. 12 p. URL:

          i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

          17. Fire Information for Resource Management System (FIRMS) [Электронный ресурс]. URL: https://firms.modaps.eosdis.nasa.gov/map/#z:3.0;c:44.2 86,17.596 (30.05.2018).

          1. Edinaya mezhvedomstvennaya informacionno-statisticheskaya sistema (EMISS) [The Single unified inter-department statistical information system (SUISIS)]. Available at: https://fedstat.ru/ (accessed 30 May 2018).

          2. Grishin A.M. Matematicheskoe modelirovanie lesnyh pozharov i novye sposoby bor’by s nimi [Mathematical modeling of forest fires and new firefighting approaches]. Novosibirsk: Nauka Publ., 1992, 405 p. (In Russian)

          3. Maslennikov D.A., Kataeva L.Yu. Modeling forest fires in a three-dimensional coordinate system based on topography. Vestnik Nizhegorodskogo universiteta im. N.I. Lobachevskogo [Vestnik of Lobachevsky University of Nizhni Novgorod]. 2011, no. 4 (5), pp. 2338-2340. (In Russian)

          4. Perminov V.A. Mathematical simulation of forest fire occurrence and propagation in an averaged setting. Zhurnal tekhnicheskoi fiziki [Journal of Technical Physics]. 2015, vol. 85, no. 2, pp. 24-30. (In Russian)

          5. Rylkova O.I., Kataeva L.Yu., Maslennikov D.A., Romanova N.A., Rylkov I.V., Loshchilov A.A. Numerical modeling of forest fires in forests of Vysokoborsky forestry Borskiy district of Nizhny Novgorod region. Sov-remennye problemy nauki i obrazovaniya [Modern Problems of Science and Education]. 2013, no. 6. Available at: http://www.science-education.ru/ru/artic-le/view?id=11671 (accessed 30 May 2018).

          6. Welcome to FireGrowthModel.ca. Available at: http://firegrowthmodel.ca (accessed 30 May 2018).

          7. Farsite. Available at:

          https://www.firelab.org/project/farsite (accessed 30 May 2018).

          8. Finney M.A., Andrews P.L., Butler B.W., comps. An

          overview of FlamMap fire modeling capabilities. Proceedings RMRS-P-41. 2006. pp. 213-220. Available at: https://www.fs.fed.us/rm/pubs/rmrs_p041 /rm rs_p041 _2 13_220.pdf (accessed 30 May 2018).

          9. Khodakov V.E., Zharikova M.V. Lesnye pozhary: metody issledovaniya [Forest Fires: Research Methods]. Kherson: Grin’ D.S. Publ., 2011, 470 p. (In Russian)

          10. Source Code for the EMBYR Wildfire Simulation Model. Available at:

          https://www.geobabble.org/~hnw/embyr/ (accessed 30 May 2018).

          11. Komorovskii V.S., Dorrer G.A. Method of calculation of parameters of forest fires, as dynamic processes in the earth surface based on space monitoring data. Vestnik Sibirskogo gosudarstvennogo aerokosmich-eskogo universiteta im. akademika M.F. Reshetneva [Scientific Journal of Science and Technology]. 2010, no. 3, pp. 47-50. (In Russian)

          12. Yasinskii F.N., Potemkina O.V., Sidorov S.G., Evseeva A.V. Profnosticating probability of fire with connectionist algorithm on multiprocessor computer. Vestnik Ivanovskogo gosudarstvennogo energetich-eskogo universiteta im. V.I. Lenina [Vestnik of Ivanovo State Power Engineering University]. 2011. № 2. S. 82-84. Available at: http://ispu.ru/files/str.82-84_0.pdf (accessed 30 May 2018).

          13. Krizhevsky A., Sutskever I., Hinton G. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems, 2012. 9 p. Available at: https://www.cs.toronto.edu/~fritz/absps/imagenet.pdf (accessed 30 May 2018).

          14. LeCun, Y. LeNet-5, convolutional neural networks.

          Available at: http://yann.lecun.com/exdb/lenet/ (accessed 30 May 2018).

          15. Aghdam H.H., Heravi E.J. Guide to Convolutional Neural Networks. A Practical Application to Traffic-Sign Detection and Classification. Springer International Publishing, 2017. 282 p.

          16. Hijazi S., Kumar R., and Rowen C. Using Convolu-tional Neural Networks for Image Recognition. Cadence

          Станкевич Т.С. провела исследование, подготовила статью к публикации и несет ответственность за плагиат.

          Автор заявляет об отсутствии конфликта интересов.

          IP-Group, White Paper, 2015. 12 p. Available at: https://ip.cadence.com/uploads/901/cnn_wp-pdf (accessed 30 May 2018).

          17. Fire Information for Resource Management System (FIRMS). Available at:

          https://firms.modaps.eosdis.nasa.gov/map/#z:3.0;c:44.2 86,17.596 (accessed 30 May 2018).

          Stankevich T.S. has conducted the study, prepared the article for publication and bears the responsibility for plagiarism.

          Conflict of interests

          The author declares that there is no conflict of interests regarding the publication of this article.

          Основные подходы в машинном обучении

          Понятие и области машинного обучения. Эволюционные модели и алгоритмы. Типология задач обучения по прецедентам. Байесовы (вероятностные) сети. Методы эвристической самоорганизации. Программно-прагматический и агентно-ориентированный подходы к обучению.

          Рубрика Программирование, компьютеры и кибернетика
          Вид реферат
          Язык русский
          Дата добавления 07.04.2016
          Размер файла 45,0 K
          • посмотреть текст работы
          • скачать работу можно здесь
          • полная информация о работе
          • весь список подобных работ

          Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

          Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

          Размещено на http://www.allbest.ru/

          Федеральное государственное бюджетное образовательное учреждение

          высшего профессионального образования

          «Волгоградский государственный социально-педагогический университет»

          (ФГБОУ ВПО «ВГСПУ»)

          Факультет математики, информатики и физики

          Кафедра информатики и информатизации образования

          по дисциплине «Основы искусственного интеллекта»

          Основные подходы в машинном обучении

          Исполнитель Сайпиева Эльвира Геннадьевна

          Шемелова Татьяна Валерьевна

          Искусственный интеллект — это раздел информатики, посвященный моделированию интеллектуальной деятельности человека. Зародившийся более 700 лет назад в средневековой Испании искусственный интеллект оформился в самостоятельную научную область в середине 20 в. В наши дни искусственный интеллект получил блестящие практические приложения, открывающие перспективы, без которых немыслимо дальнейшее развитие цивилизации. Методы искусственного интеллекта позволили создать эффективные компьютерные программы в самых разнообразных, ранее считавшихся недоступными для формализации и алгоритмизации, сферах человеческой деятельности, таких как медицина, биология, зоология, социология, экономика, бизнес и т.п. Идея обучения и самообучения компьютерных программ, накопления знаний, приемы обработки нечетких и неконкретных знаний позволили создать программы, творящие чудеса. Компьютеры успешно борются за звания чемпиона мира по шахматам, моделируют творческую деятельность человека, создавая музыкальные и поэтические произведения, распознают образы и сцены, распознают, понимают и обрабатывают речь, тексты на естественном человеческом языке. Мы уже привыкли к тому, что компьютеры «умнеют» буквально на глазах, а компьютерные программы становятся все более и более интеллектуальными. Таким образом, мы видим, что на данный момент понятие обучения мы можем применять не только к человеку, но и машине. Это главным образом, такая возможность как их обучения, накопления знаний во время работы компьютерных программ, способность самообучения, самоорганизации, самосовершенствования.

          Об этой теме мы и поговорим подробнее в данной работе. А именно, разберем что же такое машинное обучение, как оно происходит. А сделаем, мы это собрав и проанализировав подходы к машинному обучению, применяющихся в различных разделах и направлениях.

          1. ПОНЯТИЕ МАШИННОЕ ОБУЧЕНИЕ

          машинный эволюционный модель алгоритм

          Машинное обучение (Machine Learning) — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. Различают два типа обучения. Обучение по прецедентам, или индуктивное обучение, основано на выявлении общих закономерностей по частным эмпирическим данным.

          Дедуктивное обучение предполагает формализацию знаний экспертов и их перенос в компьютер в виде базы знаний. Дедуктивное обучение принято относить к области экспертных систем, поэтому термины машинное обучение и обучение по прецедентам можно считать синонимами.

          Машинное обучение находится на стыке математической статистики, методов оптимизации и классических математических дисциплин, но имеет также и собственную специфику, связанную с проблемами вычислительной эффективности и переобучения.

          Многие методы индуктивного обучения разрабатывались как альтернатива классическим статистическим подходам. Многие методы тесно связаны с извлечением информации и интеллектуальным анализом данных (Data Mining).

          Наиболее теоретические разделы машинного обучения объединены в отдельное направление, теорию вычислительного обучения (Computational Learning Theory, COLT).

          Машинное обучение — не только математическая, но и практическая, инженерная дисциплина. Чистая теория, как правило, не приводит сразу к методам и алгоритмам, применимым на практике. Чтобы заставить их хорошо работать, приходится изобретать дополнительные эвристики, компенсирующие несоответствие сделанных в теории предположений условиям реальных задач.

          Практически ни одно исследование в машинном обучении не обходится без эксперимента на модельных или реальных данных, подтверждающего практическую работоспособность метода.

          Общая постановка задачи обучения по прецедентам.

          Дано конечное множество прецедентов (объектов, ситуаций), по каждому из которых собраны (измерены) некоторые данные. Данные о прецеденте называют также его описанием.

          Совокупность всех имеющихся описаний прецедентов называется обучающей выборкой. Требуется по этим частным данным выявить общие зависимости, закономерности, взаимосвязи, присущие не только этой конкретной выборке, но вообще всем прецедентам, в том числе тем, которые ещё не наблюдались. Говорят также о восстановлении зависимостей по эмпирическим данным — этот термин был введен в работах Вапника и Червоненкиса.

          Наиболее распространённым способом описания прецедентов является признаковое описание. Фиксируется совокупность n показателей, измеряемых у всех прецедентов. Если все n показателей числовые, то признаковые описания представляют собой числовые векторы размерности n. Возможны и более сложные случаи, когда прецеденты описываются временными рядами или сигналами, изображениями, видеорядами, текстами, попарными отношениями сходства или интенсивности взаимодействия, и т.д.

          Для решения задачи обучения по прецедентам в первую очередь фиксируется модель восстанавливаемой зависимости.

          Затем вводится функционал качества, значение которого показывает, насколько хорошо модель описывает наблюдаемые данные. Алгоритм обучения (learning algorithm) ищет такой набор параметров модели, при котором функционал качества на заданной обучающей выборке принимает оптимальное значение. Процесс настройки (fitting) модели по выборке данных в большинстве случаев сводится к применению численных методов оптимизации.

          Типология задач обучения по прецедентам.

          Основные стандартные типы задач:

          — Обучение с учителем (supervised learning) — наиболее распространённый случай. Каждый прецедент представляет собой пару «объект, ответ». Требуется найти функциональную зависимость ответов от описаний объектов и построить алгоритм, принимающий на входе описание объекта и выдающий на выходе ответ. Функционал качества обычно определяется как средняя ошибка ответов, выданных алгоритмом, по всем объектам выборки.

          — Задача классификации (classification) отличается тем, что множество допустимых ответов конечно. Их называют метками классов (class label). Класс — это множество всех объектов с данным значением метки.

          — Задача регрессии (regression) отличается тем, что допустимым ответом является действительное число или числовой вектор.

          — Задача ранжирования (learning to rank) отличается тем, что ответы надо получить сразу на множестве объектов, после чего отсортировать их по значениям ответов. Может сводиться к задачам классификации или регрессии. Часто применяется в информационном поиске и анализе текстов.

          — Задача прогнозирования (forecasting) отличается тем, что объектами являются отрезки временных рядов, обрывающиеся в тот момент, когда требуется сделать прогноз на будущее. Для решения задач прогнозирования часто удаётся приспособить методы регрессии или классификации, причём во втором случае речь идёт скорее о задачах принятия решений.

          — Обучение без учителя (unsupervised learning). В этом случае ответы не задаются, и требуется искать зависимости между объектами.

          — Задача кластеризации (clustering) заключается в том, чтобы сгруппировать объекты в кластеры, используя данные о попарном сходстве объектов. Функционалы качества могут определяться по-разному, например, как отношение средних межкластерных и внутрикластерных расстояний.

          — Задача поиска ассоциативных правил (association rules learning). Исходные данные представляются в виде признаковых описаний. Требуется найти такие наборы признаков, и такие значения этих признаков, которые особенно часто (неслучайно часто) встречаются в признаковых описаниях объектов.

          — Задача фильтрации выбросов (outliers detection) — обнаружение в обучающей выборке небольшого числа нетипичных объектов. В некоторых приложениях их поиск является самоцелью (например, обнаружение мошенничества). В других приложениях эти объекты являются следствием ошибок в данных или неточности модели, то есть шумом, мешающим настраивать модель, и должны быть удалены из выборки, см. также робастные методы и одноклассовая классификация.

          — Задача построения доверительной области (quantile estimation) — области минимального объёма с достаточно гладкой границей, содержащей заданную долю выборки.

          — Задача сокращения размерности (dimensionality reduction) заключается в том, чтобы по исходным признакам с помощью некоторых функций преобразования перейти к наименьшему числу новых признаков, не потеряв при этом никакой существенной информации об объектах выборки. В классе линейных преобразований наиболее известным примером является метод главных компонент.

          — Задача заполнения пропущенных значений (missing values) — замена недостающих значений в матрице объекты-признаки их прогнозными значениями.

          Частичное обучение (semi-supervised learning) занимает промежуточное положение между обучением с учителем и без учителя. Каждый прецедент представляет собой пару «объект, ответ», но ответы известны только на части прецедентов.

          Пример прикладной задачи — автоматическая рубрикация большого количества текстов при условии, что некоторые из них уже отнесены к каким-то рубрикам.

          Трансдуктивное обучение (transductive learning). Дана конечная обучающая выборка прецедентов. Требуется по этим частным данным сделать предсказания относительно других частных данных — тестовой выборки. В отличие от стандартной постановки, здесь не требуется выявлять общую закономерность, поскольку известно, что новых тестовых прецедентов не будет. С другой стороны, появляется возможность улучшить качество предсказаний за счёт анализа всей тестовой выборки целиком, например, путём её кластеризации. Во многих приложениях трансдуктивное обучение практически не отличается от частичного обучения.

          Обучение с подкреплением (reinforcement learning). Роль объектов играют пары «ситуация, принятое решение», ответами являются значения функционала качества, характеризующего правильность принятых решений (реакцию среды). Как и в задачах прогнозирования, здесь существенную роль играет фактор времени. Примеры прикладных задач: формирование инвестиционных стратегий, автоматическое управление технологическими процессами, самообучение роботов, и т.д.

          Динамическое обучение (online learning) может быть как обучением с учителем, так и без учителя. Специфика в том, что прецеденты поступают потоком. Требуется немедленно принимать решение по каждому прецеденту и одновременно доучивать модель зависимости с учётом новых прецедентов. Как и в задачах прогнозирования, здесь существенную роль играет фактор времени.

          Активное обучение (active learning) отличается тем, что обучаемый имеет возможность самостоятельно назначать следующий прецедент, который станет известен. См. также Планирование экспериментов.

          Метаобучение (meta-learning или learning-to-learn) отличается тем, что прецедентами являются ранее решённые задачи обучения. Требуется определить, какие из используемых в нихэвристик работают более эффективно. Конечная цель — обеспечить постоянное автоматическое совершенствование алгоритма обучения с течением времени.

          -Многозадачное обучение (multi-task learning). Набор взаимосвязанных или схожих задач обучения решается одновременно, с помощью различных алгоритмов обучения, имеющих схожее внутренне представление. Информация о сходстве задач между собой позволяет более эффективно совершенствовать алгоритм обучения и повышать качество решения основной задачи.

          Индуктивный перенос (inductive transfer). Опыт решения отдельных частных задач обучения по прецедентам переносится на решение последующих частных задач обучения. Для формализации и сохранения этого опыта применяются реляционные или иерархические структуры представления знаний.

          Иногда к метаобучению ошибочно относят построение алгоритмических композиций, в частности, бустинг; однако в композициях несколько алгоритмов решают одну и ту же задачу, тогда как метаобучение предполагает, что решается много разных задач.

          Целью машинного обучения является частичная или полная автоматизация решения сложных профессиональных задач в самых разных областях человеческой деятельности.

          2. НЕЙРОПОДХОД В МАШИННОМ ОБУЧЕНИИ

          Нейронные сети и нейрокомпьютеры — это одно из направлений компьютерной индустрии, в основе которой лежит идея создания искусственных интеллектуальных устройств по образу и подобию человеческого мозга. Используются для определения априорно неизвестных сложных функциональных зависимостей на основании статистических данных.

          Байесовы (вероятностные) сети. Моделируют вероятностные причинно-следственные связи. Позволяют рассчитывать вероятность наступления того или иного события при известной априорной вероятности причин. Позволяют строить модели в режиме реального времени с учетом неполноты данных и возможностью корректировки результата при появлении дополнительной информации. Могут использоваться для совместной обработки данных количественного и качественного характера.

          Методы эвристической самоорганизации. Методы данной группы исследуют функциональные и вероятностные взаимосвязи «входов» и «выходов» некоторой системы, т.е. позволяют моделировать сложные нелинейные процессы и системы при отсутствии априорных знаний о структуре модели. Метод группового учета аргументов (МГУА), например, позволяет моделировать неизвестные закономерности функционирования исследуемого процесса или системы по информации, неявно присутствующей в выборке «входных» и «выходных» данных.

          Почему же мы рассматриваем этот подход в машинном обучении?

          Действительно, мы можем не только создавать такие модели, но и обучать их. Например, персептрон Розенблатта. У. Мак-Каллок и В.Питтс предложили конструкцию сети из математических нейронов и показали, что такая сеть в принципе может выполнять числовые и логические операции. Далее они высказали идею о том, что сеть из математических нейронов способна обучаться, распознавать образы, обобщать, т.е. она обладает свойствами человеческого интеллекта.

          Идея Мак-Каллока — Питтса была материализована в 1958 г. Фрэнком Розенблаттом сначала в виде компьютерной программы для ЭВМ IBM-794, а затем, спустя два года, в виде электронного устройства, моделирующего человеческий глаз. Это устройство, имеющее в качестве элементной базы модельные нейроны Мак-Каллока — Питтса и названное персептроном, удалось обучить решению сложнейшей интеллектуальной задачи — распознавание букв латинского алфавита.

          3. ПРОГРАММНО-ПРАГМАТИЧЕСКИЙ ПОДХОД

          Программно-прагматический подход («не имеет значения, как устроено «мыслящее» устройство, главное, чтобы на заданные входные воздействия оно реагировало, как человеческий мозг») — занимается созданием программ, с помощью которых можно решать те задачи, решение которых до этого считалось исключительно прерогативой человека. Сюда относятся распознающие и игровые программы, программы для решения логических задач, поиска, классификации и т. п. Это направление ориентировано на поиски алгоритмов решения интеллектуальных задач на существующих моделях компьютеров.

          При этом подходе не стремятся скопировать устройство мозга, а добиваются только успешного решения сложных задач.

          Например, такие программы как Haskell, LISP.

          Не относится язык C++.

          4. ЭВОЛЮЦИОННЫЙ ПОДХОД

          Идея эволюционного моделирования сводится к экспериментальной попытке заменить процесс моделирования человеческого интеллекта моделированием процесса его эволюции. При моделировании эволюции предполагается, что разумное поведение предусматривает сочетание способности предсказывать состояние внешней среды с умением подобрать реакцию на каждое предсказание, которое наиболее эффективно ведет к цели.

          Этот подход открывает путь к автоматизации интеллекта и освобождению от рутинной работы. Это высвобождает время для проблемы выбора целей и выявления параметров среды, которые заслуживают исследования. Такой принцип может быть применен для использования в диагностике, управлении неизвестными объектами, в игровых ситуациях.

          Эволюционное моделирование это уже достаточно сложившаяся область, в которой можно выделить:

          — модели возникновения молекулярно-генетических информационных систем;

          — моделирование общих закономерностей эволюции (Эволюционные алгоритмы). Это системы, которые используют только эволюционные принципы. Они успешно использовались для задач типа функциональной оптимизации и могут легко быть описаны на математическом языке. К ним относятся эволюционные алгоритмы, такие как Эволюционное программирование, Генетические алгоритмы, Эволюционные стратегии, Генетическое программирование;

          — эволюционные модели. Это системы, которые являются биологически более реалистичными, чем эволюционные алгоритмы, но которые не оказались полезными в прикладном смысле. Они больше похожи на биологические системы и менее направлены на решение технических задач. Они обладают сложным и интересным поведением, и, видимо, вскоре получат практическое применение. К этим системам относят так называемую искусственную жизнь.

          — прикладное эволюционное моделирование.

          Коллективный интеллект — термин, который появился в середине 1980-х годов в социологии при изучении процесса коллективного принятия решений. Исследователи из NJIT определили коллективный интеллект как способность группы находить решения задач более эффективные, чем лучшее индивидуальное решение в этой группе.

          Рассмотрим на примере, стаи рыбок в океане. Одной рыбке выжить намного тяжелее в большом океане. Путем создания стаи каждая понимает, что вероятность выжить возрастает во много раз.

          5. АГЕНТНО-ОРИЕНТИРОВАННЫЙ ПОДХОД

          Агентно-ориентированный подход, развиваемый с начала 1990-х гг., основан на использовании интеллектуальных агентов. Согласно этому подходу, интеллект — это вычислительная часть (планирование) способности достигать поставленных перед интеллектуальной машиной целей. Сама такая машина будет интеллектуальным агентом, воспринимающим окружающий его мир с помощью датчиков и способным воздействовать на объекты в окружающей среде с помощью исполнительных механизмов.

          Этот подход акцентирует внимание на тех методах и алгоритмах, которые помогут интеллектуальному агенту выживать в окружающей среде при выполнении его задачи.

          Интеллектуальные агенты в искусственном интеллекте.

          В искусственном интеллекте под термином интеллектуальный агент понимаются разумные сущности, наблюдающие за окружающей средой и действующие в ней, при этом их действия всегда направлены на достижение какой-либо цели. Такой агент может быть, как роботом, так и встроенной программной системой. Об интеллектуальности агента можно говорить, если он взаимодействует с окружающей средой примерно так же, как действовал бы человек.

          Агентов можно разделить на пять групп в зависимости от вида обработки воспринимаемой информации:

          1. Агенты с простым поведением действуют только на основе текущих знаний. Их агентская функция основана на схеме условие-действие — IF (условие) THEN действие.

          Такая функция может быть успешной, только если окружающая среда полностью поддается наблюдению.

          2. Агенты с поведением, основанным на модели, могут оперировать со средой, лишь частично поддающейся наблюдению. Внутри агента хранится представление о той части, что находится вне границ обзора.

          3. Целенаправленные агенты могут выбрать среди многих путей тот, что приведет к нужной цели. Целенаправленные агенты различают только состояния, когда цель достигнута, и когда не достигнута. Они хранят информацию о тех ситуациях, которые для них желательны.

          4. Практичные агенты способны различать насколько желанно для них текущее состояние. Такая оценка может быть получена с помощью «функции полезности», которая проецирует множество состояний на множество мер полезности состояний.

          5. Обучающиеся агенты способны к обучению и приспосабливанию к изменяющимся обстоятельствам. Система ОА должна проявлять следующие способности:

          · обучаться и развиваться в процессе взаимодействия с окружающей средой;

          · приспосабливаться в режиме реального времени;

          · быстро обучаться на основе большого объёма данных;

          · пошагово применять новые способы решения проблем;

          · обладать базой примеров с возможностью её пополнения;

          · иметь параметры для моделирования быстрой и долгой памяти, возраста и т.д.;

          · анализировать себя в терминах поведения, ошибки и успеха.

          Согласно мнению многих учёных, важным свойством интеллекта является способность к обучению. Таким образом, на первый план выходит инженерия знаний, объединяющая задачи получения знаний из простой информации, их систематизации и использования. Достижения в этой области затрагивают почти все остальные направления исследований ИИ.

          К области машинного обучения относится большой класс задач на распознавание образов. Например, это распознавание символов, рукописного текста, речи, анализ текстов.

          ЗАКЛЮЧЕНИЕ

          Проанализировав подходы к машинному обучению, применяющихся в различных разделах и направлениях, мы лучше познакомились, с тем как происходит машинное обучение в различных подходах и моделях.

          Итак, мы выяснили, что машинное обучение и самообразование — это направление, которое изучает идеи и методы обучения интеллектуальных машин. В процессе машинного обучения происходит автоматическое накопление и формирование знаний в интеллектуальных системах.

          Сегодня машинное обучение — это обширная область исследований и разработок интеллектуальных систем, предназначенных для работы в трудно формализуемых областях деятельности человека.

          СПИСОК ЛИТЕРАТУРЫ

          1. Ясницкий Л.Н. Введение в искусственный интеллект: учеб.пособие для студ.высш.учеб.заведений/3-е изд.,стер. — М.:Издательский центр «Академия»,2010. — 176 с.

          2. Люгер Дж. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем = Artificial Intelligence: Structures and Strategies for Complex Problem Solving / Под ред. Н. Н. Куссуль. — 4-е изд.. — М.:Вильямс, 2005.

          3. Андрейчиков А.В., Андрейчикова О.Н. Интеллектуальные информационные системы М.: Финансы и статистика, 2003. (учебник для студентов, обучающихся по информационным специальностям).

          Размещено на Allbest.ur

          Подобные документы

          Методы классификации в машинном обучении

          Виды машинного обучения, его основные задачи и методы. Подходы к классификации: логистическая регрессия, наивный байесовский классификатор, стохастический градиентный спуск, K-ближайший сосед, дерево решений, случайный лес, метод опорных векторов.

          Искусственные нейронные сети и генетические алгоритмы

          Сущность и экономическое обоснование, методы и подходы к прогнозированию валютного курса. Описание технологии интеллектуальных вычислений. Применение генетических алгоритмов для настройки архитектуры нейронных сетей. Основные способы улучшения модели.

          Разработка системы распознавания изображений на основе аппарата искусственных нейронных сетей

          Искусственные нейронные сети как одна из широко известных и используемых моделей машинного обучения. Знакомство с особенностями разработки системы распознавания изображений на основе аппарата искусственных нейронных сетей. Анализ типов машинного обучения.

          Принцип наглядности в обучении содержательной линии «Информация и информационные технологии»

          Важнейшие принципы обучения в школе. Понятие и основные виды наглядности. Развитие воображения в процессе обучения. Диапазон использования компьютера в учебно-воспитательном процессе. Понятие содержательной линии. Общая классификация методов обучения.

          Самообучающиеся и гибридные сети

          Рост активности в области теории и технической реализации искусственных нейронных сетей. Основные архитектуры нейронных сетей, их общие и функциональные свойства и наиболее распространенные алгоритмы обучения. Решение проблемы мертвых нейронов.

          • главная
          • рубрики
          • по алфавиту
          • вернуться в начало страницы
          • вернуться к началу текста
          • вернуться к подобным работам

          Машинное обучение: суть, принципы, задачи

          О чем речь? Машинное обучение — это способ автоматического улучшения алгоритмов благодаря опыту. Искусственный интеллект учится распознавать информацию и с каждым разом делает это все лучше и лучше, потому что учитывает предыдущие шаги. Это крайне востребовано сегодня в большинстве отраслей: от развлекательных до банковских и медицинских.

          Как происходит? Есть несколько методов машинного обучения. Основаны они на том, что искусственному интеллекту предлагаются некоторые вводные данные, на базе которых он должен найти правильное решение.

          В статье рассказывается:

          1. Суть машинного обучения
          2. Принципы машинного обучения
          3. История машинного обучения
          4. Где используется машинное обучение
          5. Какие задачи решает машинное обучение
          6. Преимущества и недостатки машинного обучения
          7. Основные виды машинного обучения
          8. Типы задач машинного обучения
          9. Алгоритмы машинного обучения
          10. Примеры применения машинного обучения в реальной жизни

          Пройди тест и узнай, какая сфера тебе подходит:
          айти, дизайн или маркетинг.
          Бесплатно от Geekbrains

          Суть машинного обучения

          Машинное обучение (Machine Learning) представляет собой метод обучения компьютерных систем, основанный на статистических моделях и логических операциях. Этот способ автоматического улучшения алгоритмов предполагает отсутствие четких инструкций. Проще говоря, компьютерной системе ставится задача не в формате «сделай 2+2», а «сделай аналогично», используя входные данные.

          Машину учат мыслить, как человек, только в разы быстрее. Методы машинного обучения постоянно развиваются. Сегодня компьютерные системы показывают глубокую обработку больших объемов информации.

          В течение длительного времени компьютеры использовались для решения тех задач, которые посильны человеку. Относительно недавно пришло понимание, что ключевой плюс машин в скорости обработки большого объема информации и выполнения логических операций. Человеку непосильно решение многих задач, которые компьютерная система делает моментально.

          Машина даст быстрый и точный результат, если задать верные входные данные в нужном объеме. Это привело к появлению искусственного интеллекта и машинного обучения, которые сейчас активно развиваются и совершенствуются.

          Основой машинного обучения выступает совокупность обработанной и структурированной информации. Это датасеты . Они представляют собой примеры решения тех или иных операций человеком или компьютерной системой.

          На основании датасетов разработчики обучают компьютерные системы работать с блоками информации: классифицировать, прогнозировать, разрабатывать новые алгоритмы решения стандартных задач, строить гипотезы и т.п. Датасеты растут с каждым днём, а методы искусственного интеллекта совершенствуются.

          Пример развития технологий машинного обучения — Яндекс Музыка. Сервис умеет анализировать музыкальные предпочтения пользователя, находить аналоги и добавлять в плейлист те песни, которые придутся по вкусу. Авторство данной инновационной технологии принадлежит Netflix. Она кардинально изменила логику потребления цифрового контента во всем мире. Сейчас рекомендательные системы активно используются в разных сферах.

          Узнай, какие ИТ — профессии
          входят в ТОП-30 с доходом
          от 210 000 ₽/мес
          Павел Симонов
          Исполнительный директор Geekbrains

          Команда GeekBrains совместно с международными специалистами по развитию карьеры подготовили материалы, которые помогут вам начать путь к профессии мечты.

          Подборка содержит только самые востребованные и высокооплачиваемые специальности и направления в IT-сфере. 86% наших учеников с помощью данных материалов определились с карьерной целью на ближайшее будущее!

          Скачивайте и используйте уже сегодня:

          Павел Симонов - исполнительный директор Geekbrains

          Павел Симонов
          Исполнительный директор Geekbrains

          Топ-30 самых востребованных и высокооплачиваемых профессий 2023

          Поможет разобраться в актуальной ситуации на рынке труда

          Подборка 50+ бесплатных нейросетей для упрощения работы и увеличения заработка

          Только проверенные нейросети с доступом из России и свободным использованием

          ТОП-100 площадок для поиска работы от GeekBrains

          Список проверенных ресурсов реальных вакансий с доходом от 210 000 ₽

          Получить подборку бесплатно
          Уже скачали 23672

          Ни один человек не сможет справиться с подобного рода задачами с такой же скоростью, как машина. У сервиса Яндекс.Музыка миллионы пользователей, и к каждому нереально приставить эксперта, компетентного во всех музыкальных направлениях и разнообразии соответствующего вкусу клиента контента. Для Яндекс.Музыки это элементарная задача именно благодаря использованию машинного обучения.

          Принципы машинного обучения

          Программист не дает компьютерной системе четкие инструкции, учитывающие все возможные комбинации и решения. Машина программируется на самостоятельный поиск и аналитику на базе входных данных. Она находит закономерности по ряду признаков, классифицирует объекты и осуществляет прогнозирование.

          Машинное обучение начинается с загрузки датасета. Это исходные данные для обработки запросов. Например, фотографии кошек и собак с метками. После машинного обучения компьютерная система самостоятельно распознает животных в новой базе данных, где метки не будут проставлены. Обучение не заканчивается после выданных системой прогнозов. Чем больше данных проанализировано, тем точнее результаты.

          Использование технологий машинного обучения позволяет компьютерам распознавать на изображениях не только лица, но и любые объекты, предметы и т.п. Также они эффективно используются в текстовых редакторах для проверки грамматики и орфографии. Это автоматические системы, которые способны не только проверять правописание, но и понимать контекст, смысловую нагрузку и лингвистические тонкости. Уже существуют специализированные программы, которые самостоятельно пишут статьи на различные темы (новости, экономика, спорт и т.д.).

          История машинного обучения

          Сначала компьютеры решали те задачи, которые доступны человеческому мозгу. Последние годы господствует понимание, что машины способны находить новые алгоритмы выполнения операций. Искусственный интеллект активно развивается и используется во многих сферах наряду с технологиями машинного обучения.

          История применения метода машинного обучения началась в 1950 году с разработки программ для игры в шашки. Общий алгоритм, использованный на тот момент, актуален до сих пор. Рост вычислительных мощностей компьютеров привел к усложнению задач, которые ставятся перед машинным обучением.

          Основные этапы становления машинного обучения:

          • В 1946 году публике была представлена инновационная для того времени разработка — первый электронный цифровой вычислитель общего назначения в рамках ЭНИАК, сверхсекретного проекта армии США. Американские военные составляли электронные таблицы для того, чтобы метко стрелять по вражеским целям. Но, помимо этого, компьютер был запрограммирован для решения широкого спектра задач.
          • В 1950 году британский учёный Алан Тьюринг разработал эмпирический тест, призванный определить способность компьютера мыслить, как человек.
          • В 1958 году американский ученый в области психологии, нейрофизиологии и искусственного интеллекта Фрэнк Розенблатт разработал Персептрон — компьютерную модель восприятия информации мозгом. Это была одна из первых моделей нейросетей. На его базе был создан нейрокомпьютер «Марк-1».
          • В 1959 году американский ученый в области искусственного интеллекта Марвин Минский разработал SNARC — первую искусственную нейронную сеть для решения комплексных задач.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *