Iot big data что это

Big Data

Big Data (Большие данные) — термин IT, включающий в себя методы и алгоритмы обработки больших объемов неструктурированной информации, результаты которых могут использоваться человеком.

Целевые объемы данных, которые так же можно назвать «Big Data», начали накапливаться со вступления человечества в «информационную эру» и представляют из себя все множество информации, производимой людьми и машинами: поисковые запросы, обмен сообщениями, протоколы измеренных и полученных данных, видео-, аудиоинформация и т.д.

Понятие Big Data используется с начала 1990-х годов. В 2001 был определен принцип 3-х V (velocity, volume, variety). В 2008 году в популярном журнале Nature вышла статья, обозревающая тенденцию увеличения объема неструктурированных данных, названных Big Data. Активное употребление термина, по данным Google Trends, началось в 2011 году. В 2012 компания Gartner формулирует общеиспользуемое определение понятия «Big Data». В 2013 году Big Data начинают изучать как академический предмет.

• Объем (volume) данных и объем их обработки применяемым методом;
• Скорость (velocity) накопления данных и скорость обработки данных системой;
• Разнообразие (variety) типов данных и разнообразие одновременно обрабатываемых типов данных;

• Машинное обучение для систем «Big Data»;
• Цифровые следы в информации;

Помимо структуризации и поиска информации, анализа больших баз данных, Big Data рассматривается как инструмент для маркетинга и развития бизнеса. Одно из применений, затронувшее всех пользователей интернета – таргетированная реклама, являющейся результатом обработки запросов пользователей в поисковых интернет-системах.

IoT и Big Data ─ две стороны одной медали

Люди постоянно что-то путают, ─ например, большие данные и интернет вещей. Но, если говорить серьезно, Big Data и IoT ─ два совершенно разных, и вместе с тем дополняющих друг друга понятия. Этот пост описывает прежде всего различия между ними в возможно более простой форме.

Пожалуй, основная проблема для пользователя IT заключается в том, что понятия и термины изменяются слишком часто. Здесь даже нельзя сказать «пока», потому что это происходит уже полвека, и конца этому не видно. Новые IT появляются все быстрее, отодвигая прежние в небытие. К тому времени, когда люди начинают привыкать к новому термину, его смыслу и использованию, появляется новый.

Что-то в этом роде происходит сейчас с понятиями «большие данные» (Big Data) и «интернет вещей» (Internet of Things, IoT). Оба термина в большом ходу в IT, оба связаны с данными, ─ и оба немного трудны для понимания непрофессионалу.

Вначале рассмотрим две любопытные диаграммы. Они фактически показывают причины некоторой путаницы в тандеме Big Data / IoT ─ к большим данным в IT пришли в основном эволюционным путем, интернет вещей преимущественно был революционным.

IoT нуждался в создании новых датчиков, устройств краевой обработки, систем связи и объединения большого количества физических устройств в сети. Потребовалось более пяти лет, чтобы он созрел до уровня Big Data, которые к этому времени стабилизировались.

Интерес к Big Data и IoT (апрель 2012 – февраль 2017), согласно запросам в Google.

Цикл созревания технологий (Gartner Hype Cycle) на июль 2014 г. Тогда аналитики давали на созревание и IoT, и Big Data от пяти до десяти лет. В общем, так оно и вышло. На сегодня обе технологии уже прошли «яму разочарования», подтянулись друг к другу и практически рядом выходят на «плато продуктивности», т.е., вступают в фазу зрелости.

Big Data vs. IoT ─ что мы знаем об этом

Теперь обратимся к статье (2015), размещенной на сайте SAS, и поучаствуем в небольшой викторине. Прочитайте каждое утверждение и определите, относится ли оно к Big Data или IoT.

1. Каждую минуту мы посылаем 204 млн. электронных писем, посылаем 278 тыс. твитов, загружаем 200 тыс. фотографий на Facebook и генерируем там 1,8 млн. лайков.

2. В 2011 г. 12 млн. тегов RFID использовались для захвата данных и отслеживания их для определения работы объектов в материальном мире. К 2021 г. это число увеличится до 209 млрд.

3. Количество устройств, которые соединяются с интернетом, повысится с приблизительно с 13 млрд. сегодня до 50 млрд. к 2020 г.

4. Этот сектор, как ожидается, вырастет от $10,2 млрд. в 2013 г. до приблизительно к $54,3 млрд. к 2017 г.

Вот ответы: 1 и 4 ─ Big Data, 2 и 3 ─ IoT.

Эта небольшая викторина была проведена во время презентации на одном из мероприятий для CIO, чтобы разогреть аудиторию. Все были единодушны только в отношении очевидного вопроса номер 3 ─ о количестве подключенных к интернету устройств. В остальных случаях мнения разделились.

Так каковы взаимоотношения между Big Data и IoT? Насколько связаны эти понятия? Давайте посмотрим. Прежде всего, интересно сравнить сервисы, которые предоставляются пользователям в рамках Big Data и IoT. Здесь разница хорошо видна. Более подробно различия описаны ниже.

Типичные сервисы больших данных

Типичные сервисы интернета вещей

Различие 1: Вокруг чего все вращается. Big Data описывает все, связанное с данными или информацией, которую люди получают и используют совместно. Иначе ─ это все, что касается возможности организаций использовать как можно больше данных в своей повседневной бизнес-деятельности.

IoT описывает устройства, решения и сервисы, связанные с этими устройствами и решениями. Т.е., ─ это все, что связано со сбором данных, их анализом в режиме реального времени для событий или интересующих образцов (описанных примеров) для нового понимания всех составляющих бизнеса.

Различие 2: Источники данных. Big Data подразумевает анализ большого количества произведенных человеком данных. Типичные источники Big Data ─ электронные письма, социальные медиа, фотографии и т.д.

IoT подразумевает объединение и сжатие большого количества произведенных машиной данных, получаемых от большого количества разнообразных датчиков. Некоторые их типы ─ RFID, Fitness Trackers, устройства Virtual Reality, Smart Air Purifiers и др.

Различие 3: Временные ограничения. В решениях Big Data совершенно нормально для данных покоиться, ─ прежде, чем они будут использованы в каком-либо виде анализа. Таким образом, Big Data требуют более длительной информационной поддержки в таких областях, как прогнозирование и планирование.

IoT связан с процессами в реальном времени, ─ такими, как операционная оптимизация, текущее изменение ценовых предложений, обнаружение мошенничества и соблюдение правил безопасности.

Различие 4: Общая картина. С Big Data, например, можно проанализировать всю информацию об отказах и определить их первопричины. С IoT можно отслеживать и мониторить такие активы, как грузовики, двигатели, системы HVAC, насосы и т.д. И в том, и в другом случае, по мере обнаружения проблем, можно запускать процессы их устранения.

Связь между Big Data и IoT. Big Data и IoT дополняют друг друга. Объединение этих технологий позволяет не только реагировать на проблемы по мере их появления, но также предсказать их. В технических терминах говорят о переходе от реактивных методов к превентивным.

Доработаем IoT для Big Data

Термин «расширяющиеся скоростные требования» (expanding velocity demands) относится к способности системы справляться с увеличивающимся притоком данных.

Вся архитектура и технологии Hadoop, например, созданы в ответ на требования иметь хранилище реального времени для больших объемов данных. Но одновременно должна быть решена проблема анализа и принятия решений в реальном времени.

Например, Twitter часто упоминается как источник больших данных, поскольку число твитов в течение дня может достигнуть сотен миллионов. Но для IoT компании должны быть в состоянии «глотать» сотни тысяч, или даже миллионы событий в секунду от физических устройств.

Таким образом, основная разница между проектами Big Data и IoT ─ время. Главная проблема IoT заключается в том, что данные, поступающие от устройств, как правило, находятся в «сыром» и максимально упрощенном формате. Чтобы применить данные в аналитических моделях, они должны быть организованы, преобразованы и обогащены.

«Организованы» ─ как раз и означает, что данные могут прибывать не упорядоченными и они должны быть переставлены «на лету».

«Преобразование» указывает на то, что модели аналитических решений типично полагаются не на исходные данные от устройств, а на загружаемые, хорошо организованные массивы.

«Обогащение» необходимо, если модель решения нуждается не только в данных от устройств, но также и в хранимых данных из источников предприятия.

Форрестер называет эту технологическую область «потоковой аналитикой» (streaming analytics). Упрощенное, но довольно точное определение ─ с точки зрения объема IoT похожи на большие данные, а с точки зрения скорости IoT ─ это большие данные «на стероидах».

Неожиданный аспект

В октябре 2014 г. на Маврикии прошла 36th International Conference of Data Protection and Privacy Commissioners. Ее цель состояла в том, чтобы обсудить и положительное, и негативное воздействие больших данных и IoT на нашу повседневную жизнь, а также установить принципы и дать рекомендации о том, как снизить риски, связанные со сбором и использованием данных.

Наблюдения и заключения конференции были отражены в двух документах ─ Mauritius Resolution on Big Data и Mauritius Declaration on the Internet of Things. Оба документа признают, что соединение устройств IoT с большими данными могут сделать нашу жизнь легче, но имеется серьезное беспокойство по поводу прав на неприкосновенность частной жизни людей (privacy) и их гражданских прав.

С точки зрения права большие данные требуют защиты при их хранении, т.е., определенной политики доступа, шифрования и т.д. Данные IoT требуют в основном защиты от перехвата при перемещении данных.

Очень краткое заключение

Есть ясное соотношение между большими данными и IoT. Фактически, можно полагать, что Big Data являются подмножеством при обсуждении IoT.

Большие данные подразумевают все, что связано с данными, простыми и сложными. IoT подразумевает все, что связано с потоками данных, физических устройствах и возможностях соединения.

Читайте также

• Кому найкраще підходить гібридна інфраструктура?
  [27 октября] – Андрій Михайленко
• І знову про безпеку хмарних мереж
  [26 октября] – Олександр Савушкін
• Смартфони стануть такими, що згинаються?
  [25 октября] – Тимур Ягофаров
• Знову про РЕР
  [24 октября] – Олександр Федієнко
• Що вміє порт USB-C в iPhone 15
  [23 октября] – Юрій Власюк

• Александр Черников — все записи блога
• Войдите или зарегистрируйтесь, чтобы вы могли писать комментарии
• Подписаться на тип материалов: блог
• Подписаться на обсуждение сообщения
• Подписаться на этот блог

IoT, Big Data, AI, блокчейн и цифровые платформы: какие технологии изменят мир поставок

Мировой рынок активно меняется, структурно и технологически. Внешние перемены неизбежно отражаются на эффективности компании, и любой бизнес должен быть готов к форс-мажорам и новым вызовам. Цифровизация бизнес-процессов — один из способов минимизировать негативное влияние обстоятельств, сделать компанию более адаптивной и получить конкурентное преимущество. О том, какие новые технологии помогают это сделать, «РГ» рассказал руководитель практики «Управление цепями поставок» IT-компании CUSTIS Роман Алексеев.

Blue Planet Studio

— Любой бизнес рано или поздно сталкивается с проблемами из-за внешних обстоятельств, но раньше мы жили в относительно стабильной, годами выстроенной структуре цепочек поставок: на основе результатов одного года можно было строить достаточно точные прогнозы на следующий. Сегодня же это сделать невозможно. Ситуация постоянно меняется, и бизнесы, не готовые адаптироваться и развиваться, теряют как минимум часть прибыли, а как максимум — конкурентные преимущества и с трудом завоеванное место на рынке.

Внешние обстоятельства непредсказуемы, и надо быть готовым к тому, что выбранный бизнесом источник сырья, рынок сбыта, маршрут транспортировки может в любой момент стать недоступным. Единственный выход — адаптироваться, постоянно перестраивать и отлаживать процессы, меняя способы планирования на более быстрые и гибкие. В этом могут помочь цифровые технологии.

Что такое AI, Big Data и IoT

Технология интернета вещей (IоT) позволяет c помощью создания цифрового двойника в реальном времени получать сведения об объектах: транспорте, оборудовании, состоянии продукции, поведении сотрудников и потребителей. Собранные данные помогают выстраивать прогнозы и находить недочеты: например, на ранних этапах определить необходимость ремонта оборудования или точно понимать, на каком этапе доставки находится тот или иной товар.

Технология Big Data позволяет накапливать большие объемы данных для последующей аналитики. Благодаря ей можно оперативно в режиме online мониторить и анализировать эффективность различных бизнес-процессов, состояние производственных объектов, транспорта и логистических маршрутов.

Искусственный интеллект (AI) хорош в любых процессах, связанных с обработкой и анализом больших объемов данных: он может отмечать неочевидные закономерности и ошибки и помогать выстраивать стратегии на будущее. Главное преимущество этого инструмента в том, что он выполняет рутинную, понятную работу, на которую у сотрудников не хватит в принципе времени. Например, задачи, связанные с прогнозируемостью спроса, предсказанием сбоев, планированием логистики дорожных маршрутов. Важно понимать, что нельзя переложить на AI принятие важных управленческих решений — этим должен заниматься человек. Машинный интеллект ориентируется на данные о прошлых результатах, а в управлении важно также смотреть в будущее.

Эти технологии помогают на основе полученных данных корректировать прогнозы, а также эффективно принимать управленческие решения. Они дают возможность быстрее реагировать на изменение обстоятельств, что необходимо для успешной работы в сегодняшних условиях.

К сожалению, на сегодняшний день уровень внедрения таких инструментов как IoT, АI и Big Data остается недостаточным. Первым сдерживающим фактором являются ограниченные технические возможности: например, отсутствие необходимой инфраструктуры и автоматизации базовых процессов. Объекты предприятия (порты, причалы, станции, терминалы) оказываются недостаточно оснащенными для использования IoT. Также на пути у новых технологий может стоять консерватизм руководителей или сотрудников отдельных подразделений компании, которые не готовы отказаться от привычного порядка и переучиваться под запросы нового времени. И все же те, кто хочет быть на шаг впереди, применяют инструменты работы с данными.

Блокчейн

Эта технология позволяет оперативно создавать доверительную среду, обмениваться данными и исключать из цепочек взаимодействия посредников. Например, благодаря блокчейну сделки могут заключать контрагенты из разных частей мира, которым для построения доверительных отношений больше не обязательно взаимодействовать лично.

Еще один инструмент блокчейна, смарт-контракты, гарантирует точность, своевременность и полноту исполнения договоренностей. Если выполнение условий контракта можно проконтролировать автоматически, это ускоряет процесс и в разы увеличивает объективность оценки.

Цифровые платформы

Стоит разделить цифровые платформы на те, которые обеспечивают выполнение отдельной функции, и те, что отвечают за управление цепочкой поставок как целым. Когда речь идет о поставках, интересны вторые: платформы, которые контролируют согласованную работу всех звеньев цепи. Их задача заключается в том, чтобы все элементы работали слаженно, без задержек и перебоев. Эти же платформы отвечают за координацию планов в цепочках и соответствие тактических и операционных процессов стратегическим планам компании.

Использование цифровых платформ позволяет увеличить горизонт планирования и оценить необходимое количество собственных ресурсов для реализации плана: складских мощностей, рабочей силы, объемов сырья. В результате компания может быстро и эффективно принимать решения, что в ситуации постоянных изменений помогает быть более гибкими.

Что в итоге

Сегодня рынок активно меняется, и игнорировать эти перемены нельзя. Идет процесс цифровизации цепочек поставок. Налаживается прямое взаимодействие производителей, которые есть на рынке, как между собой, так и с потребителями. Использование цифровых инструментов позволяет сократить время этого взаимодействия и количество посредников, а также дает компаниям доступ к большому рынку покупателей. Главная задача любого бизнеса — научиться выбирать и эффективно применять доступные инструменты, быстро осваивать новые технологии и оставаться гибким и открытым к переменам.

Применение инструментов Big Data и Machine Learning в IoT

Применение инструментов Big Data и Machine Learning в IoT

Применение инструментов Big Data и Machine Learning в IoT

Технологии IoT и в России, и за рубежом активно развиваются и успешно применяются в различных отраслях. Термин IoT уже стал популярным, понятным и обыденным в сфере ИТ. В свою очередь, растет число устройств и датчиков, объединенных в сеть и поддерживающих данную технологию, а это ведет к экспоненциальному росту данных, которые ежесекундно генерируются в очень большом объеме. В современных условиях функционирование и развитие IoT-технологий без инструментов, позволяющих работать с большими данными, становится затруднительным, а в большинстве случаев – просто невозможным.

Никита Андреянов
Архитектор платформы Dataplan NGRSOFTLAB

Учитывая сложность и разнообразность данных, генерируемых разнородными устройствами и датчиками, остро встает вопрос автоматизации их управления и анализа. Автоматизированное выявление зависимостей и построение взаимосвязей между устройствами – это новый вызов для дальнейшего развития IoT. Именно поэтому IoT становится технологией, которую сложно представить без инструментов машинного обучения (Machine Learning). Благодаря им появляется возможность построения профилей поведения устройств в сети и выявления скрытых взаимосвязей между ними, что, в свою очередь, несет новые возможности автоматизации управления устройствами и предиктивной аналитики.

Актуальные проблемы IoT-концепции

Концепция IoT зарождалась и развивалась как вполне самостоятельная идея, заключающаяся в объединении большого числа физических устройств, поддерживающих интерфейсы взаимодействия друг с другом и внешней средой в единой вычислительной сети. Однако, учитывая стремительные темпы роста популярности и востребованности данной концепции на рынке, число устройств в подобных сетях растет настолько быстро, что традиционная архитектура становится малоэффективной и сложно реализуемой.

Концепция IoT на текущий момент находится на том этапе, когда интеграция со вспомогательными технологиями и инструментами является необходимым логическим шагом к дальнейшему развитию.

Рассмотрим фундаментальные проблемы IoT-архитектур без технологий Big Data и инструментов ML:

• разнообразие устройств и датчиков. IoT-системы состоят из большого числа устройств, имеющих разные стандарты и интерфейсы взаимодействия и, как следствие, генерируют разнородные данные;
• отсутствие адаптивного контроля и управления устройствами. Разные стандарты взаимодействия и территориальная распределенность порождают сложности в эффективном менеджменте данных устройств;
• сложность сбора и обработки данных с различных устройств. Проблемы заключается не только в объемах данных, но и в их разнородности – различных протоколах, форматах и изменяющихся адресах целевых источников;
• масштабируемость, сложность хранения больших объемов данных, производительность. В современных условиях цифровизации объем данных и их эффективное хранение – это настоящий вызов;
• постоянно растущая сеть IoT-устройств и сложность автоматизированного построения новых взаимосвязей. Для возможности гибкого добавления новых и удаления старых устройств необходимы инструменты построения и поддержания в актуальном состоянии топологии сети.

Вышеперечисленные проблемы формируют серьезный барьер для дальнейшего развития IoT-систем, преодолеть который возможно с помощью внедрения инструментов машинного обучения, а также технологий работы с большими данными.

IoT-архитектура без/с алгоритмами Machine Learning и технологиями Big Data

Чтобы понять, как Machine Learning и Big Data могут повысить эффективность работы IoT, стоит взглянуть на принципиальные различия архитектур IoT-систем, которые следуют традиционной концепции, и систем, использующих инструменты для работы с большими данными и машинное обучение.

Типовая архитектура IoT без машинного обучения включает в себя четыре основных блока (см. схему 1):

• интернет-вещи – умные устройства, датчики и сенсоры;
• шлюзы, использующие промышленные протоколы связи и располагающиеся относительно близко к конечным устройствам;
• централизованное хранилище данных – ЦХОД и облачные хранилища;
• конечные устройства, с которыми взаимодействуют пользователи – исследуют данные и получают уведомления.

В архитектуре IoT, применяющей инструменты для работы с большими данными и алгоритмы машинного обучения, присутствует дополнительный, но очень важный блок (см. схему 2).

В ней повышается качество данных, а следовательно и качество принимаемых решений и уведомлений, генерируемых системой. Кроме того, за счет адаптивной приоритизации и фильтрации данных существенно снижаются затраты на хранение данных в ЦХОД и облачных хранилищах.

Machine Learning & IoT: реализованные кейсы

Лучше всего преимущества и эффективность применения инструментов машинного обучения и технологий Big Data при построении IoT-систем демонстрируют практические сценарии использования. Ниже приведены несколько Use Cases, в которых благодаря современным инструментам для работы с данными IoT-система сделала значительный шаг вперед.

Tesla Motors. Автомобили Tesla – это «вещи», использующие множество других интернет-вещей, которые благодаря Machine Learning позволяют из «вещи» сделать мощный искусственный интеллект. Помимо Tesla, другие крупные автомобильные компании также используют концепцию IoT, однако без современных инструментов для работы с данными. Для того чтобы понять, чем же Tesla так сильно отличается от всех остальных, достаточно цитаты Илона Маска из недавнего интервью: «Все автомобили в Tesla работают как единая сеть. Когда одна машина учится чему-то, этому учатся и все остальные. Это выходит за рамки того, что делают другие автомобильные компании». Таким образом, каждая ситуация на дороге – это новый опыт для автомобиля, который он обязательно учтет в следующей поездке и передаст своим «коллегам» (см. схему 3).

Nest. Термин «умный дом», наверное, слышал каждый. Однако у компании Nest, которую недавно приобрела корпорация Google за $3,2 млрд, получилось сделать дом действительно умным. Искусственный интеллект Nest анализирует график работы пользователей, их температурные и прочие предпочтения. Благодаря этому системе удается сократить затраты на потребление энергии и повысить комфорт за счет адаптации системы под конкретного пользователя (см. схему 4).

IoT-платформы. Стоит упомянуть не только конкретные сценарии использования IoT с Machine Learning, но и взглянуть на то, как развиваются передовые IoT-платформы, такие как Google Cloud IoT и AWS IoT. Они позволяют интегрировать IoT-устройства с моделями машинного обучения и решать сложные комплексные задачи. Сервис AWS IoT Greengrass ML Inference может локально формировать на устройствах логические выводы с использованием машинного обучения, применяя модели, созданные, обученные и оптимизированные в облаке. Так, в SageMaker можно создать прогнозирующую модель для анализа видеозаписей, оптимизировать ее для работы на камерах, которые смогут самостоятельно выявлять подозрительную активность и отправлять уведомления об этом. Например, при обнаружении нелегитимной активности около банковского терминала умная камера сама определит, что злоумышленник планирует взлом, и предиктивно вызовет наряд полиции. Данные, полученные с помощью логических выводов на IoT Greengrass, можно отправить обратно в SageMaker, где они обогащаются индикаторами и используются для непрерывного повышения качества моделей машинного обучения.

Будущее наступило

В современном мире в силу постоянно растущего количества умных устройств и объема данных, генерируемых ими, индустрия IoT уже не может существовать без инструментов для работы с большими данными и машинного обучения. Яркие примеры компаний, использующих Machine Learning в IoT-архитектурах, и векторы развития актуальных IoT-платформ демонстрируют нам очевидные преимущества данного подхода. Для эффективной работы современных IoT-систем жизненно необходима интеграция с сторонними продуктами, реализующими соответствующий функционал.

Опубликовано: Журнал «Information Security/ Информационная безопасность» #1, 2020