Какие возможности и опасности открывает big data

Big Data: опасности и перспективы Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

Аннотация научной статьи по СМИ (медиа) и массовым коммуникациям, автор научной работы — Закусилова А.Ю.,

В статье рассматривается понятие BIG DATA (Большие Данные) и его основные характерные черты. Рассмотрены сферы применения Больших Данных и некоторые проблемы, связанные с применением технологий на их основе. Описаны возможности проникновения данного инструмента в различные сферы жизни.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Big Data: dangers and prospects

The article discusses the concept of BIG DATA (Big Data) and its main characteristics. The spheres of application of Big Data and some problems connected with application of technologies on their basis are considered. The possibilities of penetration of this tool in various spheres of life are described.

Текст научной работы на тему «Big Data: опасности и перспективы»

Big Data: опасности и перспективы Big Data: dangers and prospects

Институт управления и регионального развития РАНХиГС при Президенте РФ Научный руководитель Авдеева Т.В., доцент, Институт управления и регионального развития РАНХиГС при Президенте РФ

Аннотация. В статье рассматривается понятие BIG DATA (Большие Данные) и его основные характерные черты. Рассмотрены сферы применения Больших Данных и некоторые проблемы, связанные с применением технологий на их основе. Описаны возможности проникновения данного инструмента в различные сферы жизни. Summary. The article discusses the concept of BIG DATA (Big Data) and its main characteristics. The spheres of application of Big Data and some problems connected with application of technologies on their basis are considered. The possibilities of penetration of this tool in various spheres of life are described.

Ключевые слова: Большие Данные, цифровизация экономики, инновации, информационные технологии.

Keywords: BIG DATA, digitalization of the economy, innovations, information technologies.

На протяжении всей истории, известно три наиболее ярких этапа динамичного развития человечества: аграрный, индустриальный и постиндустриальный. Последний этап характеризуется становлением нового ценного ресурса — информацией, а также активным развитием информационных технологий. Начиная со второй половины 20 века IT -технологии стали прогрессировать с невероятной скоростью, что мы можем наблюдать и сегодня. Цифровизация экономики — так называется процесс современных хозяйственных отношений, осуществляемые с помощью цифровых телекоммуникаций.

Рынок информационных технологий является одним из наиболее динамично развивающихся. Совокупный объем рынка IT-технологий на сегодняшний день составляет более 3,7 млрд. долл., а в 2019 году планируется его рост на 3,2%. Компании внедряют инновационные продукты во все процессы и этапы производства, начиная от рождения идеи до создания и сбыта конечного продукта.

Для развития рынка цифровых технологий, как и любому другому процессу, характерны некоторые особые признаки. Ими становятся различные инструменты и технологии, которые помогают ускорить процессы экономических взаимоотношений. К таким инструментам относятся: искусственный интеллект, блокчейн, нейронные сети, виртуальная реальность, облачные системы, машинное обучение и многое другое. Одним из ключевых направлений развития информационных технологий являются так называемые Большие Данные (BIG DATA). Это инструменты и методы сбора, обработки, хранения информации и применения полученных результатов в дальнейших бизнес-процессах. Иными словами, BIG DATA (далее — BD) — управление и обработка структурированными и неструктурированными данными. Впервые термин «Большие данные» использовал Клиффорд Линч в 2008 году в своей статье, в которой размышлял об увеличивающемся объеме обрабатываемых данных и возможностях их применения. Постепенно ведущие компании мира стали внедрять новые информационные технологии на основе обработки данных.

Источниками BD являются различные корпоративные базы данных, социальные медиа, интернет вещей, а также поток информации с иных устройств.

Большим Данным присущи несколько так называемых V-признаков:

— Volume (объем) — база данных является большим массивом информации, требующий больших затрат для её обработки и хранения;

— Velocity (скорость) — скорость обработки и передвижения данных;

— Variety (разнообразие) — объем структурированных и неструктурированных данных: к первому типу относят классифицируемую информацию; неструктурированная информация занимает примерно 80% от всей поступающей информации и требует переработки (анализа) для будущего использования;

— Veracity (достоверность) — точность и правдоподобность данных;

— Value (ценность) — полезность данных для дальнейшего их применения;

Большие данные применяются в различных сферах. Наиболее популярные направления

— вычислительное оборудование, профессиональные услуги или клиентский сервис, системное ПО и приложения с аналитикой. То есть, сферы розничной торговли и услуг проявляют наибольший интерес во внедрении данных технологий. С появлением понятия BD и соответствующих инструментов компаниям стали необходимы и кадры, способные работать с анализом, обработкой и управлением данных. Так, внедряются такие должности, как Data scientist, Data engineer и даже директор по управлению данными (Chief Data Oficer). Предполагается, что рынок обработки больших

данных к 2020 году будет расти на 11,9%. Как следствие, будет расти и спрос на специалистов в этой области.

В последнее время появляется множество исследований BIG DATA, рассматривающие не только перспективы использования этих технологий, но также связанные с ними проблемы и опасности. С одной стороны, Большие Данные помогают как пользователям в выборе подходящих товаров или услуг, так и компаниям оптимизировать издержки и другие бизнес-процессы. Но с другой стороны, возникают следующие опасения: как, где, в каком количестве и какие именно данные могут обрабатываться, использоваться и храниться; кто может иметь доступ к этим данным. Как правило, анализируемые данные содержат персональную, коммерческую или иную ценную для её владельцев информацию. В какие руки могут попасть эти данные отнюдь неизвестно. Это можно сравнить с «рецептом» для создания атомной бомбы — если он попадет к негативно настроенным людям, то беды не миновать.

Ярким примером негативной стороны применения анализируемой информации может послужить скандал с сервисом такси Uber, который, без ведома клиентов, отслеживал их поездки, перемещения самих работников и членов их семей, и даже знаменитостей. К сожалению, доказать, что такой случай имел место быть невозможно, а, следовательно, любой сбор информации, законный или незаконный, не может быть законодательно урегулирован в должном виде.

Кроме того, в 2016 году в швейцарском журнале «Das Magazin» было опубликовано расследование о том, как, казалось бы, безобидная персонализированная реклама в Facebook повлияла на выборы в США и Великобритании. Утечка механизма психологического анализа людей в соцсетях привела к тому, что автор этой методики -Михал Козински — сам того не желая ввязался в политические игры. Технология заключалась в том, что путём анализа лайков в сети с большой долей вероятности можно сделать вывод об основных характеристиках человека: цвет кожи, сексуальная ориентация, жизненная позиция и даже приверженность к той или иной политической партии. Последнее и было интересно для Cambridge Analytica — организации, занимавшейся интернет-кампанией в поддержку Brexit и Дональда Трампа. «Это не я соорудил бомбу, я лишь показал, что они существуют» — так отозвался ученый о произошедшем случае.

Достаточно активно началось внедрение технологий BD и в государственную, политическую, экономическую и социальную сферы жизни стран. Россия не является исключением: в 2017 году утверждена программа «Цифровая экономика Российской Федерации» до 2024 года, предусматривающая создание экосистемы цифровой экономики

России и внедрение соответствующих инструментов в институты и инфраструктуру предприятий, отраслей.

Несомненно, те цифровые удобства, которые мы имеем на данный момент лишь упрощают нам жизнь и сокращают время на удовлетворение той или иной потребности. Однако, к сожалению, цифровизация направлена не только на улучшение качества жизни населения. С применением технологий BIG DATA в корне меняется вся жизнь людей: персональные данные о человеке в скором времени будут собираться в открытом виде и скрывать что-либо станет всё сложнее. Речь идёт не только о человеке в качестве клиента для компаний, но и как объекта для государственных служб, организаций. Так, Сбербанк получил право выдавать паспорта и водительские права населению. Таким образом, вся информация о человеке — пол, семейное положение, штрафы за превышение скорости, кредиторская надежность и др. — будет находиться в свободном доступе банка.

Как предвещают многие эксперты, это не может только положительно сказаться на жизни человека. За внедрением цифровых технологий в социальную сферу неминуемо последует и увеличение количества хакерских атак и утечек личной информации.

С появлением технологий BD появились новые возможности как у пользователей сети интернет, так и у компаний, использующих инструменты для продвижения товаров или услуг. Большие Данные — это, несомненно, прекрасный инструмент для развития многих сфер жизни. Цифровые технологии, будь то BIG DATA, искусственный интеллект или иные новейшие информационные инструменты, способны как принести пользу, так и нанести вред. Вопрос лишь в том, как и кто будет распоряжаться этими разработками. Цифровые технологии должны открывать пути для упрощения и повышения качества жизни, но не использоваться в качестве инструмента контроля за человеческими жизнями.

Список использованной литературы

1. В. Агапов, С. Яковлев, В. Пратусевич «Обзор и оценка перспектив развития мирового и российского рынков информационных технологий» // IDC Россия, Москва, 2015

2. Е.В.Булгакова, В.Г. Булгаков, В.С. Акимов «Использование «больших данных» в системе государственного управления: условия, возможности, перспективы» // Общетеоретические и исторические проблемы юридической науки и практики, Москва, 2015

3. Программа «Цифровая экономика Россия 2024» // https://data-economy.ru/organization

4. Распоряжение Правительства РФ об утверждении программы «Цифровая экономика Российской Федерации» от 28.07.2017 №1632-р // http://static.govemment.ru/media/files/9gFM4FHj4PsB79I5v7yLVuPgu4bvR7M0.pdf

5. С. Маликова «Big Data: тенденции развития, опасности и перспективы» // Экономика и жизнь, №17-18(9733) 2018,

6. Hannes Grassegger, Mikael Krogerus «Ich habe nur gezeigt, dass es die Bombe gibt» // Das Magazin, 2016

Big Data: как применять и анализировать большие данные?

Big Data — это большие массивы информации, которые часто бывают неупорядоченными. Технологии работы с такими данными известны как Big Data технологии. Это направление в IT является одним из самых популярных в настоящее время. И это не удивительно. Приложение технологий Big Data открывает новые возможности для развития бизнеса, а также предоставляет клиентам персонифицированные продукты и сервисы.

В данной статье мы рассмотрим технологии анализа больших данных и объясним, как их использование может пригодиться в бизнесе.

Термин Big Data появился в 2008 году, когда журнал Nature выпустил специальный выпуск, посвященный влиянию огромных объемов информации на науку. С тех пор стало понятно, что использование аналитики больших данных актуально для всех сфер.

Расширение информационных технологий и увеличение возможностей в области вычислительной техники привели к экспоненциальному росту информации. Традиционные методы обработки и инструменты перестали справляться с поразительным объемом информации. Информация прибывает из разных источников, таких как интернет (социальные сети, сайты, интернет-магазины, форумы, СМИ), мобильных устройств, измерительных приборов, метеостанций, аудио- и видеорегистраторов, корпоративных систем и прочее. Каждый день объемы данных продолжают увеличиваться. Для обработки, анализа и хранения таких данных необходимы специальные программные инструменты и алгоритмы, которые входят в понятие Big Data.

Методы анализа и хранение данных

В мире современных технологий большие данные превратились в неизбежный элемент, который требует специального подхода. Огромные массивы разнородной информации не могут быть просто сохранены, оставив их лежать мертвым грузом и не используя. Работа с Big Data строится на нескольких этапах. В первую очередь данные должны быть собраны из разных источников. Затем следует процесс обеспечения их хранения, обработки и защиты от потери данных. В настоящее время облачные решения приобретают все большую важность в связи с возникающими особыми требованиями в хранении и обработке данных.

Большие данные непрерывно накапливаются, и наращивание собственной IT-инфраструктуры при всех возможных масштабируемых возможностях не является оптимальным решением. Нагрузки также не всегда предсказуемы, и физические серверы на пиковые моменты могут выйти из строя. Перестраховка же неоправданно увеличивает затраты. Перенос инфраструктуры в облако позволяет отказаться от дорогостоящего оборудования для хранения данных, а также от затрат на его поддержание и обеспечение безопасности. Облачные хранилища позволяют быстро масштабировать и резервировать вычислительные ресурсы и способны вместить большие объемы информации, при этом обеспечивая надежность, отказоустойчивость и гибкую настройку.

Перед нами завершающий и наиболее значимый этап работы с большими данными — их анализ. Он играет ключевую роль в использовании потенциала Big Data в бизнесе. Именно анализ помогает избавиться от ненужного и выделить наиболее ценную информацию для компании.

Существует множество методов анализа больших данных. Охватить все из них в рамках данной статьи невозможно, поэтому мы расскажем о наиболее важных.

Переработка информации перед анализом

Процесс приведения неоднородных данных к унифицированному виду, заполнения пропущенных значений и удаления избыточной информации. Этап переработки информации перед анализом Big Data, который необходим для правильной подготовки данных к дальнейшему исследованию.

Data Mining, что в переводе означает «добыча данных», в сущности так и является: при помощи данного метода из набора информации извлекаются ценные закономерности. В области Data Mining происходит решение разных видов задач, таких как классификация, кластеризация (группировка объектов в зависимости от их сходства), анализ отклонений и другие.

Нейронные сети – это особый тип алгоритмов машинного обучения, который напоминает работу человеческого мозга. Они способны анализировать входные данные и выдавать требуемый результат. Применение умных нейросетей достаточно широко: они могут распознавать лица на фотографиях, а также определять недобросовестные транзакции на основе ряда признаков.

В современном мире прогностический анализ используется для предсказания различных событий: от поведения клиентов и увеличения продаж до изменения финансовых показателей компании, курсов валют, доставки товаров и поломок оборудования. Одним из ключевых моментов в прогнозировании будущих событий является использование ретроспективных данных и выделение параметров, которые могут значительно влиять на результат. Таким образом, прогностический анализ становится незаменимым инструментом для различных индустрий, что позволяет им оперативно адаптироваться к изменяющимся условиям и принимать управленческие решения на основе научных данных.

За счет применения Big Data анализ статистики значительно уточняется. Важно, чтобы выборка данных была максимально представительной, в этом случае результаты анализа будут более точными и достоверными.

Визуализация данных – это процесс преобразования информации в доступный для восприятия формат, такой как карты, графики, диаграммы, схемы, гистограммы. Это финальный шаг анализа, который помогает представить результаты пользователю.

Чтобы осуществить визуализацию данных, используют различные инструменты Big Data, а методы могут меняться в зависимости от цели.

За последние годы объём данных, с которыми приходится иметь дело, значительно вырос. Так, в 2020 году наши пользователи сгенерировали около 60 зеттабайт информации, а к 2025 году этот объём может вырасти втрое https://meduza.io/. В связи с этим анализ Big Data является перспективным технологическим направлением, которому уделяют большое внимание крупные компании. Он актуален для представителей различных областей, таких как бизнес, наука и государственное управление.

Какие характеристики определяют Big Data как информацию?

Big Data — это данные, которые отличаются тремя основными свойствами, называемыми «тремя V»:

Объем (Volume): Это означает, что данные должны быть в большом количестве. Эти данные уже измеряются не терабайтами, а петабайтами и эксабайтами.

Скорость (Velocity): Большие данные поступают непрерывно из разных источников, и этот процесс происходит очень быстро.

Разнообразие (Variety): Big Data — это информация разных типов, включая текстовые и графические документы, аудио- и видеофайлы, а также логи. Она может быть совсем неструктурированной или упорядоченной частично.

С ростом востребованности направления в последние годы к «трем V» были добавлены еще два признака: достоверность (Veracity) и ценность (Value). Это означает, что данные должны быть точными и приносить пользу бизнесу. Иногда выделяют еще жизнеспособность (Viability).

Одним из главных вопросов, который возникает при работе с большими данными, является то, какие преимущества они могут принести бизнесу. Анализ больших объемов информации может ускорять и улучшать различные процессы, а также помогать предсказывать тенденции рынка и поведение клиентов.

Одной из первых сфер, которые оценили все преимущества использования больших данных, стали телекоммуникационные компании, представители банковской отрасли и ретейла. Сегодня, однако, технологии компаний по работе с большими данными становятся все более востребованными во многих отраслях, включая безопасность, медицину, сельское хозяйство, промышленность энергетику, науку и государственное управление.

Конкретные примеры практического применения больших данных в разных областях также весьма показательны. В торговле, рекламе и индустрии развлечений большие данные используются, например, для минимизации рисков и улучшения качества товаров и услуг. В промышленности же данные помогают повышать экологическую и энергоэффективность.

Отрасль безопасности также не остается в стороне. Большие данные используются для анализа информации и поиска угроз в различных сферах, например, в банковской системе. Наука и медицина тоже вовлечены в работу с большими данными — они помогают специалистам лучше понимать клинические данные и улучшать научные исследования. В сельском хозяйстве данные используются для оптимизации урожаев и увеличения продуктивности, а в государственном управлении — для улучшения процессов принятия решений и работы органов власти.

Таким образом, использование больших данных может оказать значительное влияние на различные аспекты бизнеса и общественной жизни. Области применения их анализа все время расширяются, открывая новые возможности для увеличения прибыли и повышения удобства для покупателей и пользователей.

Революция в фармакологии: как Big Data помогает создавать лекарства

С использованием Big Data технологические компании могут создавать интеллектуальные продукты и сервисы, способные решать принципиально новые задачи. В США, например, была разработана платформа «вычислительной биологии», которая может помочь находить и создавать лекарственные препараты, способные точно попадать в цель и быть эффективными в лечении конкретных заболеваний.

Анализ больших данных уже используется для ускорения и повышения точности медицинских исследований. На конференции программистов DUMP были обнародованы данные о том, что использование Big Data в ходе цикличного медицинского тестирования выявило погрешность в 20% по сравнению с неавтоматизированными измерениями.

Анализ больших данных применяется и в Европе, где он внедряется в сферу медицины более активно. Исследования, проведенные в этой области, показали, что с помощью анализа информации на 150 000 пациентов можно выявлять связь определенных генетических факторов с заболеваемостью раком, что помогает более эффективно диагностировать и лечить заболевания.

Таким образом, внедрение инноваций в сферу медицины с помощью анализа больших данных позволяет создавать более эффективные лекарства и повышать точность медицинских исследований, что может привести к существенному улучшению качества жизни людей.

Изучение поведения клиентов

В настоящее время маркетологи активно используют большие данные для оптимизации эффективности рекламной кампании. Данные анализируются из истории покупок, поиска, посещений и лайков в социальных сетях для определения предпочтений пользователей. Это позволяет предлагать клиентам только самые подходящие предложения, сделав рекламу более адресной и эффективной, благодаря Big Data.

Одним из первооткрывателей в этой области стал известный маркетплейс Amazon. В системе рекомендаций учитывались не только история покупок и анализ поведения клиентов, но и внешние факторы, такие как сезон и предстоящие праздники. В результате система рекомендаций Amazon стала ответственной за более чем треть всех продаж.

Обеспечение безопасности транзакций — задача, которую банки решают с помощью больших данных. Они следят за мошенниками и предотвращают кражи персональных данных. Для этого используют анализ Big Data и машинное обучение, чтобы создавать модели поведения добросовестных пользователей.

Любое отклонение от этой нормы, сигнализирует о возможной опасности и вызывает немедленные меры безопасности.

Примером применения этой технологии может служить «Сбербанк», который еще в 2014 году внедрил систему сравнения фотографии клиента, полученной с помощью веб-камеры, с изображениями из базы. Этот метод идентификации оказался очень точным и помог сократить число случаев мошенничества в 10 раз.

В современном мире внедрение новых технологий является необходимым фактором для совершенствования производственных процессов. Одной из самых актуальных технологий на данный момент является Big Data, которая удается помочь предотвратить простои оборудования и снижение производительности. Интеллектуальные системы на основе этой технологии применяются для сбора и анализа данных с приборов мониторинга, средств измерения, логических контроллеров. Обработанные данные позволяют видеть, насколько работоспособно оборудование, предотвращать поломки, выявлять и исключать из процесса неэффективные операции, экономить материалы и потребляемую энергию, как это указано на сайте https://controleng.ru/.

Аэропорт «Пулково» в 2020 году внедрил интеллектуальную платформу по управлению предприятием, основанную на применении больших данных. Она стала ключевым элементом автоматизации работы семидесяти служб компании и позволила сделать управление аэропортом более прозрачным и эффективным. Особенностью платформы является возможность получения оперативной и полной информации по любому текущему процессу, что повышает качество работы предприятия. Плюсом является то, что внедрение платформы упрощает сотрудничество аэропорта с авиакомпаниями и оптимизирует планирование ресурсов, включая их техобслуживание и ремонт терминалов. Согласно прогнозам из АНО «Радиочастотный спектр», использование такого «умного сервиса» может улучшить техническое состояние оборудования и обеспечить оборачиваемость запасов на 10%, а уровень сервиса по поставкам — на 20%. Информация была размещена на сайте https://rspectr.com/.

Прогнозирование на основе больших данных

При использовании больших данных возможно строить прогнозные модели, выявлять закономерности и предугадывать поведение людей и процессов в будущем. Примером могут служить прогнозы спроса на товары и услуги, успешность рекламных кампаний и эффективность взаимодействия с клиентами. Также прогнозные модели могут применяться в различных отраслях, включая образование для предположений о будущей успеваемости учащихся и эффективности программ.

Прогнозная аналитика на основе больших данных широко используется в авиации. Компания Airbus, например, планирует минимизировать количество случаев, когда самолет не выполняет полет из-за выявленной неисправности, благодаря предиктивному обслуживанию к 2025 году. Компания Lufthansa Technik уже внедряет платформу, которая предсказывает сроки замены деталей самолета.

Big Data: как применять и анализировать большие данные?

Одно из самых популярных направлений в IT — применение больших данных. Big Data — это масштабные, чаще всего неупорядоченные массивы информации, и технологии работы с ними. Такая информация может храниться в базах данных, в сетях социальных медиа, в системах GPS, датчиках и т.д.

В использовании Big Data есть преимущества для бизнеса, поскольку это открывает новые возможности и помогает компаниям развиваться. Онлайн-магазины, например, используют анализ больших данных для создания персонифицированных сервисов и продуктов, ориентированных на поведение клиентов.

Технологии анализа больших данных, такие как системы машинного обучения, помогают исследователям и аналитикам находить скрытые закономерности в массивах информации. К примеру, в области медицины это может привести к развитию новых лекарств и методов лечения.

Использование больших данных — это не просто модный тренд, это реальный инструмент, который помогает организациям и индивидуальным предпринимателям анализировать рынки, предлагать персонализированный контент и разрабатывать более эффективные продукты и сервисы для потенциальных клиентов.

Методы анализа и хранение данных

Один из основных и заключительных этапов работы с большими данными — это их анализ. Именно благодаря этому этапу Big Data начинает приносить реальную практическую пользу. Анализ позволяет отфильтровать все ненужное и выделить самую важную информацию, которая может быть полезна для бизнеса.

Методы анализа больших данных очень разнообразны, и их описание не входит в рамки одной статьи. Однако, мы можем рассказать об основных методах.

Переработка информации перед анализом

Одним из методов обработки информации является Data Mining, что в переводе означает «добычу данных». Название точно отражает суть метода, который заключается в извлечении полезных закономерностей из большого количества разнородных данных. При использовании Data Mining решаются различные задачи, такие как классификация, кластеризация, анализ отклонений и многие другие. В рамках классификации метод позволяет группировать данные по определенным признакам. Анализ отклонений позволяет выявить аномальные события в потоке информации. Data Mining — мощный инструмент, который помогает оптимизировать работу с данными и выявить скрытые закономерности в таких областях, как маркетинг, планирование, производство и др.

Алгоритмы машинного обучения похожи на работу человеческого мозга, ведь они производят анализ входных данных и дают необходимые результаты. Нейронные сети особенно умелы в этом, проделывая сложную работу. Они могут обнаруживать лица на фотографиях или определять недобросовестные транзакции по различным признакам.

Прогнозирование будущих событий – это важный инструмент в современном бизнесе. С помощью метода прогностического анализа можно предсказать множество различных вещей, таких как поведение клиентов, динамику продаж, финансовые показатели организации, курсы валют, сроки доставки товаров, а также ремонтопригодность оборудования и многое другое.

Основная суть метода заключается в использовании данных из прошлого для прогнозирования будущих событий. Аналитики выявляют параметры, которые в наибольшей степени влияют на результат, и на основе их анализа, делают предположения о том, что может произойти в будущем.

Прогностический анализ применяется в многих сферах бизнеса и стал незаменимым инструментом планирования и принятия решений. Правильно использованный метод позволяет предугадать различные риски и возможности, что создает преимущество в условиях жесткой конкуренции на рынке.

Большие объемы данных (Big Data) помогают улучшить точность статистического анализа: чем более представительной будет выборка, тем более точными будут результаты исследований.

Визуализация данных является неотъемлемой частью их анализа. Она позволяет превратить информацию в понятный и удобный для использования формат, включая графики, диаграммы, карты и гистограммы. Обычно этот этап анализа выполняется в конечной стадии, когда необходимо проиллюстрировать результаты для пользователей.

Для эффективной визуализации используются специальные инструменты Big Data, предназначенные для работы с каждым конкретным методом.

Рост объема информации, с которым мы сталкиваемся каждую секунду, стремительно ускоряется. Так, только за 2020 год пользователи сгенерировали более 60 зеттабайт (60 × 10 21 байт) данных. При этом, по прогнозам, к 2025 году подобный объем информации вырастет втрое. В связи с этим, анализ Big Data является одним из перспективных технологических направлений. Большие данные актуальны для бизнеса, науки и сферы государственного управления. Поэтому крупные компании активно инвестируют в эту область.

Какие свойства данных можно отнести к понятию Big Data?

Big Data — это громадный объем данных, который является характерным атрибутом технологической эры, что мы наблюдаем сегодня. Однако, объем данных — это не единственная характеристика, которой следует обладать, чтобы быть отнесенным к категории Big Data.

Для того, чтобы данные были считались Big Data, необходимо, чтобы они соответствовали трём главным характеристикам, называемым «трем V»: объёму, скорости и разнообразию. Количество данных должно быть огромным и измеряться не терабайтами, а петабайтами и эксабайтами. Данные также должны поступать из разных источников непрерывно и быстро. Информация, относящаяся к Big Data, может быть представлена разнообразными типами данных, такими как текстовые и графические документы, аудио и видеофайлы, а также логи. Некоторые эксперты добавляют два дополнительных критерия, которыми являются достоверность и ценность.

Также для того, чтобы данные имели значение и могли быть использованы бизнесом, они должны быть точными, практически полезными и иметь жизненную способность. В целом, характеристики Big Data существенно отличаются от привычных нам данных, традиционно обрабатываемых в информационных системах.

Революция в фармакологии: как Big Data помогает создавать лекарства

Маркетологи активно применяют большие данные в своей работе. Они анализируют информацию о покупках, поисковых запросах, посещениях и лайках в социальных сетях, чтобы определить предпочтения пользователей и предложить им наиболее интересные товары. С помощью Big Data реклама становится более целевой и эффективной.

Первопроходцем в области рекомендательных сервисов на основе анализа пользовательских данных является маркетплейс Amazon. В его системе используется не только информация об истории покупок и поведении клиентов, но и о внешних факторах, таких как время года или предстоящие праздники. Благодаря такому подходу система рекомендаций приносит более трети всех продаж.

Прогнозирование с помощью обработки больших объемов данных становится все более популярным. Основная идея заключается в создании моделей и прогнозировании будущих событий и поведения людей на их основе. Такой подход способен помочь в различных сферах, таких как планирование рекламных кампаний, определение спроса на услуги и товары, а также помогать взаимодействовать с клиентами.

Преимущество использования предсказательной аналитики на основе Big Data не ограничивается только сферой маркетинга и торговли. В сфере образования, например, она может помочь определить вероятность успеха учеников и эффективность программ.

Прогнозная аналитика уже нашла свое применение в авиации. Airbus планирует использовать предиктивное обслуживание к 2025 году для уменьшения случаев, когда некоторые самолеты не могут вылететь из-за выявленных неисправностей. Другая компания, Lufthansa Technik, уже внедрила платформу, которая прогнозирует сроки замены деталей.

Таким образом, использование прогнозной аналитики на основе больших объемов данных может иметь практическую пользу в различных отраслях, увеличивая эффективность процессов и помогая предсказать будущие события и тренды.

Исследование, проведенное консалтинговой компанией Accenture в 2014 году, включало опрос руководителей тысячи компаний из различных стран мира. По результатам исследования 60% опрошенных компаний успешно внедрили системы анализа больших данных и были довольны их результатами. Создание новых продуктов и услуг, увеличение количества способов получения дохода, улучшение клиентского опыта и повышение лояльности клиентов были названы участниками опроса основными преимуществами технологии Big Data.

Какие возможности и опасности открывает big data

Panorama

Big Data: новые возможности или опасность для финансистов?

Вопрос влияния Big Data на мир бизнеса сегодня является одним из наиболее актуальных для бухгалтеров и финансистов по всему миру. Об этом говорится в недавно опубликованном докладе ACCA, профессиональной ассоциации сертифицированных финансовых специалистов, и IMA®, института специалистов по управленческому учету. В докладе «Большие данные»: их потенциал и опасность» (Big data: its power and perils) рассматриваются возможности, которые откроются крупным, средним и малым компаниям, правительствам и регулирующим органам, если они научатся использовать огромный объем неструктурированной информации и управлять им. В то же время, очевидно, что в этой области существуют возможные юридические и этические «подводные камни». Объем и разнообразие данных, которые могут быть собраны компаниями и правительствами, растет очень быстро; это потенциальный кладезь информации. Корпорации инвестируют значительные бюджеты, чтобы иметь возможность структурировать, понимать и анализировать эту информацию. Анна Пирожкова, глава АССА в России, говорит: «Вопрос не в том, когда «большие данные» станут важны – это уже произошло. Вопрос заключается в способности анализировать и использовать такую информацию. Big Data открывают финансовым специалистам новые широкие возможности. Опираясь на свои аналитические навыки, они смогут в режиме реального времени предоставлять высшему руководству актуальную информацию о большем количестве параметров, таким образом, играя ключевую роль с точки зрения бизнес-стратегии. Много лет мы говорили о том, что функции финансовой службы не должны ограничиваться просто предоставлением ежегодных отчетов, и с появлением Big Data это стало реальностью. Также чрезвычайно важным будет этическое управление данными; сочетая аналитические навыки и соблюдение этических норм, роль финансовых специалистов в итоге будет определяющей с точки зрения бизнес-стратегии и успешности компании». «Большие данные» будут неоценимы не только для частного сектора. Они также облегчат задачу аудиторов и регулирующих органов, помогая выявлять мошенничество в особо крупных размерах. Власти уже используют Big Data в своих расследованиях. Эштон Дэллсинг, вице-президент и финансовый директор Cisco по Европе, Ближнему Востоку, Африке и России, отмечает: «Мы видим, что эти данные отличаются от обычных или серверных данных. Для нас Big Data – это фактически набор массивов данных, настолько большой и сложный, что с ним просто невозможно работать с помощью существующих баз. Объем передаваемых данных растет все быстрее, что приведет к радикальному изменению роли бухгалтеров и финансовых специалистов. Есть три возможности. Первая – это структурирование информации. По большей части рост данных будет неструктурированным, поэтому придание ему структуры открывает огромные профессиональные возможности. Вторая – это повышение производительности. Эффективное использование «больших данных» – важнейший фактор реализации стратегии компаниями и получения конкурентного преимущества. Финансовые специалисты могли бы сыграть ведущую роль в этой ситуации. В-третьих, у них есть возможность стать авторитетными экспертами в своей области». Авторы доклада признают, что бухгалтеры – не специалисты по программному обеспечению и обработке данных, но в перспективе они могут начать выполнять эту роль. Финансовые специалисты будут принимать все больше участия в определении того, какую финансовую информацию использовать для «визуализации данных» и представления на информационной панели компании, а также того, как наложить на нее нефинансовые данные. Их участие будет необходимо для создания общего языка визуального представления данных. Фэй Чуа, руководитель отдела прогнозирования ACCA, отмечает:

«В результате развития Big Data перед многими финансовыми специалистами встанут новые задачи. Традиционная роль финансового директора, главного инженера и директора по информационным технологиям со временем изменится до неузнаваемости; она будет в большей мере связана с разработкой стратегии и прогнозированием. От того, как быстро они смогут освоить эту новую роль, будет в значительной степени зависеть то, сможет ли компания в полной мере использовать потенциал, связанный с «большими данными».

В ходе исследования ACCA и IMA изучили имеющуюся информацию о Big Data, организовали круглый стол с участием ведущих специалистов в области финансов и провели интервью с экспертами по «большим данным».

Какие возможности и опасности открывает big data

Big Data: опасности и перспективы Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

Аннотация научной статьи по СМИ (медиа) и массовым коммуникациям, автор научной работы — Закусилова А.Ю.,

Похожие темы научных работ по СМИ (медиа) и массовым коммуникациям , автор научной работы — Закусилова А.Ю.,

Big Data: dangers and prospects

Текст научной работы на тему «Big Data: опасности и перспективы»

Big Data: как применять и анализировать большие данные?

Big Data: как применять и анализировать большие данные?

Какие возможности и опасности открывает big data

Panorama

Big Data: новые возможности или опасность для финансистов?

Добавить комментарий Отменить ответ