Ai проекты что это

Искусственный интеллект (ИИ)
Artificial intelligence (AI)

Искусственный интеллект (ИИ, англ. Artificial intelligence, AI) — наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. ИИ связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами.

Что такое искусственный интеллект

На 2021 год исследователи использовали следующую классификацию типов ИИ:

Artificial Super Intelligence (ASI) — гипотетический ИИ, который сможет не только воспроизводить максимум способностей человека, но и даже превзойти его. Верящие в ASI считают, что он обретет силу проникновения в мысли и чувства человека с тем, чтобы подчинить его своей воле. См. Сверхразум: страшилки футурологов или реальное будущее искусственного интеллекта?

Остающийся тоже гипотетическим сильный, или общий ИИ (Artificial General Intelligence, AGI) по степени разумности стоит на ступень ниже ASI, адепты этого типа AI ограничены в своих убеждениях возможностью создания машин, способных как минимум выполнять те же действия, что и человек.

Слабый, или узкий ИИ (Artificial Narrow Intelligence, ANI) позволяет усмотреть в поведении машин слабые намеки на разум (поэтому его называют слабым). Он предназначен для выполнения только строго определенного узкого круга приложений (поэтому его называют узким). В случае ANI невозможно никакое неподвластное человеку автономное поведение или самостоятельное развитие. Системы, снабженные ANI, могут существовать только в той форме, в которой они были созданы человеком и даже теоретически не могут выйти из-под его контроля. Российский рынок мобильных приложений для бизнеса и госсектора: крупнейшие игроки, тенденции и перспективы. Обзор TAdviser

Устаревающие общие определения искусственного интеллекта:

• (J. McCarthy) ИИ разрабатывает машины, которым присуще разумное поведение
• (Britannica) ИИ — способность цифровых компьютеров решать задачи, которые обычно ассоциируются с высоко интеллектуальными возможностями человека
• (Файгенбаум) ИИ — разрабатывает интеллектуальные компьютерные системы обладающие возможностями, которые мы традиционно связываем с человеческим разумом: понимание языка, обучение, способность рассуждать, решать проблемы и т. д.
• (Elaine Rich) ИИ — наука о том, как научить компьютеры делать что-то, в чем на данный момент человек успешнее

Интеллект (от лат. intellectus — ощущение, восприятие, разумение, понимание, понятие, рассудок), или ум — качество психики, состоящее из способности приспосабливаться к новым ситуациям, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций и использованию своих знаний для управления окружающей средой. Интеллект — это общая способность к познанию и решению трудностей, которая объединяет все познавательные способности человека: ощущение, восприятие, память, представление, мышление, воображение.

В начале 1980-х гг. ученые в области теории вычислений Барр и Файгенбаум предложили следующее определение искусственного интеллекта (ИИ):

Позже к ИИ стали относить ряд алгоритмов и программных систем, отличительным свойством которых является то, что они могут решать некоторые задачи так, как это делал бы размышляющий над их решением человек.

Основные свойства ИИ — это понимание языка, обучение и способность мыслить и, что немаловажно, действовать.

ИИ – комплекс родственных технологий и процессов, развивающихся качественно и стремительно, например:

• обработка текста на естественном языке
• машинное обучение
• экспертные системы
• виртуальные агенты (чат-боты и виртуальные помощники)
• системы рекомендаций.

Технологические направления ИИ. Данные Deloitte

Сложности определения понятия ИИ

Вариантам определения термина ИИ и связанным с этим сложностям посвящена отдельная статья TAdviser — «Термин ИИ употребляется уже 70 лет, но всеми понимается по-разному. Что такое ИИ на самом деле?»

Методы ИИ: NLP, CV, Data Science

Естественный язык (NLP) Речевые технологии

• тексты: распознают, автоматически переводят
• речь: распознают, генерируют

• находят, отслеживают, классифицируют, идентифицируют объекты
• извлекают данные из изображений
• анализируют полученную информацию

• распознавания объектов
• видео аналитики
• описания содержания изображений и видео
• распознавания жестов и рукописного ввода
• интеллектуальной обработки изображений

• извлекают знания
• находят закономерности в данных
• прогнозируют

• Статистики
• Эконометрики
• Машинного обучения, Deep learning

Национальная стратегия развития искусственного интеллекта России

• Основная статья:Национальная стратегия развития искусственного интеллекта

Исследования в сфере ИИ

• Основная статья:Исследования в сфере искусственного интеллекта

Стандартизация в области ИИ

Влияние искусственного интеллекта

Риск для развития человеческой цивилизации

Британский ученый Стивен Хокинг часто высказывался о развитии искусственного интеллекта (ИИ) как о реальной причине возможного уничтожения человеческого рода.

В апреле 2017 года Стивен Хокинг в ходе видеоконференции в Пекине, состоявшейся в рамках Глобальной конференции мобильного интернета, заявил:

«Развитие искусственного интеллекта может стать как наиболее позитивным, так и самым страшным фактором для человечества. Мы должны осознавать опасность, которую он собой представляет», — подчеркнул он [1] .

Как рассказал ученый в своем интервью изданию Wired в конце ноября 2017 года, он опасается того, что ИИ может в целом заменить людей.

По словам самого Хокинга, люди могут создать слишком мощный искусственный интеллект, который будет чрезвычайно хорош в достижении своих целей. И если эти цели не будут совпадать с человеческими, то у людей будут проблемы, считает ученый. Подробнее здесь

Влияние на экономику и бизнес

Влияние на рынок труда

Проблемы ИИ

2023: ЦБ перечислили главные риски внедрения искусственного интеллекта

В конце сентября 2023 года в Банке России назвали основные риски при внедрении искусственного интеллекта. Главными среди них, как следует из презентации статс-секретаря — зампреда ЦБ Алексея Гузнова, являются:

• Вероятность возникновения монополизации среди крупных игроков технологий. Для поддержки ИИ необходимы большие инвестиции для вычислительных мощностей, инфраструктур обработки данных, подготовки профессиональных кадров и так далее. Гузнов отметил, что результат при использовании ИИ смогут получить только компании, которые имеют возможность «вложить», что станет причиной «перекосов» на рынке;
• Риск утечки информации, которая используется для обучения ИИ;
• Риск принятия предвзятых или дискриминационных решений на фоне того, что модель ИИ предусматривает выдачу решений, основываясь на определенных факторов и внесенных алгоритмов. «По большей степени это не наша проблема. Она сейчас осмысляется как философская, если хотите, проблема сочетания человеческого интеллекта и искусственного», — заявил Гузнов. Так он отметил, что в рамках особой работы ИИ могут возникнуть проблемы при общении искусственного интеллекта с потребителями.

ЦБ назвал основные риски внедрения ИИ

Банк России до конца 2023 года планирует выпустить консультативный доклад по искусственному интеллекту, в котором затронет вопросы применения и регулирования ИИ в сфере финансов, говорила в начале сентября 2023-го первый зампред ЦБ Ольга Скоробогатова. Банк России также намерен создать центр компетенций по ИИ. Регулятора в первую очередь интересует вопрос безопасности данных и операций клиентов. И уже на основе общественных обсуждений ЦБ будет принимать решение о необходимости регулирования ИИ.

По словам Алексея Гузнов, к концу сентября 2023 года в вопросе регулирования применения искусственного интеллекта ЦБ не предполагает каких-то радикальных решений, но «вопрос стоит». [2]

2022

Администрация президента США выпустила 5 положений о защите людей от ИИ

7 октября 2022 года Управление по научно-технической политике (OSTP) Белого дома выпустило пять положений, которыми следует руководствоваться при разработке, использовании и внедрении автоматизированных систем. Документ подготовлен на фоне того, как по мере развития искусственного интеллекта все больше голосов присоединяются к призыву принять меры по защите людей от этой технологии. Опасность, по мнению экспертов, заключается в том, что нейросети легко становятся предвзятыми, неэтичными и опасными.

Управление по научно-технической политике Белого дома выпустило пять положений, которыми следует руководствоваться при разработке, использовании и внедрении автоматизированных систем

• Безопасные и эффективные системы

Пользователь должен быть защищен от небезопасных или неэффективных систем. Автоматизированные системы должны разрабатываться на основе консультаций с различными сообществами, заинтересованными сторонами и экспертами в данной области для определения проблем, рисков и потенциального воздействия системы. Системы должны проходить тестирование перед развертыванием для выявления и снижения рисков, а также постоянный мониторинг, который продемонстрирует их безопасность и эффективность.

• Защита от алгоритмической дискриминации

Пользователь не должны сталкиваться с дискриминацией со стороны алгоритмов, а системы должны использоваться и разрабатываться на принципах равноправия. В зависимости от конкретных обстоятельств, алгоритмическая дискриминация может нарушать правовую защиту. Проектировщики, разработчики и специалисты по внедрению автоматизированных систем должны принимать проактивные и последовательные меры для защиты отдельных лиц и сообществ от алгоритмической дискриминации, а также для использования и проектирования систем на основе равноправия.

• Конфиденциальность данных

Пользователь должен быть защищен от неправомерного использования данных с помощью встроенных средств защиты, и он должен иметь право распоряжаться тем, как используются данные о нем. Проектировщики, разработчики и специалисты по внедрению автоматизированных систем должны запрашивать у пользователя разрешение и уважать его решения относительно сбора, использования, доступа, передачи и удаления его данных соответствующими способами и в максимально возможной степени; если это невозможно, следует использовать альтернативные средства защиты конфиденциальности на основе дизайна.

• Уведомление и разъяснение

Пользователь должен знать, что автоматизированная система используется, и понимать, как и почему она способствует достижению результатов, которые влияют на него. Проектировщики, разработчики и специалисты по внедрению автоматизированных систем должны предоставлять общедоступную документацию на простом языке, включающую четкое описание общего функционирования системы и роли, которую играет автоматизация, уведомление о том, что такие системы используются, о лице или организации, ответственной за систему, и объяснение результатов, которое должно быть четким, своевременным и доступным.

• Альтернативы для человека, принятие решений и запасной вариант

Пользователь должен иметь возможность отказаться от услуг, где это необходимо, и иметь доступ к специалисту, который может быстро рассмотреть и устранить возникшие проблемы. Пользователь должен иметь возможность отказаться от автоматизированных систем в пользу человеческой альтернативы, где это уместно. [3]

Бывший глава Google Эрик Шмидт создаёт фонд для решения «ключевых» проблем ИИ

16 февраля 2022 года появилась информация о том, что бывший исполнительный директор Google Эрик Шмидт (Eric Schmidt) объявил о создании благотворительного фонда с общим капиталом 125 млн долларов, который будет оказывать содействие исследованиям в сфере искусственного интеллекта. Речь, в первую очередь, идёт об исследованиях, направленных на решение кардинальных проблем, проявляющихся при использовании технологий искусственного интеллекта, в том числе предвзятости (феномен AI bias — прим. TAdviser), возможности причинения вреда и злоупотреблений. В списке значатся также геополитические конфликты и научная ограниченность самой технологии. Подробнее здесь.

2019: Сексизм и шовинизм искусственного интеллекта. Почему так сложно его побороть?

В основе всего того, что является практикой ИИ (машинный перевод, распознавание речи, обработка текстов на естественных языках, компьютерное зрение, автоматизация вождения автомобилей и многое другое) лежит глубинное обучение. Это подмножество машинного обучения, отличающееся использованием моделей нейронных сетей, о которых можно сказать, что они имитируют работу мозга, поэтому их с натяжкой можно отнести к ИИ. Любая модель нейронной сети обучается на больших наборах данных, таким образом, она обретает некоторые «навыки», но то, как она ими пользуется — для создателей остается не ясным, что в конечном счете становится одной из важнейших проблем для многих приложений глубинного обучения. Причина в том, что такая модель работает с образами формально, без какого-либо понимания того, что она делает. Является ли такая система ИИ и можно ли доверять системам, построенным на основе машинного обучения? Значение ответа на последний вопрос выходит за пределы научных лабораторий. Поэтому заметно обострилось внимание средств массовой информации к явлению, получившему название AI bias. Его можно перевести как «необъективность ИИ» или «пристрастность ИИ». Подробнее здесь.

Рынок технологий искусственного интеллекта

Рынок ИИ в России

Мировой рынок ИИ

• Искусственный интеллект (мировой рынок)
• Искусственный интеллект в США

Сферы применения ИИ

Сферы применения ИИ достаточно широки и охватывают как привычные слуху технологии, так и появляющиеся новые направления, далекие от массового применения, иначе говоря, это весь спектр решений, от пылесосов до космических станций. Можно разделить все их разнообразие по критерию ключевых точек развития.

ИИ — это не монолитная предметная область. Более того, некоторые технологические направления ИИ фигурируют как новые подотрасли экономики и обособленные сущности, одновременно обслуживая большинство сфер в экономике.

Основные коммерческие сферы применения технологий искусственного интеллекта

Развитие применения использования ИИ ведет к адаптации технологий в классических отраслях экономики по всей цепочке создания ценности и преобразует их, приводя к алгоритмизированию практически всего функционала, от логистики до управления компанией.

Технологии искусственного интеллекта. Обзор TAdviser 2022

Ежегодные темпы роста рынка решений искусственного интеллекта в России эксперты оценивают на уровне 20-30%. Какие технологии обеспечивают такое ускоренное развитие? В каких практических задачах эти технологии находят массовое применение? Где находятся точки роста, которые определяют векторы развития интеллектуальных систем в ближайшей перспективе? Искать ответы на эти вопросы TAdviser помогли российские эксперты в области интеллектуальных технологий и решений. Подробнее.

Технологии и решения искусственного интеллекта: точка перелома. Обзор TAdviser 2020

В материале практически не упоминается так называемый «сильный интеллект» — достичь его можно, пожалуй, только в мечтах футурологов разного толка. Речь же идет о реальности, а она не менее интересна и увлекательна. Более того, экспертное сообщество дает однозначный ответ: мы находимся в точке перелома, причем, в самой активной фазе трансформации стремительно информатизирующегося общества. Этой точке перелома свойственны, с одной стороны, неоправданные ожидания разного толка, раскалывающие общество. С другой стороны, в этой точке открываются обширные перспективы реального развития, очищенные от лишнего хайпа. Как они выглядят, с точки зрения возможных практических реализаций?

Именно об этом шел большой разговор с учеными и разработчиками решений искусственного интеллекта (ИИ), которые находятся на переднем фронте развития ИИ в ключевых направлениях:

• Компьютерное зрение.
• Распознавание речи.
• Понимание смысла текстов.
• Аналитика и поддержка принятия решений.
• Безлюдные и оцифрованные предприятия.

ИИ в принятии решений: сегодня и завтра

Искусственный интеллект в разработке программного обеспечения

Искусственный интеллект для решения демографических проблем

Использование ИИ в целях обороны и в военном деле

• Искусственный интеллект в ВПК
• Кибервойны
• Боевые роботы

Использование в образовании

Использование ИИ в бизнесе

ИИ в квантовой физике

2022: ИИ упростил решение известной задачи квантовой физики со 100 тыс. уравнений до четырех

4 октября 2022 года стало известно о том, что с помощью искусственного интеллекта (ИИ) физики смогли радикально оптимизировать известную квантовую проблему, которая до недавнего времени подразумевала решение 100 тыс. различных уравнений. Теперь достаточно решить четыре уравнения, и это без каких-либо жертв в плане точности результатов.

Как сообщалось, работа, опубликованная в Physical Review Letters 23 сентября 2022 г., может привести к изменениям в том, как ученые исследуют системы, содержащие множество взаимодействующих электронов. Если это решение удастся масштабировать на другие аналогичные проблемы, с его помощью будет возможно создание сверхпроводящих материалов или средств экологически чистого производства энергии.

заявил Доменико Ди Санте (Domenico Di Sante), глава исследовательской группы, сотрудник Центра вычислительной квантовой физики при Институте Флатирона (США) и Университета Болоньи (Италия)

Проблема, известная как модель Хаббарда, связана с поведением электронов, движущихся внутри решеткообразной структуры. Если два электрона занимают одну точку в решетке, они взаимодействуют. Модель Хаббарда — «идеальный» вариант нескольких важных классов материалов; с ее помощью ученые получают представление о том, как поведение электронов обеспечивает искомые состояния вещества, такие как сверхпроводимость, при которой электроны движутся, не встречая сопротивления. Модель также используется для отработки различных методов работы с более комплексными квантовыми системами.

Простота модели Хаббарда, однако, глубоко обманчива, пишет издание Phys.org. Даже когда обсчитывается скромное количество электронов, и используются самые передовые вычислительные подходы, объем собственно вычислений остается большим. Дело в квантовом сцеплении: после того, как два электрона взаимодействуют, они оказываются сцепленными, и как бы далеко они ни оказывались друг от друга впоследствии, их нельзя рассматривать как самостоятельные единицы. В результате физикам приходится учитывать сразу все электроны разом, а не каждый по отдельности. И чем больше электронов добавляется в систему, тем больше происходит сцеплений, и тем выше вычислительные ресурсы, которые требуются для изучения такой системы.

Физики в таких случаях применяют ренормализационные группы — математический аппарат, который используется для выявления изменений в системе при модификации ее свойств, например температуры, или последствий изменения масштабов.

Однако даже ренормализационная группа, отслеживающая все возможные сцепления между электронами без ущерба для точности, будет содержать десятки тысяч, сотни тысяч или даже миллионы отдельных уравнений, требующих решения.

Ди Санте и его коллеги задумались о возможности применить нейросеть для того, чтобы сделать массивную ренормализационную группу более управляемой. И это им удалось.

Нейросеть вначале проиндексировала все связи в полноразмерной группе ренормализации, затем перенастраивала силу этих соединений до тех пор, пока не выявила узко ограниченный набор уравнений, выдающих точно такой же результат, что и исходная ренормализационная группа. Количество таких уравнений в итоге удалось низвести до четырех.

Обучение нейросети потребовало больших вычислительных ресурсов: программа проработала несколько недель непрерывно. Однако теперь эта нейросеть может быть использована для производства вычислений в связи с другими крупными физико-математическими проблемами, без необходимости начинать ее обучение с нуля.

Ди Санте и его соратники также изучают, что именно их нейросеть «поняла» насчет системы, к которой была применена, в надежде выявить закономерности, прежде неочевидные для физиков.

Остается вопрос, насколько данный подход работает с более сложными квантовыми системами, например с материалами, в которых электроны взаимодействуют на больших дистанциях. По словам Ди Санте, существуют очень интересные возможности использовать данный метод в других областях, где используются ренормализационные группы, в том числе космологии и неврологии.

поведал Дмитрий Гвоздев, генеральный директор компании «Информационные технологии будущего»

ИИ в борьбе с мошенничеством

11 июля 2019 года стало известно о том, что всего через два года искусственный интеллект и машинное обучение будут использоваться для противодействия мошенничеству в три раза чаще, чем на июль 2019 года. Такие данные были получены в ходе совместного исследования компании SAS и Ассоциации сертифицированных специалистов по расследованию хищений и мошенничества (Association of Certified Fraud Examiners, ACFE). На июль 2019 года такие антифрод-инструменты уже используют в 13% организаций, принявших участие в опросе, и в еще 25% заявили, что планируют их внедрить в течение ближайшего года-двух. Подробнее здесь.

ИИ в электроэнергетики

• На уровне проектирования: улучшенное прогнозирование генерации и спроса на энергоресурсы, оценка надежности энергогенерирующего оборудования, автоматизация повышения генерации при скачке спроса.
• На уровне производства: оптимизация профилактического обслуживания оборудования, повышение эффективности генерации, снижение потерь, предотвращение краж энергоресурсов.
• На уровне продвижения: оптимизация ценообразования в зависимости от времени дня и динамическая тарификация.
• На уровне предоставления обслуживания: автоматический выбор наиболее выгодного поставщика, подробная статистика потребления, автоматизированное обслуживание клиентов, оптимизация энергопотребления с учетом привычек и поведения клиента.

ИИ в производственной сфере

• На уровне проектирования: повышение эффективности разработки новых продуктов, автоматизированная оценка поставщиков и анализ требований к запчастям и деталям.
• На уровне производства: совершенствование процесса исполнения задач, автоматизация сборочных линий, снижение количества ошибок, уменьшение сроков доставки сырья.
• На уровне продвижения: прогнозирование объемов предоставления услуг поддержки и обслуживания, управление ценообразованием.
• На уровне предоставления обслуживания: улучшение планирования маршрутов парка транспортных средств, спроса на ресурсы автопарка, повышение качества подготовки сервисных инженеров.

ИИ в банках

• Основная статья:Искусственный интеллект в банках
• Искусственный интеллект в Сбербанке

• Чат-боты и голосовые помощники
• Персонализация продуктов и предложений
• Биометрия
• Распознавание образов — используется в т.ч. для узнавания клиентов в отделениях и передачи им специализированных предложений
• Роботы помощники

• Обнаружение фрода
• AML & KYC
• Кредитные рейтинги
• Управление рисками
• Комплайенс
• Обработка документов

Основные коммерческие сферы применения технологий искусственного интеллекта в банках

ИИ на транспорте

• Автопилот (беспилотный автомобиль)
• Автоиндустрия на пороге революции: 5 вызовов эры беспилотного вождения

ИИ в логистике

ИИ в торговле

• Распознавание образов — используется в т.ч. для узнавания клиентов и передачи им специализированных предложений.

• Инженеры лаборатории Facebook по исследованию искусственного интеллекта представили в июне 2017 года результаты работы над ботом, умеющим врать и торговаться с людьми. Как пишет Quartz, в ходе обучения система использовала более 5,8 тыс. реальных человеческих диалогов в ходе переговоров, собранных при помощи краудсорсинговой онлайн-платформы Amazon Mechanical Turk [5] .

Анализируя диалоги, бот не только научился вести переговоры — он научился врать. Инженеры отмечают, что искусственный интеллект может имитировать интерес не к тому, что его действительно интересует, а к другому предмету. Выиграв преференции в ходе переговоров, он возвращается к объекту интереса. Впрочем, инженеры до конца не уверены, научился ли бот вранью из человеческих диалогов, или вышел на тактику случайно, в процессе самообучения.

ИИ в сельском хозяйстве

ИИ на рынке предметов и услуг роскоши

В ноябре 2017 года издание Financial Times (FT) опубликовало статью о том, как искусственный интеллект (ИИ) в корне меняет рынок роскоши. Вдохновившись успехами Amazon, Google и других технологических гигантов, часовые и ювелирные бренды обращаются к искусственному интеллекту, чтобы завоевать клиентов. Например, виртуальные собеседники на основе мессенджеров могут помочь брендам собирать данные пользователей, не нарушая при этом европейское законодательство.

Кольцо с системой «чат-бокс» из коллекции De Grisogono

В марте 2017 года на выставке часов Baselworld часовой и ювелирный бренд de Grisogono представил чат-бота, который помогает покупателям выбрать украшение из драгоценных камней из коллекции Crazymals. Собеседник рассказывает о себе, спрашивает клиентов о вкусах, а затем предлагает ювелирные изделия на выбор.

Зимой 2017 года de Grisogono представил свой первый ИТ-продукт — консьерж-сервис «Ботлер», который представляет собой нечто среднее между чат-ботом и «дворецким», который выполняет функцию гида по швейцарскому горнолыжному курорту Санкт-Мориц.

По словам соучредителя Southpigalle Оливье де Коэнте, сложная экономическая ситуация и растущая конкуренция заставили бренды класса «люкс» внедрять инновации, в том числе системы виртуальных собеседников, чтобы удержать клиентов.

Согласно результатам исследования, проведенного Facebook в 2016 году, большее 50% респондентам удобнее отправлять текстовые сообщения, чем звонить в службу поддержки клиентов. Исследование показало, что ежемесячно различные компании получали свыше 1 млрд сообщений.

Как пишет FT, ИИ не только улучшает взаимодействие с клиентами, но и служит важным источником информации для брендов. Так как информация предоставляется клиентом напрямую, эти данные более полезны, чем информация, полученная с помощью файлов cookie или истории просмотров.

В сочетании с другими данными, такими как профиль социальных сетей пользователя и демографические данные, бренды смогут лучше понимать тенденции, эмоции и настроение клиентов и соответственно корректировать стратегии управления продуктом.

Летом 2017 года компания Montblanc представила «умные» часы Summit, оснащенные ассистентом Google на основе ИИ. Несмотря на классический внешний вид, модель выполняет функции навигатора, переводчика и ассистента с голосовым управлением.

В рамках выставки SIHH в Женеве в январе 2017 года бренд Jaeger-LeCoultre пригласил всех желающих протестировать свои разработки. Посетителям выдали браслет с QR-кодом и попросили выбрать часы с помощью приложения для iPhone. Эта технология на основе дополненной реальности помогла компании собрать информацию о клиентах. [6]

ИИ в ресторанах

2023: В России открылось первое кафе, меню и интерьеры для которого разработал искусственный интеллект

В России открылось первое кафе, меню и интерьеры для которого разработал искусственный интеллект. Речь идет об заведении азиатской кухни под названием Futuramen, которое заработало в Москве на Пятницкой. Подробнее здесь.

ИИ в пивоварении

В декабре 2017 года Carlsberg сообщила об использовании искусственного интеллекта, который помогает датской компании создавать новые сорта пива. Подробнее здесь.

ИИ в юриспруденции

Юристы начали использовать нейросеть OpenAI для ускорения работы

15 марта 2023 года PricewaterhouseCoopers (PwC), международная сеть компаний, предлагающих услуги в области консалтинга и аудита, объявила о внедрении искусственного интеллекта для повышения эффективности работы своих сотрудников. Подробнее здесь.

Использование ИИ в госуправлении

ИИ в ЖКХ

• прогнозирование технического состояния дома (лифт, кровля)
• прогнозирование расхода воды и электричества (регрессия), предсказание заполнение показателей (классификация)
• распознавание фото счетчиков

ИИ в криминалистике

ИИ в судебной системе

2022

Суды начали использовать систему, которая распознает голоса незнакомцев на записях лучше людей

7 ноября 2022 года междисциплинарная международная группа, состоящая из криминалистов, юристов, психологов и лингвистов из Австралии, Великобритании и Чили, разработала и внедрила ИИ-систему, способную распознавать голоса незнакомцев на аудиозаписях лучше людей. В качестве доказательства эффективности своей разработки эксперты сравнили точность идентификации говорящего на записи отдельными слушателями (например, судьями или членами жюри) с точностью системы сравнения судебной экспертизы голоса, основанной на современной технологии автоматического распознавания говорящего.

В большинстве англоязычных стран показания эксперта принимаются в суде только в том случае, если они потенциально могут помочь судье или присяжным принять решение. Если идентификация говорящего на записи судьей или присяжными будет одинаково точной или более точной, чем сравнительный анализ голоса, проведенный судебным экспертом, то показания судебного эксперта не будут приемлемыми.

Суды начали использовать систему, которая распознает голоса

Запись голоса допрашиваемого была телефонным звонком с фоновым офисным шумом, а запись голоса подозреваемого — полицейским допросом, проведенным в помещении с эхом и фоновым шумом вентиляционной системы.

Система сравнения голоса судебного эксперта показала лучшие результаты, чем все 226 слушателей, участвовавших в тестировании.

Исследовательская группа состояла из криминалистов, правоведов, экспериментальных психологов и фонетистов из Великобритании, Австралии и Чили.

Автор исследования доктор Кристи Мартир (Kristy A Martire) из Школы психологии Университета Нового Южного Уэльса сказала:

Соавтор исследования профессор Гэри Эдмонд из юридического факультета Университета Нового Южного Уэльса сказал:

В Китае искусственный интеллект начал выносить судебные приговоры

В середине июля 2022 года искусственный интеллект впервые стал составителем текста обвинительного заключения, которое будет предъявлено преступнику в суде. Система машинного обучения может автоматически сканировать судебные дела на предмет ссылок, рекомендовать судье законы и правила, составлять юридические документы и исправлять то, что она считает человеческими ошибками в приговоре. Подробнее здесь.

2021: В Китае создан робот-прокурор

Китайские специалисты заявили о создании первого в мире робота-прокурора, использующего технологии искусственного интеллекта (ИИ) для предъявления обвинений в уголовных делах. Об этом стало известно 27 декабря 2021 года. Подробнее здесь.

2017

Разработки в области искусственного интеллекта помогут кардинально изменить судебную систему, сделать ее более справедливой и свободной от коррупционных схем. Такое мнение высказал летом 2017 года доктор технических наук, технический консультант Artezio Владимир Крылов.

Ученый считает, что уже существующие сейчас решения в области AI можно успешно применять в разных сферах экономики и общественной жизни. Эксперт указывает, что AI успешно применяется в медицине, однако в будущем способен полностью изменить и судебную систему.

«Ежедневно просматривая новостные сообщения о разработках в области ИИ только поражаешься неисчерпаемости фантазии и плодотворности исследователей и разработчиков в этой области. Сообщения о научных исследований постоянно чередуются с публикациями о новых продуктах, врывающихся на рынок и сообщениями об удивительных результатах, полученных с помощью применения ИИ в различных областях. Если же говорить об ожидаемых событиях, сопровождаемых заметным хайпом в СМИ, в котором ИИ станет снова героем новостей, то я, наверное, не рискну делать технологических прогнозов. Могу предположить, что ближайшим событием станет появление где-то предельно компетентного суда в форме искусственного интеллекта, справедливого и неподкупного. Случится это, видимо, в 2020-2025 году. И процессы, которые пройдут в этом суде приведут к неожиданным рефлексиям и стремлению многих людей передать ИИ большинство процессов управления человеческим обществом».

Использование искусственного интеллекта в судебной системе ученый признает «логичным шагом» по развитию законодательного равенства и справедливости. Машинный разум не подвержен коррупции и эмоциям, может четко придерживаться законодательных рамок и выносить решения с учетом многих факторов, включая данные, которые характеризуют участников спора. По аналогии с медицинской сферой, роботы-судьи могут оперировать большими данными из хранилищ государственных служб. Можно предположить, что машинный интеллект сможет быстро обрабатывать данные и учитывать значительно больше факторов, чем судья-человек.

Эксперты-психологи, впрочем, считают, что отсутствие эмоциональной составляющей при рассмотрении судебных дел негативно скажется на качестве решения. Вердикт машинного суда может оказаться слишком прямолинейным, не учитывающим важность чувств и настроения людей.

ИИ в спорте

ИИ в медицине (здравоохранении)

Анализ поведения граждан

Использование ИИ в развитии культуры

Работа СМИ и литература

Как роботы заменяют журналистов, писателей и поэтов?

Видео

Драматургия

Искусственный интеллект научился «писать» пьесы

Экспериментальную модель нейросети – генератор пьес «НейроСтаниславский» представили в Москве. Проект открывает следующую эпоху в театральном искусстве и в сфере нейронных сетей: искусственный интеллект уже создавал музыку и картины, но впервые в России написал пьесу. Об этом НИТУ МИСиС (Национальный исследовательский технологический университет) сообщил 11 ноября 2022 года. Подробнее здесь.

Музыка

Живопись

2023: «Яндекс» выпустил нейросеть, способную создавать изображения по описанию

«Яндекс» выпустил генеративную нейросеть «Шедеврум», которая может создавать изображения по описанию. Об этом компания сообщила 5 апреля 2023 года. Подробнее здесь.

2022: Нейросеть научилась рисовать совместно с художником

Облачная платформа Yandex Cloud, студия Arka и мультимедиа-художник Andrey Berger представили нейросеть-соавтора. Об этом Яндекс сообщил 8 декабря 2022 года. Подробнее здесь.

2021: Nvidia представила ИИ-систему GauGAN для преобразования текста в изображение

24 ноября 2021 года стало известно, что Компания Nvidia представила систему на базе технологий искусственного интеллекта GauGAN2 (преемник первой модели GauGAN), позволяющую создавать правдоподобные фотографии несуществующих пейзажей. С помощью таких техник, как сегментированное картирование, ретушь и преобразование текста в изображение, GauGAN2 способна создавать реалистичные изображения на основе текста и набросков от руки. Подробнее здесь.

2019: Microsoft представила генератор изображений на основе произведений искусства

В начале марта 2019 года Microsoft анонсировала проект по генерации изображений на основе произведений искусства.Для создания этого сервиса разработчики использовали микросервисную архитектуру глубоких нейросетей, службы Azure и хранилище BLOB-объектов. Visual Studio Code и Azure Kubernetes Service позволяют создавать новые изображения в режиме реального времени и отвечают за интерактивный внешний вид сайта. Подробнее здесь.

2018: Написанный искусственным интеллектом портрет продан за $433 тыс.

В октябре 2018 года на аукционе Christie’s в Нью-Йорке продали картину, написанную искусственным интеллектом. За «Портрет Эдмонда Белами» из серии «Семья Белами», который создан на основе полотен известных живописцев, заплатили $432,5 тыс. при первоначальной цене лота в $7–10 тыс. Подробнее здесь.

2016: Представители Google выручили с психоделических картин, написанных ИИ, порядка $98 тыс.

В 2015 году команда Google тестировала нейронные сети на предмет возможности самостоятельно создавать изображения. Тогда искусственный интеллект обучали на примере большого количества различных картинок. Однако, когда машину «попросили» самостоятельно что-нибудь изобразить, то оказалось, что она интерпретирует окружающий нас мир несколько странно. Например, на задачу нарисовать гантели, разработчики получили изображение, в котором металл был соединён человеческими руками. Вероятно, произошло это из-за того, что на этапе обучения анализируемые картинки с гантелями содержали руки, и нейронная сеть неверно это интерпретировала.

26 февраля 2016 года в Сан-Франциско на специальном аукционе представители Google выручили с психоделических картин, написанных искусственным интеллектом, порядка $98 тыс. Данные средства были пожертвованы на благотворительность. Одна из наиболее удачных картин машины представлена ниже.

Картина, написанная искусственным интеллектом Google. Источник: factroom.ru

В начале 2016 года с помощью подобной технологии была написана картина «Следующий Рембрандт». Исследователи проекта Next Rembrandt в ходе своей работы проанализировали порядка 350 картин великого художника, используя 3D-сканеры, которые позволили нейронной сети уловить даже мельчайшие детали работ и копировать стиль написания всех произведений.

На втором этапе учёные определили, что конкретно нейронная сеть должна написать самостоятельно. Для этого выбрали мужчину 30-40 лет, имеющего растительность на лице, воротник и шляпу.

Портрет «Следующий Рембрандт»

Полученные результаты оставляют двоякое ощущение. С одной стороны, все мы видим, что перед нами работа машины. С другой – если мы поставим рядом несколько полотен Рембрандта, то мало кто сможет отличить именно этот портрет.

История

Microsoft и MIT создали ИИ-алгоритм для поиска взаимосвязей между предметами искусства

18 августа 2020 года стало известно о том, что исследователи из Microsoft и Массачусетского технологического института (MIT) разработали систему MosAIc для поиска взаимосвязей между предметами искусства из различных культур и эпох. Подробнее здесь.

Сбербанк привлекает искусственный интеллект для расшифровки рукописей Петра Первого

29 июня 2020 года стало известно о том, что Сбербанк решил привлечь технологии искусственного интеллекта для расшифровки рукописей Петра Первого. Подробнее здесь.

Игры (го, покер, шахматы)

• Летом 2017 года стало известно, что Microsoft Research и Maluuba, стартап в сфере глубокого обучения, приобретенный корпорацией в начале 2017 года, научили искусственный разум играть в одну из самых популярных компьютерных игр всех времён Ms. Pac-Man. И не просто научили, а сделали из него чемпиона, побившего мировой рекорд, установленный человеком.

Играя в версию знаменитой аркады Ms. Pac-Man, выпущенную для одной из первых домашних консолей Atari 2600, искусственный интеллект смог набрать максимальное количество возможных очков – достижение, которое прежде было немыслимо. Результат умной машины составил 999 990 баллов, тогда как лучший результат, поставленный человеком равен 266 360 баллам.

При обучении искусственного интеллекта использовался метод под названием «гибридная архитектура наград». Он заключается в том, что 150 специальным программам-агентам назначается конкретная задача: избегать призраков, правильно передвигаться, собирать гранулы и так далее. С помощью программ-агентов искусственный интеллект самостоятельно распределял приоритеты для достижения максимального результата. Версия игры Ms. Pac-Man для Atari 2600 использовалась неспроста. Код игры в ней менее предсказуем, чем в оригинальной версии. Стратегией разработки стало использование перспективного подхода обучения с подкреплением (reinforcement learning), который предполагает, что алгоритму даются для обработки примеры желаемого поведения, и он методом проб и ошибок совершенствуется. По словам ученых, работавших над проектом, такое достижение внесет вклад в обработку естественного языка, а также потенциально сможет лечь в основу систем детального предсказания покупательского поведения, обусловленного множеством факторов.

• В 2016 году компьютер впервые обыграл человека в го[8] . В мае 2017 года сильнейший игрок в го Кэ Цзе из Китая проиграл вторую партию программе AlphaGo. Таким образом, AlphaGo обеспечила себе победу в турнире из трех партий. Кэ Цзе, отметили эксперты, следившие за матчем, «идеально» начал партию, создавая сложные для соперника комбинации по всему игровому полю. Однако AlphaGo удалось упростить игру и добиться победы.

• В 2017-м под угрозой оказался покер — специалисты из Университета Карнеги — Меллон создали бота, который бросил вызов профессиональным игрокам. Программа Libratus, разработанная в Университете Карнеги — Меллона, победила в 20-дневном покерном турнире «Brains Vs. Artificial Intelligence: Upping the Ante». Компьютер выиграл фишек на сумму более 1,7 миллиона долларов, сообщает New Scientist [9] .

В турнире, который проходил в питтсбургском казино Rivers было сыграно 120 тысяч раздач в безлимитный техасский холдем один на один (Хедз-Ап), против Libratus играли Даниэль МакОлэй, Джимми Чу, Донг Ким и Джейсон Лес. В результате 20-дневного турнира программа победила людей, заработав более 1,7 миллиона долларов в фишках. Несмотря на это, разработчик не получат никаких денег, а призовой фонд в 200 тысяч долларов будет поделен между четырьмя живыми игроками в зависимости от занятого места.

Точно не известно, как именно работает Libratus, авторы описали лишь общую структуру программы и планируют в ближайшем будущем опубликовать статью в рецензируемом журнале. По словам разработчиков, Libratus состоит из трех частей. Основное «ядро» Libratus было подготовлено заранее, вычисления заняли 15 миллионов ядро-часов, в то время как на Claudico ушло два-три миллиона. Вторая часть программы следила за возможными ошибками, которые могли допустить соперники, и учитывала в процессе игры эту информацию. Третья часть Libratus отслеживала собственные слабые стороны, которые могли использовать противники, и корректировала общую стратегию с учетом этих данных. Такой подход позволил программе как блефовать самостоятельно, так и распознавать дезинформацию со стороны соперников [10] .

По мнению авторов программы у систем, подобных Libratus, большое будущее в самых разных сферах, где приходиться иметь дело с неполной информацией. В качестве возможных сфер применения программы исследователи называют информационную безопасность, военное дело, аукционы, переговоры и даже бережливое распределение медикаментов.

Покер — игра, в которую очень сложно обучить играть компьютер: хороший игрок быстро распознает стратегии, заложенные в искусственный интеллект, и находит способ победить бота. Особенно сложно компьютеру приходится, если ставки за покерным столом нелимитированы, то есть игрок может ставить в свой ход неограниченное количество фишек.

Тем не менее, покерные боты — очень популярное направление развития игры. Есть два типа покерных ботов. Одни довольно просты и сражаются с людьми в игре с маленькими ставками — в ней уровень покера очень низок, и люди не могут разгадать даже простейшие стратегии. Такие боты не очень интересны науке и служат для зарабатывания денег — покерные сайты, как правило, пытаются с ними бороться.

Второй тип — боты, которые соревнуются с профессионалами. Они нужны не только и не столько для зарабатывания денег, сколько для продвижения науки. Тема «игр с неполной информацией» сейчас одна из самых популярных в экономической науке — неслучайно Ллойд Шепли и Элвин Рот получили в 2012 году Нобелевскую премию по экономике именно за теорию стабильного распределения, которая связана как раз с «теорией игр». Если компьютер стабильно научится лучше человека играть в игры с неполной информацией, возможно, нам больше не придется торговаться и мучаться вопросом о том, не прогадали ли мы, покупая новый автомобиль с нужными нам характеристиками именно за эту цену — потому что решать за нас это будет приложение в смартфоне [11] .

• Разработчики компьютерных игр применяют ИИ в той или иной степени проработанности. Это образует понятие «Игровой искусственный интеллект». Стандартными задачами ИИ в играх являются нахождение пути в двумерном или трёхмерном пространстве, имитация поведения боевой единицы, расчёт верной экономической стратегии и так далее.

Фотография

2021: Применение ИИ в фотографической среде

Современный мир уже невозможно представить без нейросетей и все более впечатляющих разработок в области искусственного интеллекта. Эти сущности, еще лет 20 назад кажущиеся нам чем-то из области научной фантастики, сегодня проникли буквально в каждый дом. И нет, речь не идет о робототехнике и искусственном разуме, искусственный интеллект — это гораздо более широкое понятие.

Алгоритмы ИИ помогают нам начать день с прогноза погоды, далее построить оптимальный путь на работу в Google Maps, учитывая трафик на дорогах, а вечером любимый медиасервис предложит фильм по вкусу. Будьте уверены, даже реклама в браузере будет подобрана «им» специально под вас, учитывая предыдущие поисковые запросы.

Даже сферу искусства ИИ не обошел стороной. Например, у профессионалов и любителей фотографии все большее распространение получают методики, в основе которых лежат нейросети. В данной статье рассказывается о практическом применении инструментов искусственного интеллекта в фотографической среде.

2017: Алгоритм, ретуширующий фотографии в режиме реального времени

4 августа 2017 года стало известно о том, что инженеры корпорации Google в ходе совместного исследования с учеными из Массачусетского технологического института (MIT) создали алгоритм, ретуширующий фотографии в режиме реального времени. [12]

Разработчики всё чаще прибегают к так называемой «вычислительной» фотографии: различным алгоритмам и ИИ-технологиям, призванным улучшать снимки, сделанные с помощью смартфонов. По утверждению представителей Google и MIT, их технология не просто позволит качественно обрабатывать фотографии, но и получать результат, сопоставимый с тем, как если бы этим занимался профессиональный фотограф.

В ходе тестирования нейронной сети было выбрано пять фотографий, созданных Adobe и MIT. Каждое изображение было отретушировано пятью различными фотографами. Затем полученные снимки использовались для того, чтобы определить, как именно можно улучшить каждое изображение за счёт регулировки яркости, насыщенности и прочих параметров.

Слева — оригинал 12-Мп фотографии, справа — та же фотография, обработанная алгоритмом Google-MIT

В основе алгоритма Google-MIT лежит «сверточная нейросеть». Вычислительная мощность современных мобильных устройств недостаточно высока для полноценной работы системы, но исследователи сумели обойти это ограничение — система выполняет большую часть вычислений на уменьшенной копии исходного изображения, а затем переносит результаты на фотографию в высоком разрешении.

Исследователи протестировали программу на обычном смартфоне (модель не указывается), и алгоритм смог в реальном времени выдавать на экран обработанное изображение с разрешением 1920×1080 и частотой обновления 40–50 Гц. Размер всего ПО не превышает размера одной цифровой фотографии и может использоваться для обработки снимков в различных стилях. По словам исследователей, нейронная сеть может быть «натренирована» на новом наборе изображений, чтобы имитировать стиль определённых фотографов.

Процессоры для искусственного интеллекта

Intel планирует потеснить Nvidia на рынке чипов для нейронных сетей

По состоянию на 2018 год практически все приложения, так или иначе связанные с нейронными сетями, работают на серверах компании Nvidia, а если иных, то все равно на GPU Nvidia. Но есть серьезный шанс на то, что усилиями Intel монополия Nvidia будет нарушена. Конкурентом, способным потеснить, а может быть даже и сместить GPU с позиции лидера, станут новые, не имеющие аналогов процессоры Intel Nervana Neural Network Processor (NNP). В них, как следует из названия, реализована интеллектуальная собственность, приобретенная Intel вместе с компанией Nervana в 2016 году (подробнее).

Amazon разрабатывает ИИ-чипы

В феврале 2018 года стало известно о разработке компанией Amazon собственных чипов. Они ориентированы на вычислительные задачи, связанные с искусственным интеллектом (ИИ). Подробнее здесь.

Читайте также

• Обзор: Искусственный интеллект 2018
• Сквозные технологии цифровой экономики

Слушайте также

• Подкаст TAdviser: Выпуски рубрики «Эра искусственного интеллекта».

Робототехника

• Роботы (робототехника)
• Робототехника (мировой рынок)
• Обзор: Российский рынок промышленной робототехники 2019
• Карта российского рынка промышленной робототехники
• Промышленные роботы в России
• Каталог систем и проектовРоботы Промышленные
• Топ-30 интеграторов промышленных роботов в России
• Карта российского рынка промышленной робототехники: 4 ключевых сегмента, 170 компаний

• Технологические тенденции развития промышленных роботов
• В промышленности, медицине, боевые (Кибервойны)
• Сервисные роботы
• Каталог систем и проектовРоботы Сервисные
• Collaborative robot, cobot (Коллаборативный робот, кобот)
• IoT — IIoT — Цифровой двойник (Digital Twin)
• Компьютерное зрение (машинное зрение)
• Компьютерное зрение: технологии, рынок, перспективы
• Как роботы заменяют людей
• Секс-роботы
• Роботы-пылесосы

• Искусственный интеллект (ИИ, Artificial intelligence, AI)
• Обзор: Искусственный интеллект 2018
• Искусственный интеллект (рынок России)
• Искусственный интеллект (мировой рынок)
• Искусственный интеллект (рынок Украины)
• В банках, медицине, радиологии, ритейле, ВПК, производственной сфере, образовании, Автопилот, транспорте, логистике, спорте, СМИ и литература, видео (DeepFake, FakeApp), музыке

• Национальная стратегия развития искусственного интеллекта
• Национальная Ассоциация участников рынка робототехники (НАУРР)
• Российская ассоциация искусственного интеллекта
• Национальный центр развития технологий и базовых элементов робототехники
• Международный Центр по робототехнике (IRC) на базе НИТУ МИСиС

• Машинное обучение, Вредоносное машинное обучение, Разметка данных (data labeling)
• RPA — Роботизированная автоматизация процессов
• Видеоаналитика (машинное зрение)
• Машинный интеллект
• Когнитивный компьютинг
• Наука о данных (Data Science)
• DataLake (Озеро данных)
• BigData
• Нейросети
• Чатботы
• Умные колонки Голосовые помощники

• Безэкипажное судовождение (БЭС)
• Автопилот (беспилотный автомобиль)
• Беспилотные грузовики
• Беспилотные грузовики в России
• В мире и России
• Летающие автомобили
• Электромобили

• Подводные роботы
• Беспилотный летательный аппарат (дрон, БПЛА)

1. ↑Стивен Хокинг назвал искусственный интеллект «возможным убийцей человеческой цивилизации»
2. ↑Банк России перечислил риски внедрения искусственного интеллекта
3. ↑Blueprint for an AI Bill of Rights
4. ↑ИИ упростил решение известной задачи квантовой физики со 100 тыс. уравнений до четырех
5. ↑Искусственный интеллект Facebook научился врать и торговаться
6. ↑Artificial intelligence starts to revolutionise luxury industries
7. ↑Automatic speaker recognition technology outperforms human listeners in the courtroom
8. ↑Го-про Искусственный интеллект впервые одолел профессионального игрока в го: Wired Игра го была придумана более двух с половиной тысяч лет назад и до сих пор это одна из самых популярных игр в мире — по ней регулярно проводятся чемпионаты. На первый взгляд она очень простая: есть поле из клеток и камни — черные и белые. Игроки должны захватить своими камнями как можно большую площадь на доске. Тем не менее, именно эта игра многие годы была неподвластна компьютеру. До недавнего времени искусственный интеллект не мог обыгрывать игроков высокого уровня — магистров.
9. ↑AI just won a poker tournament against professional players
10. ↑Искусственный интеллект победил профессиональных игроков в покер
11. ↑Компьютер против человека. На этот раз в покер Искусственный интеллект пытается обыграть четырех профессиональных игроков
12. ↑ИИ-алгоритм может заменить профессиональных фотографов

Заказчик	Интегратор	Год	Проект
— Правительство Ставропольского края	Мобильные ТелеСистемы (МТС)	2024.12
— Трамвайно-троллейбусное управление г. Таганрога	Синара-Транспортные Машины (СТМ), Университет Иннополис	2024.12
— Министерство промышленности и торговли РФ (Минпромторг)	Без привлечения консультанта или нет данных	2024.11
— Тандер Сеть магазинов Магнит	Без привлечения консультанта или нет данных	2023.12
— Сайлюгемский	Яндекс.Облако (Yandex.Cloud)	2023.09
— МегаФон	Без привлечения консультанта или нет данных	2023.08
— Московский зоопарк	VK (ранее Mail.ru Group)	2023.08
— Татнефть	ИТМО (научно-образовательная корпорация), ТатИТнефть	2023.08
— Российские железные дороги (РЖД)	МегаФон	2023.07
— ОТП Банк	Без привлечения консультанта или нет данных	2023.07
— Glorax	Idaproject	2023.07
— Росбанк	Без привлечения консультанта или нет данных	2023.07
— Полюс ПАО (ранее Полюс Золото, Polyus Gold)	Ростелеком	2023.06
— Ozon.ru (Интернет-решения)	Без привлечения консультанта или нет данных	2023.06
— Общегородской контакт-центр ДИТ Москвы	Департамент информационных технологий Москвы (ДИТ)	2023.06
— Федеральная служба по надзору в сфере образования и науки (Рособрнадзор)	Ростелеком	2023.06
— Новолипецкий металлургический комбинат, НЛМК	Инфосистемы Джет	2023.05
— Etalon Group (Эталон-ЛенСпецСМУ) Эталон ГК	Норбит	2023.05
— Министерство связи и массовых коммуникаций Республики Башкортостан	Открытый Регион ЦИТ Уфа	2023.05
— М.Видео-Эльдорадо	Без привлечения консультанта или нет данных	2023.05
— Абрау-Дюрсо	Сбер Бизнес Софт	2023.05
— Точка Банк	Без привлечения консультанта или нет данных	2023.04
— Высшая школа экономики (НИУ ВШЭ)	Яндекс.Облако (Yandex.Cloud)	2023.03
— Маревен Фуд Сэнтрал (Mareven Food Central)	Без привлечения консультанта или нет данных	2023.03
— Череповецкий металлургический комбинат (ЧерМК) Северсталь	Северсталь Диджитал (Severstal Digital), Северсталь-Инфоком	2023.03
— ОДК-Сатурн	Без привлечения консультанта или нет данных	2023.03
— МФЦ Санкт-Петербурга	Mons	2023.03
— Почта России	Искра, СКБ ВТ	2023.02
— Тандер Сеть магазинов Магнит	Retail Services	2023.02
— Центральный государственный архив Московской области	Яндекс (Yandex)	2023.02

17 Дек Что такое AI, ML и Data Science? Машинное обучение (ML). Часть 2

Итак, мы продолжаем цикл статей о AI и ML, для начала приведем ключевые определения.

Что такое AI, ML и Data Science?

Давайте попробуем дать ответ на вопрос: “что такое ИИ, ML, Data Science и чем они отличаются?”

Чаще всего под термином Искусственный интеллект мы подразумеваем, что это некая система (абстракция), обладающая свойствами интеллекта человека, которая может мыслить, решать задачи (в том числе творческие), которые подразумевают наличие мыслительного процесса для его выполнения. Пожалуй, самое важное, что нужно знать — искусственного интеллекта, который описан выше, на данный момент, не существует. Слишком сложен наш мозг и сознание в целом для того, чтобы их оцифровать или сделать математическую модель, копирующую работу нашего сознания. Однако, существуют попытки (в том числе довольно удачные) имитации деятельности нашего мозга для решения тех или иных задач. Одним из направлений в ИИ, подпадающим под такую формулировку, является Machine Learning (ML).

Прежде чем перейти к ML, дадим более строгое определение для ИИ.

Искусственный интеллект, ИИ (Artificial Intelligence, AI) — инженерно-математическая дисциплина, занимающаяся созданием программ и устройств, имитирующих когнитивные (интеллектуальные) функции человека, включающие, в том числе, анализ данных и принятие решений.

Сильный ИИ/Человекоподобный ИИ (Strong AI, Super‑AI) — интеллектуальный алгоритм, способный решать широкий спектр интеллектуальных задач, как минимум, наравне с человеческим разумом.
Слабый ИИ/Специальный ИИ (Narrow AI, Weak AI) — интеллектуальный алгоритм, имитирующий человеческий разум в решении конкретных узкоспециализированных задач (игра в шахматы, распознавание лиц, общение на естественном языке, поиск информации и т.п.).

Машинное обучение — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение за счёт опыта решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов оптимизации, математического анализа, теории вероятностей, теории графов, а также различные техники работы с данными в цифровой форме.

Допустим, у нас есть алгоритм, который позволяет торговать на бирже. Он не знает о существовании биржи, трейдеров, брокеров и т.д. — это просто мат модель, которая обучена торговать на сотнях тысяч примеров. Аналогично, алгоритм, который водит беспилотный автомобиль, понятия не имеет о том, что такое автомобиль, дорога, двигатель, как он работает, и так далее. Алгоритм обучен на большом количестве примеров как решать ту или иную задачу, но не владеет способностью выходить за рамки сформулированной заранее задачи.

Алгоритмы машинного обучения — это программная реализация той или иной мат модели. Эта модель, на основании большого количества данных, “учится” решать ту или иную задачу, находя нужные закономерности в данных. Именно машинному обучению и принципам его работы и реализации его в проектах и будет посвящена основная часть этой статьи.

Data science — это обобщённое название отрасли, вида профессии, в которой основной упор делается на работу с данными. Дата Сайентистом может быть как человек, работающий с базами данных, или человек, разрабатывающий алгоритмы машинного обучения, так и человек, обслуживающий инфраструктуру, предназначенную для работы с данными.

Data science — это такое же обобщённое понятие, как и Сomputer science.

Теперь, разобравшись в терминах, остается вопрос: “А зачем нужен ML?”

Продолжение и ответ на этот вопрос читайте в следующей статье (часть 3)…

Как выбрать подход к созданию тестового AI-проекта

Привет, меня зовут Сергей Брандис, больше 8 лет работаю как СТО в компании по разработке hardware-устройств. Помимо этого, три года назад стал кофаундером стартапа aidrome: мы используем не совсем классический подход к Machine Learning, даем возможность делать модели с нуля, чтобы обучать их и деплоить.

В статье расскажу о разных подходах к созданию умных систем. Сегодня благодаря доступным библиотекам, понимая подходы и терминологию, можно сделать тестовый AI-проект самостоятельно и ускорить развитие своего бизнеса. Поэтому, думаю, материал будет полезен проектным менеджерам, продактам, owner’ам и всем, кого интересует внедрение искусственного интеллекта.

Сразу начну с истории. Летом 2020 года компания OpenAI представила самую крупную из когда-либо обучавшихся языковых моделей — GPT-3. Кроме привычного машинного перевода и ответов на вопросы, GPT-3 умеет создавать текстовый контент почти человеческого уровня, писать твиты или короткие статьи.

Для достижения эффекта «думающей» системы модели понадобилось 600 ГБ интернет-текстов и 175 млрд параметров. Однако человеческому мозгу нужно гораздо меньше данных, чтобы делать то же, что и машина. Создавая пост в соцсети, человек не анализирует тысячи других текстов, а просто конструирует из собственного словарного запаса объемом в тысяч слов.

Можно ли сказать, что GPT-3 думает и анализирует? Если концентрироваться только на поведении, действия умных систем выглядят вполне интеллектуальными. Кажется, еще немного — и мы приблизимся к созданию разума, похожего на человеческий. Если бы не один факт: разумность человека не определяется только поведением. Он будет интеллектуальным, просто сидя в темноте и бездейственно размышляя над проблемой.

Традиционное машинное обучения развивается через накопление все больших данных и наращивание мощности для их обработки. Но этот процесс не бесконечен, и если мы хотим создать по-настоящему интеллектуальные системы, возможно, надо теснее сотрудничать с нейробиологами.

Коротко о терминах

Для начала краткий словарь терминов, о которых пойдет речь в статье, определение, что такое искусственный интеллект, машинное обучение и Data Science.

Artificial Intelligence — широкое понятие, которое включает технологии и теории создания умных систем.

Machine Learning — подгруппа AI, создающая алгоритмы для самообучения искусственных моделей. Цель ML — научить систему решать сложные задачи: распознавать заданные объекты, рекомендовать музыку или фильмы.

Deep Learning — подраздел ML. Структурирует алгоритмы по слоям для создания искусственной нейронной сети, которая адаптируется и учится на огромных объемах данных. Обученная нейросеть умеет решать сложные задачи. Например, на основе данных о жанре, бюджете и актерском составе может предсказать, какие сборы будут у фильма.

Data Science — анализ данных. Сочетает статистику, математику, программирование и опыт в предметной области для извлечения из данных полезных выводов. Любой бизнес накапливает информацию: о поведении пользователей, количестве продаж, сезонных колебаниях. С помощью Data Science этот массив данных можно проанализировать и получить инсайты, способные продвинуть бизнес дальше конкурентов.

Когда без AI не обойтись

Мое погружение в «альтернативный AI» началось три года назад с участия в международном конкурсе General AI Challenge. Это олимпиада для всех желающих с призовым фондом в 5 млн долларов. Задания были разными, например: «Есть две или три легких задачи, и программа должна понять, когда переключиться с одной последовательности на другую».

Для человеческого интеллекта переключиться между контекстами легко, потому что мы воспринимаем ситуацию в целом. А для машины такой переход требует больших ресурсов. Понятно, как натренировать модель на последовательность, когда после «А» идет «Б». Но потом возникала сложность. Появляется другая задача, когда после «1» должно идти «2» — и программе нужно переключиться, чтобы найти решение для иного смыслового ряда.

Я скинул ссылку на General AI Challenge в один из ІТ-чатов. А затем мой будущий кофаундер рассказал, что есть алгоритм, который подойдет для конкурса. В итоге участвовать согласилось три человека вместе со мной. Призовых мест мы не заняли, но познакомились и немного прокатали алгоритм. Так что по окончанию конкурса решили сделать AI-cтартап.

Искусственный интеллект сегодня необходим в каждой отрасли. Умные системы следят за безопасностью, прогнозируют болезни, общаются с пользователями через чат-ботов, выявляют мошенничества.

По отчетам LinkedIn, AI занимает все больше места в списках новых вакансий. Многие позиции требуют большего знания об AI, чем раньше, и, кажется, скоро ни один проект не обойдется без Data Science.

Глобальная цель машинного обучения — научить систему решать сложные задачи:

• узнавать человеческие лица или другие объекты;
• понимать речь;
• водить автомобиль (Google Self-Driving Car);
• диагностировать болезни по симптомам;
• понимать тональность или смысл текста;
• принимать решения о рисках выдачи кредита;
• предсказывать продажи и спрос на аренду велосипедов в городе;
• советовать товары, книги (Amazon), фильмы (Netflix), музыку (Spotify);
• выполнять функции личного помощника или секретаря (Siri, Android Now, Cortana).

Классический подход к AI помогает накапливать, а затем использовать огромные массивы знаний. Например, компания Google, благодаря новой модели машинного обучения для Google Translate, сократила отставание от человека в точности перевода до 85%.

Проблема в том, что наращивание мощности не будет продолжаться бесконечно. Если просто масштабировать текущие методы, мы столкнемся с ограничениями «железа», потому что для результата нужно все больше памяти и мощности. Те же успехи Google в области перевода возможны только благодаря огромному количеству накопленных данных. Со временем обучение машин должно перейти в новое русло. Нужен другой подход, чтобы системы стали по-настоящему интеллектуальными и самообучающимися.

Ограничения классического подхода

Традиционный AI построен как математический метод: через поиск шаблонов в больших статистических наборах данных. Чем больше данных в алгоритме, тем выше будет точность на выходе. Трудность в том, чтобы получить нужное количество размеченных данных для обучения. А во многих случаях их просто не существует. Так, в теории можно внедрить ML даже в пчеловодстве: создать алгоритм для прогнозирования самых «производительных» ульев. Но на практике не хватает информации, чтобы получить результат с нужной степенью точности.

Искусственные нейросети показывают низкий результат при малом объеме данных для обучения и не справляются с проблемами, когда закономерности в данных постоянно меняются. Например, если добавить к изображению «шум», машина ошибается в оценке того, что изображено на картинке, путает обозначения дорожных знаков. А человек по-прежнему распознает правильный ответ и даже не замечает разницы в изображениях.

При добавлении «шума» к изображению нейросеть делает ошибку

Создатели традиционного искусственного интеллекта в большинстве фокусируются на поведении: как сделать, чтобы модель выдавала правильные или желаемые результаты после обработки входных данных. И правильно, так как машинное обучение — это инструмент для улучшения и автоматизации бизнес-процессов. Но если говорить об интеллектуальных системах, нужно искать и дополнительные пути.

Чтобы построить мыслящую машину, посмотрим на часть мозга, которая в современных исследованиях соотносится с интеллектом. Речь идет о неокортексе — тонкой оболочке, покрывающей оба больших полушария.

Как работает естественный интеллект

Неокортекс покрывает оба полушария мозга слоем толщиной от 1 до 5 мм

Неокортекс — это основная и самая эволюционно молодая часть коры головного мозга. Каждый день неокортекс человека изучает структуру мира на основе информации, проходящей через органы чувств, и каждую секунду делает прогнозы — от задачи поймать мяч до планирования, во сколько выйти, чтобы попасть на работу вовремя.

Ученые накопили много наблюдений о действиях и реакциях мозга, но до сих пор нет единой теории, которая объясняла бы работу человеческого интеллекта. Такую целостную теорию представил Джефф Хокинс в книге «Об интеллекте». Он утверждает, что для создания интеллектуальных машин нужно обратиться не только к математике, но и к нейробиологии. Сначала представить единую теорию, как работает мозг, а затем создавать машинный интеллект по образцу биологического.

Имея за плечами опыт работы в Intel и организации двух собственных IT-компаний, Хокинс создал стартап Numenta. Новая компания сосредоточилась на разработке алгоритмов, основанных на принципах работы неокортекса.

Что умеет мозг и не может компьютер

Мир разнообразен, и удивительно, как человек узнает всевозможные формы одних и тех же понятий. Возьмем житейское понятие о собаке. В мозге есть общее ментальное понятие «собака», которое помогает правильно узнавать собак любых пород и размеров. Причем, чтобы сформировать общее представление о понятии, человеку не нужны массивы данных, хватит Такой способ обработки информации очень отличается от машинного. По версии Хокинса, у неокортикальной памяти есть важные свойства, которых недостает классическому искусственному интеллекту.

Воспоминание происходят автоассоциативно. Память вспоминает и узнает объект даже при неполных или искаженных данных. Когда вы видите в толпе знакомого, частично закрытого другими людьми, неокортекс автоматически достраивает целостный образ — и происходит узнавание.

Представления об объектах хранятся в инвариантной форме. Неокортекс сохраняет суть представлений об окружающем мире, а не конкретные детали. Любую сенсорную информацию мозг преобразовывает в инвариантную форму, а потом сравнивает с ней новые данные. Инвариантность помогает применять знания о прошлых событиях к новой ситуации, похожей, но не идентичной.

Именно благодаря инвариантной форме воспоминаний человеку достаточно увидеть нескольких собак, чтобы позже идентифицировать собаку среди других объектов, а машине для узнавания нужны тысячи образов в разных вариациях.

Данные располагаются в иерархическом порядке. Не важно, какой сенсор получил информацию — глаз, нос или ухо, потому что информация попадает в мозг в виде импульсов. Затем импульсы возбуждают нейроны кортекса, сложенные в иерархические слои-колонки. Слой за слоем информация переходит на более высокие уровни абстракции.

Пример иерархического хранения информации:

• На нижних уровнях неокортекс хранит данные о маленьких частях визуального поля, таких как линии и углы, потому что линия — это один из основных элементов визуального образа.
• На средних уровнях линии и углы перераспределяются в более сложные компоненты — кривые и текстуры. Дуга может быть и верхней частью руля в автомобиле, и ободком кружки с чаем.
• На высоких уровнях паттерны комбинируются в представления высокоуровневых объектов, таких как лица, машины или дома.

Мозг не изучает высокоуровневый объект «с нуля»: иерархия позволяет новому объекту наследовать уже известные свойства своих компонентов. Например, при виде нового слова мы не учим заново его буквы или слоги. Иерархический порядок, инвариантность и автоассоциативность помогают человеку делать точные прогнозы об окружающем мире и распознавать аномалии. В режиме реального времени мозг постоянно предсказывает, что мы увидим, почувствуем, услышим.

Неокортекс формирует предсказания на основе опыта, а затем сравнивает ожидания с поступающей информацией. Когда вы подходите к двери своей квартиры, нейроны активизируются до того, как поступит информация от органов чувств. Мозг знает, какое ощущение будет в пальцах при касании к поверхности, каким будет сопротивление двери, на какой высоте расположен замок. Когда предсказания совпадут с реальностью, вы войдете в дверь, даже не осознавая мгновенной проверки. Однако, если ожидания будут нарушены — слишком свободно повернулся ключ, нехарактерный звук, непривычное тактильное ощущение, — они мгновенно привлекут внимание.

Именно способность мозга делать предположения о будущем, а не поведение, по мнению Хокинса, составляет суть интеллекта. Поэтому в Numenta для создания интеллектуальных систем используют кортикальную модель «память-предсказание». Хокинс назвал такой подход иерархической временной памятью — Hierarchical Temporal Memory.

Новый способ обучать системы

Традиционное программирование использовало жесткие алгоритмы для решения конкретных задач, а модель Hierarchical Temporal Memory учится на входящем потоке сенсорных данных. Это фреймворк машинного интеллекта, основанный на взаимосвязях нейронов в кортексе человека. Как и традиционная нейросеть, НТМ обучается на изменяющихся входных данных и умеет запоминать последовательности паттернов. Отличие появляются в способе хранения и воспроизведения.

Нейроны НТМ расположены многослойно в виде колонок, моделируя иерархию регионов в неокортексе. Паттерны, выученные на нижних уровнях иерархии, используются в различных комбинациях на высших уровнях.

Диаграмма четырех регионов НТМ, организованных иерархически. Потоки информации проходят внутри уровня, между уровнями и наружу

Благодаря иерархии сокращается время обучения модели и объемы памяти, необходимые для работы. Система умеет анализировать поток данных в реальном времени и различать контекст. Как мозг большую часть времени запоминает, обобщает и прогнозирует, так и через НТМ-модель можно выявлять, запоминать, прогнозировать пространственные и временные закономерности в потоке данных.

Модель НТМ поддерживает 6 свойств, необходимых любому алгоритму обучения:

1. Последовательное обучение. Умение делать прогнозы и отвечать на главный вопрос «Что будет дальше?», основываясь на прошлом опыте. Любой алгоритм должен делать predict (предсказания) не только в статической форме, но и по временному контексту.
2. Множественные одновременные прогнозы. Для предсказания событий в «реальном» мире иногда не хватает данных, тогда необходимо предположить наибольшую вероятность. Другими словами, мы узнаем, с какой вероятностью случится то, что предсказала модель.
3. Непрерывное обучение. Потоковые данные в реальном времени часто изменяются, и алгоритм тоже должен перестроиться под новые вводные. В традиционном ML модели трудно адаптируются без изменений в data preparation.
4. Обучение в реальном времени. Для потоковых данных ценно, когда алгоритм на лету запоминает новые паттерны. HTM c этим справляется, а в ML требуется сохранять новые последовательности и снова обучать модель.
5. Устойчивость к шумам. В реальных данных часто появляются шумы или ненужная информация. Хороший алгоритм устойчив к помехам и распознает «мусорные» данные.
6. Не нужно каждый раз настраивать гиперпараметры. В традиционном машинном обучении параметры модели настраивают под отдельную задачу. Когда задача меняется, приходится создавать новый алгоритм либо менять его на другой, в итоге перенастраивать гиперпараметры. В НТМ одна модель умеет решать задачи разных видов, поэтому настройка гиперпараметров занимает намного меньше времени.

Первые два пункта выполняет и традиционная нейросеть, а начиная с третьего, НТМ показывает лучшие результаты. Кортикальный подход особенно нужен там, где от модели требуется предсказание, обнаружение аномалий, классификация и целенаправленное поведение. Основываясь на кортикальной теории Хокинса, программисты из Numenta делают фреймворк и выкладывают в открытый доступ для общего пользования. Подобную библиотеку мы используем в стартапе.

5 аргументов в пользу НТМ-подхода

На базе подхода НТМ клиенты aidrome могут создать модель с нуля. Наше основное направление — Time Series (датасеты, в которых данные зависят от времени) для поиска аномалий или создания классификаций.

Например, мы интегрировали НТМ-модель в канадский стартап для предсказания аномального поведения воды в трубах.

Стартап работал над приложением, которое отслеживает использование воды в частных домах. Клиенты хотели встроить дополнительную фичу — возможность проверять в любой момент, есть утечка воды или нет. Условно, если что-то аномальное случилось в трубе, приложение присылает уведомление на телефон. Модель НТМ обучили на базе time-series данных. Надо было не только определять состояние системы, но и классифицировать, где произошла аномалия: кран, туалет или душ. Когда ее проверили на данных реальных канадских домов, точность составила 80%. Такой результат считается высоким в машинном обучении.

Другой стартап, Cortical . io, успешно использует НТМ, чтобы искать отклонения, ошибки и неточности в страховых договорах. Все документы по страховке проверяет не человек, а машина.

Мы с кофаундерами начали изучать НТМ три года назад. И до сих пор используем эту модель. Кортикальный подход выбрали по нескольким причинам:

1. В классическом машинном обучении принято использовать разные модели, но encoder НТМ приводит все модели к одному виду. Поэтому в aidrome модели одинаковые. В итоге получается быстрее имплементировать модель в проекты.
2. Для создания НТМ-модели нужно гораздо меньше данных, чем понадобилось бы при классическом ML.
3. НТМ умеет различать контекст данных, анализируя информационный поток во времени, поэтому обучается быстрее. Кортикальная модель делает предсказания не только в статической форме, как традиционное ML, но и по временному контексту.
4. НТМ точнее распознает мусорные данные, устойчива к шуму, лучше узнает зашумленные, поврежденные изображения, быстрее определяет ошибки.
5. Точнее выявляет аномалии, например, неисправность механизмов (кондиционирование, оборудование, автомобиль) или аномалии в работе внутренних органов человека.

Минусы у НТМ-подхода тоже есть — это направление пока не мейнстрим, поэтому сложно найти нужную информацию, а для машинного обучения разработано множество действующих инструментов и моделей.

Нейробиологи могут сказать, что теория Хокинса не учитывает работу всех отделов мозга. Это и не нужно, потому нет цели сконструировать искусственное сознание с волевой, эмоциональной и другими составляющими.

Программисты из Numenta изучают интеллектуальные свойства мозга, чтобы создавать «умные» модели быстрее, дешевле и с более точным результатом.

В итоге

Мы в aidrome думаем, что НТМ — более правильный подход для будущего развития AI, потому что интеллектуальные системы создаются на основе знаний о работе естественного интеллекта — мозга.

Трудно предсказать, чем конкретно обернутся исследования Хокинса и других нейробиологов. Когда люди изобретали микропроцессоры, они понимали, что делают что-то важное, но не предвидели появления интернета и мобильных телефонов. Если нейробиология станет основой для создания AI, это приведет к невероятным преобразованиям.

Все про українське ІТ в телеграмі — підписуйтеся на канал DOU

�� Подобається Сподобалось 0

До обраного В обраному 3

AI для людей: простыми словами о технологиях

Представляем исчерпывающую шпаргалку, где мы простыми словами рассказываем, из чего «делают» искусственный интеллект и как это все работает.

В чем разница между Artificial Intelligence, Machine Learning и Data Science?

Разграничение понятий в области искусственного интеллекта и анализа данных.

Artificial Intelligence — AI (Искусственный Интеллект)

В глобальном общечеловеческом смысле ИИ — термин максимально широкий. Он включает в себя как научные теории, так и конкретные технологические практики по созданию программ, приближенных к интеллекту человека.

Machine Learning — ML (Машинное обучение)

Раздел AI, активно применяющийся на практике. Сегодня, когда речь заходит об использовании AI в бизнесе или на производстве, чаще всего имеется в виду именно Machine Learning.

ML-алгоритмы, как правило, работают по принципу обучающейся математической модели, которая производит анализ на основе большого объема данных, при этом выводы делаются без следования жестко заданным правилам.

Наиболее частый тип задач в машинном обучении — это обучение с учителем. Для решения такого рода задач используется обучение на массиве данных, по которым ответ заранее известен (см.ниже).

Data Science — DS (Наука о данных)

Наука и практика анализа больших объемов данных с помощью всевозможных математических методов, в том числе машинного обучения, а также решение смежных задач, связанных со сбором, хранением и обработкой массивов данных.

Data Scientists — специалисты по работе с данными, в частности, проводящие анализ при помощи machine learning.

Как работает Machine Learning?

Рассмотрим работу ML на примере задачи банковского скоринга. Банк располагает данными о существующих клиентах. Ему известно, есть ли у кого-то просроченные платежи по кредитам. Задача — определить, будет ли новый потенциальный клиент вовремя вносить платежи. По каждому клиенту банк обладает совокупностью определенных черт/признаков: пол, возраст, ежемесячный доход, профессия, место проживания, образование и пр. В числе характеристик могут быть и слабоструктурированные параметры, такие как данные из соцсетей или история покупок. Кроме того, данные можно обогатить информацией из внешних источников: курсы валют, данные кредитных бюро и т. п.

Машина видит любого клиента как совокупность признаков: . Где, например, — возраст, — доход, а — количество фотографий дорогих покупок в месяц (на практике в рамках подобной задачи Data Scientist работает с более чем сотней признаков). Каждому клиенту соответствует еще одна переменная — с двумя возможными исходами: 1 (есть просроченные платежи) или 0 (нет просроченных платежей).

Совокупность всех данных и — есть Data Set. Используя эти данные, Data Scientist создает модель , подбирая и дорабатывая алгоритм машинного обучения.

В этом случае модель анализа выглядит так:

Алгоритмы машинного обучения подразумевают поэтапное приближение ответов модели к истинным ответам (которые в обучающем Data Set известны заранее). Это и есть обучение с учителем на определенной выборке.

На практике чаще всего машина обучается лишь на части массива (80 %), применяя остаток (20 %) для проверки правильности выбранного алгоритма. Например, система может обучаться на массиве, из которого исключены данные пары регионов, на которых сверяется точность модели после.

Теперь, когда в банк приходит новый клиент, по которому еще не известен банку, система подскажет надежность плательщика, основываясь на известных о нем данных .

Однако, обучение с учителем — не единственный класс задач, которые способна решать ML.

Другой спектр задач — кластеризация, способная разделять объекты по признакам, например, выявлять разные категории клиентов для составления им индивидуальных предложений.

Также с помощью ML-алгоритмов решаются такие задачи, как моделирование общения специалиста поддержки или создание художественных произведений, неотличимых от сотворенных человеком (например, нейросети рисуют картины).

Новый и популярный класс задач — обучение с подкреплением, которое проходит в ограниченной среде, оценивающей действия агентов (например, с помощью такого алгоритма удалось создать AlphaGo, победившую человека в Го).

Нейронная сеть

Один из методов Machine Learning. Алгоритм, вдохновленный структурой человеческого мозга, в основе которой лежат нейроны и связи между ними. В процессе обучения происходит подстройка связей между нейронами таким образом, чтобы минимизировать ошибки всей сети.

Особенностью нейронных сетей является наличие архитектур, подходящих практически под любой формат данных: сверточные нейросети для анализа картинок, рекуррентные нейросети для анализа текстов и последовательностей, автоэнкодеры для сжатия данных, генеративные нейросети для создания новых объектов и т. д.

В то же время практически все нейросети обладают существенным ограничением — для их обучения нужно большое количество данных (на порядки большее, чем число связей между нейронами в этой сети). Благодаря тому, что в последнее время объемы готовых для анализа данных значительно выросли, растет и сфера применения. С помощью нейросетей сегодня, например, решаются задачи распознавания изображений, такие как определение по видео возраста и пола человека, или наличие каски на рабочем.

Интерпретация результата

Раздел Data Science, позволяющий понять причины выбора ML-моделью того или иного решения.

Существует два основных направления исследований:

• Изучение модели как «черного ящика». Анализируя загруженные в него примеры, алгоритм сравнивает признаки этих примеров и выводы алгоритма, делая выводы о приоритете каких-либо из них. В случае с нейросетями обычно применяют именно черный ящик.
• Изучение свойств самой модели. Изучение признаков, которые использует модель, для определения степени их важности. Чаще всего применяется к алгоритмам, основанным на методе решающих деревьев.

Естественно, производство интересует не только прогноз самого брака, но и интерпретация результата, т. е. причины брака для их последующего устранения. Это может быть долгое отсутствие тех.обслуживания станка, качество сырья, или просто аномальные показания некоторых датчиков, на которые технологу стоит обратить внимание.

Потому в рамках проекта прогноза брака на производстве должна быть не просто создана ML-модель, но и проделана работа по её интерпретации, т. е. по выявлению факторов, влияющих на брак.

Когда эффективно применение машинного обучения?

Когда есть большой набор статистических данных, но найти в них зависимости экспертными или классическими математическими методами невозможно или очень трудоемко. Так, если на входе есть более тысячи параметров (среди которых как числовые, так и текстовые, а также видео, аудио и картинки), то найти зависимость результата от них без машины невозможно.

Например, на химическую реакцию кроме самих вступающих во взаимодействие веществ влияет множество параметров: температура, влажность, материал емкости, в которой она происходит, и т. д. Химику сложно учесть все эти признаки, чтобы точно рассчитать время реакции. Скорее всего, он учтет несколько ключевых параметров и будет основываться на своем опыте. В то же время на основании данных предыдущих реакций машинное обучение сможет учесть все признаки и дать более точный прогноз.

Как связаны Big Data и машинное обучение?

Для построения моделей машинного обучения требуются в разных случаях числовые, текстовые, фото, видео, аудио и иные данные. Для того чтобы эту информацию хранить и анализировать существует целая область технологий — Big Data. Для оптимального накопления данных и их анализа создают «озера данных» (Data Lake) — специальные распределенные хранилища для больших объемов слабоструктированной информации на базе технологий Big Data.

Цифровой двойник как электронный паспорт

Цифровой двойник — виртуальная копия реального материального объекта, процесса или организации, которая позволяет моделировать поведение изучаемого объекта/процесса. Например, можно предварительно увидеть результаты изменения химического состава на производстве после изменений настроек производственных линий, изменений продаж после проведения рекламной кампании с теми или иными характеристиками и т. д. При этом прогнозы строятся цифровым двойником на основе накопленных данных, а сценарии и будущие ситуации моделируются в том числе методами машинного обучения.

Что нужно для качественного машинного обучения?

Data Scientiest’ы! Именно они создают алгоритм прогноза: изучают имеющиеся данные, выдвигают гипотезы, строят модели на основе Data Set. Они должны обладать тремя основными группами навыков: IT-грамотностью, математическими и статистическими знаниями и содержательным опытом в конкретной области.

Машинное обучение стоит на трех китах

Получение данных
Могут быть использованы данные из смежных систем: график работ, план продаж. Данные могут быть также обогащены внешними источниками: курсы валют, погода, календарь праздников и т. д. Необходимо разработать методику работы с каждым типом данных и продумать конвейер их преобразования в формат модели машинного обучения (набор чисел).

Построение признаков
Проводится вместе с экспертами из необходимой области. Это помогает вычислить данные, которые хорошо подходят для прогнозирования целей: статистика и изменение количества продаж за последний месяц для прогноза рынка.

Модель машинного обучения
Метод решения поставленной бизнес-задачи выбирает data scientist самостоятельно на основании своего опыта и возможностей различных моделей. Под каждую конкретную задачу необходимо подобрать отдельный алгоритм. От выбранного метода напрямую зависят скорость и точность результата обработки исходных данных.

Процесс создания ML-модели.

От гипотезы до результата

1. Всё начинается с гипотезы

Гипотеза рождается при анализе проблемного процесса, опыта сотрудников или при свежем взгляде на производство. Как правило, гипотеза затрагивает такой процесс, где человек физически не может учесть множество факторов и пользуется округлениями, допущениями или просто делает так, как всегда делал.

В таком процессе применение машинного обучения позволяет использовать существенно больше информации при принятии решений, поэтому, возможно, удается достичь существенно лучших результатов. Плюс ко всему, автоматизация процессов с помощью ML и снижение зависимости от конкретного человека существенно минимизируют человеческий фактор (болезнь, низкая концентрация и т. д.).

2. Оценка гипотезы

На основании сформулированной гипотезы выбираются данные, необходимые для разработки модели машинного обучения. Осуществляется поиск соответствующих данных и оценка их пригодности для встраивания модели в текущие процессы, определяется, кто будет ее пользователями и за счет чего достигается эффект. При необходимости вносятся организационные и любые другие изменения.

3. Расчет экономического эффекта и возврата инвестиций (ROI)

Оценка экономического эффекта внедряемого решения производится специалистами совместно с соответствующими департаментами: эффективности, финансов и т. д. На данном этапе необходимо понять, что именно является метрикой (количество верно выявленных клиентов / увеличение выпуска продукции / экономия расходных материалов и т. п.) и четко сформулировать измеряемую цель.

4. Математическая постановка задачи

После понимания бизнес-результата его необходимо переложить в математическую плоскость — определить метрики измерений и ограничения, которые нельзя нарушать. Данные этапы data
scientist выполняет совместно с бизнес-заказчиком.

5. Сбор и анализ данных

Необходимо собрать данные в одном месте, проанализировать их, рассматривая различные статистики, понять структуру и скрытые взаимосвязи этих данных для формирования признаков.

6. Создание прототипа

Является, по сути, проверкой гипотезы. Это возможность построения модели на текущих данных и первичной проверки результатов ее работы. Обычно прототип делается на имеющихся данных без разработки интеграций и работы с потоком в реальном времени.

Создание прототипа — быстрый и недорогой способ проверить, решаема ли задача. Это весьма полезно в том случае, когда невозможно заранее понять, получится ли достичь нужного экономического эффекта. К тому же процесс создания прототипа позволяет лучше оценить объем и подробности проекта по внедрению решения, подготовить экономическое обоснование такого внедрения.

DevOps и DataOps

В процессе эксплуатации может появится новый тип данных (например, появится ещё один датчик на станке или же на складе появится новый тип товаров) тогда модель нужно дообучить. DevOps и DataOps — методологии, которые помогают настроить совместную работу и сквозные процессы между командами Data Science, инженерами по подготовке данных, службами разработки и эксплуатации ИТ-систем, и помогают сделать такие дополнения частью текущего процесса быстро, без ошибок и без решения каждый раз уникальных проблем.

7. Создание решения

В тот момент, когда результаты работы прототипа демонстрируют уверенное достижение показателей, создается полноценное решение, где модель машинного обучения является лишь составляющей изучаемых процессов. Далее производится интеграция, установка необходимого оборудования, обучение персонала, изменение процессов принятия решений и т. Д.

8. Опытная и промышленная эксплуатация

Во время опытной эксплуатации система работает в режиме советов, в то время как специалист еще повторяет привычные действия, каждый раз давая обратную связь о необходимых улучшениях системы и увеличении точности прогнозов.

Финальная часть — промышленная эксплуатация, когда налаженные процессы переходят на полностью автоматическое обслуживание.

Шпаргалку можно скачать по ссылке.

Завтра на форуме по системам искусственного интеллекта RAIF 2019 в 09:30 — 10:45 состоится панельная дискуссия: «AI для людей: разбираемся простыми словами».

В этой секции в формате дебатов спикеры объяснят простыми словами на жизненных примерах сложные технологии. А также подискутируют на следующие темы:

• В чем разница между Artificial Intelligence, Machine Learning и Data Science?
• Как работает машинное обучение?
• Как работают нейронные сети?
• Что нужно для качественного машинного обучения?
• Что такое разметка, маркировка данных?
• Что такое цифровой двойник и как работать с виртуальными копиями реальных материальных объектов?
• В чем суть гипотезы? Как пройти путь от её постановки до оценки и интерпретации результата?

Николай Марин, директор по технологиям, IBM в России и СНГ
Алексей Натекин, основатель, Open Data Science x Data Souls
Алексей Хахунов, технический директор, Dbrain
Евгений Колесников, директор Центра машинного обучения, Инфосистемы Джет
Павел Доронин, CEO, AI Today

Дискуссия будет доступна на канале YouTube «Инфосистемы Джет» в конце октября.

• Artificial Intelligence
• Machine Learning
• Data Science

• Блог компании Инфосистемы Джет
• Алгоритмы
• Машинное обучение
• Искусственный интеллект