AlphaGo: Сила и потенциал искусственного интеллекта в игре Го
TLDR AlphaGo, программа искусственного интеллекта, использует глубокие нейронные сети для обучения самостоятельной игре и победила профессионального игрока-человека в игре Go, продемонстрировав мощь и потенциал искусственного интеллекта, а также подчеркнув его ограничения.
Влияние и значимость победы AlphaGo
Игра в Го позволяет вам максимально раскрыть свои возможности и помогает понять, что такое понимание, которое, возможно, и есть то, что на самом деле означает быть человеком.
Миссия DeepMind состоит в том, чтобы фундаментально понять интеллект и воссоздать его искусственно, чтобы помочь обществу решать всевозможные проблемы.
Некоторые люди полагали, что успех в Go невозможен для искусственного интеллекта, поскольку для этого требуется человеческая интуиция, но проект AlphaGo доказал, что они ошибались.
Матч между Ли Седолом и AlphaGo стал знаменательным событием как для мира искусственного интеллекта, так и для мира Go.
Summarize any YouTube video by yourself
Desktop options: Safari Chrome
Summarize any YouTube video by yourself
Other options: iOS App Chrome
Summarize any YouTube video by yourself
Other options: iOS App Safari
Напряжение и азарт матча AlphaGo против Ли Седола подчеркивают потенциал искусственного интеллекта бросать вызов человеческим способностям и превосходить их в таких сложных играх, как Go.
Победа AlphaGo является свидетельством человеческой изобретательности и сообразительности, поскольку все, что она делает, происходит потому, что человек создал данные, алгоритм обучения и алгоритм поиска.
Конкурс Google DeepMind Challenge собрал около 80 миллионов зрителей по всему миру, что свидетельствует о растущем интересе к искусственному интеллекту и его возможностям.
Терпеливый и стратегический подход Ли Седола к игре сравнивают с волком, выжидающим в лесу подходящего момента для нападения.
Сложность и потенциал искусственного интеллекта в Go
Главная задача исследований искусственного интеллекта состоит в том, чтобы обыграть профессионального игрока в Го, самую сложную игру, когда-либо изобретенную человеком.
Количество возможных конфигураций платы в Go превышает количество атомов во Вселенной, что делает ее невероятно сложной для компьютеров.
Способ, с помощью которого AlphaGo научилась играть самостоятельно и с подкреплением, отличается от того, как компьютер IBM победил Каспарова, который был запрограммирован опытными шахматистами.
В AlphaGo есть три основных компонента: сеть политик, сеть создания ценности и древовидный поиск, которые работают вместе для оценки позиций в совете директоров и прогнозирования будущих результатов.
«Божественный ход», сделанный AlphaGo, был настолько редок, что только 1 из 10 000 человек смог бы его обнаружить.
Summarize any YouTube video by yourself
Desktop options: Safari Chrome
Summarize any YouTube video by yourself
Other options: iOS App Chrome
Summarize any YouTube video by yourself
AlphaGo: что это за программа и как она навсегда перевернула мир ИИ?
Кинематограф постоянно твердит нам , что в скором времени искусственный интеллект захватит Землю и поработит всех людей, а предвестниками такого расклада являются программы типа «АльфаГо».
Альф аГ о — это несколько версий программ на основе искусственного интеллекта, которые играют в игру Го. Из всех версий этой программы настоящий фурор навела версия AlphaGo Zero, которая обыграла в Го все предыдущие версии этой программы и чемпиона мира по этой игре. Но самое важное, что AlphaGo Zero тренировалась самостоятельно и без вмешательства людей. А как мы знаем, любой искусственный интеллект обучается и тренируется только при помощи человека.
Что это за игра такая — «Го»
- есть игровое поле, которое расчертили перпендикулярными линиями на множество «квадратиков»;
- в нее играют 2 игрока с черными и белыми камнями;
- в порядке очереди игроки расставляют камни в местах пересечения линий;
- когда камни одного цвета окружают со всех сторон камни другого цвета, то те камни , что внутри , снимаются с игрового поля;
- победу одерживает тот, к то к концу игры «окружил» максимальную площадь территории.
Сложная ли игра Го?
Не все понимают, что такое игра Го и насколько она сложная. Но многие знают такие игры , как шашки и шахматы, поэтому давайте сравним игру Го с ними .
Когда игрок играет в шашки, у него есть примерно 10 вариантов , как осуществить ход, поэтому шашки считаются не очень сложной игрой. Однако в 1994-м году была написана программа, которая в том же году обыграла чемпиона мира по шашкам.
Когда игрок играет в шахматы, то у него в течение игры в среднем появляется около 25 вариантов, как осуществить ход. И таких ходов у него может быть около 45 за игру. Однако в 1997 году была создана программа, которая выиграла партию у тогдашнего чемпиона по шахматам Гарри Каспарова.
Когда игрок играет в Го, то перед ним поле с 361-м вариантом, куда можно выставить камень. Количество вариантов с о временем уменьшается, однако если учесть , ч то за партию игрок делает около 45-75 ходов, то видно , что ему нужно проводить просто огромный анализ игрового поля. Ведь ему нужно выстраивать фигуры, чтобы окружить камни соперника. Поэтому поставленный камень на 5-м ходу может принести пользу только на 45-м ходу. А может и не принести пользу вообще. В се эти комбинации нужно уметь просчитывать, поэтому профессиональная игра в Го считается довольно сложной. Однако в 2016 году была разработана программа АльфаГо и проведена игра в Го с тогдашним чемпионом Ли Седолем. Человек проиграл со счетом 4:1, сумев выиграть один раз у программы.
Как видно , временной промежуток между разработкой программ для шахмат и игры Го очень большой. Это обусловлено по большей степени сложностью игры в Го. Алгоритм программы для шашек, шахмат и Го одинаков: выстраивается дерево возможных вариантов игры , и программа просто идет по ветке, которая приводит ее к обязательной победе. А так как в игре Го игровых вариаций очень и очень много, то и дерево получилось очень разветвленным и глубоким , и только на его разработку потребовал а сь масса времени.
Программа АльфаГо
- медленная — показывала хороший процент предсказаний, 57% верных, но делала все это по-настоящему медленно;
- быстрая — показывала процент предсказаний намного х у ж е , однако работала очень быстро.
Заключение
АльфаГо — это не конец противостояния между компьютером и человеком. На сегодняшний день ведутся активные разработки по нескольким играм. Го относится к тем играм, где все данные открыты и можно просчитать все возможные ходы наперед, если правильно выстроить систему. Человек научился строить такие системы, именно поэтому он не способен обыграть компьютер в подобных играх. Но что будет , когда в играх и системах не будет рамок, когда придется анализировать и думать , как поступить? Подобные противостояния нам еще предстоит посмотреть.
Мы будем очень благодарны
если под понравившемся материалом Вы нажмёте одну из кнопок социальных сетей и поделитесь с друзьями.
AlphaGo Zero самостоятельно научилась играть в шахматы и сёги. И снова всех победила
AlphaGo Zero, самообучающаяся программа для игры в го, разработанная программистами из DeepMind, экспериментального подразделения Google, научилась играть и в другие настольные игры. Алгоритму, обновление которого описано в препринте на сайте arXiv, теперь доступны японские шахматы сёги, а также обычные шахматы.
Обновлено: в декабре 2018 года статья опубликована в Science.
Первая версия программы AlphaGo была представлена в 2015 году. Тогда она работала с использованием двух нейросетей: одна вычисляла вероятность ходов, а вторая — оценивала позицию камня на доске. Оригинальная AlphaGo практически полностью полагалась на обучение с учителем и использовала в качестве обучающей выборки данные об успешных ходах игроков-людей, а также поиск по дереву методом Монте Карло, который часто применяется в создании компьютерных игроков. Задача такого поиска — выбрать наиболее выигрышный вариант, анализируя сыгранные и удачные ходы в игре. Алгоритм показал свою эффективность практически сразу же, обыграв профессионального игрока Фаня Хуэя.
Разработчики DeepMind вскоре улучшили алгоритм, расширив использование в системе обучения с подкреплением (англ. reinforcement learning) — вида машинного обучения, при котором алгоритм обучается, не имея при этом обучающую выборку в виде пары «входные данные — ответ». Тогда AlphaGo смогла обыграть другого игрока в го — Ли Седоля, которого уже относят к сильнейшим игрокам в мире. После этого разработчики модернизировали алгоритм еще раз: последняя версия AlphaGo обыграла третьего сильнейшего игрока в го, Кэ Цзэ, и ушла из спорта.
Недавно авторы программы представили AlphaGo Zero — модернизированную версию, которая была разработана с помощью исключительно обучения с подкреплением, и смогла обыграть все предыдущие версии программы со счетом 100:0. Теперь разработчики DeepMind обучили алгоритм другим настольным играм: классическим шахматам и японским шахматам сёги.
В отличие от го, правила игры как в шахматы, так и в сёги, включают в себя определение позиций фигур на доске: так, например, ферзь может ходить на любое количество клеток в любом направлении, а слон ходит только по диагонали. Поэтому к оригинальному алгоритму AlphaGo Zero добавили правила о ходе фигур в каждой из двух игр — в остальном программа также училась самостоятельно, начиная со случайной игры.
После обучения AlphaGo Zero победила Stockfish (шахматную программу, которая несколько лет считалась лучшим компьютерным игроком) со счетом 64:36 (28 побед, 0 поражений, 72 ничьих), а Elmo, программу для игры в сёги, — со счетом 90:8 (2 ничьих). При этом в первом случае алгоритм DeepMind обучался четыре часа, а во втором — всего два.
Один из авторов работы, программист Мэттью Лай (Matthew Lai), ранее уже занимался разработкой алгоритма, который учится шахматам, играя сам с собой: программа, представленная им два года назад, обучалась 72 часа и по окончании тренировки была сравнима по эффективности с лучшими игроками Международной шахматной федерации. Тогда, однако, программа уступила алгоритму Stockfish.
Первая значимая победа компьютера над профессиональными игроками в шахматы произошла еще в 1997 году: тогда программа DeepBlue победила чемпиона по шахматам Гарри Каспарова. Проверить свои знания в вопросах противостояния игроков и машин вы можете с помощью нашего теста.
Как правильно заметили наши читатели, AlphaGo Zero не одержала 100 побед из 100 при игре в шахматы против Stockfish, а не проиграла ни одного раза (в действительности побед 28; в ничью игра закончилась в 72 случаях). При игре в сёги побед было 90 (две других игры, помимо 8 поражений, закончились ничьей). Редакция приносит свои извинения за неточности в заметке.
Елизавета Ивтушок
Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Нейросеть научилась понимать тексты из даркнета
Теперь она может определять киберугрозы
Исследователи из Южной Кореи обучили языковую модель DarkBERT на текстах из даркнета. Люди общаются в даркнете иначе, чем в обычном интернете, в том числе используют свой сленг. Модель изучила этот язык, и теперь ее можно применять в задачах кибербезопасности. Препринт доступен на arXiv.org. Языковые модели сегодня применяют для изучения разных текстов. Это нейросети, которые обучились на большом количестве данных и хорошо выполняют задачи, связанные с пониманием речи. Популярные языковые модели основаны на архитектуре Transformer, которую придумали инженеры из Google — такие модели умеют фокусировать внимание на важных частях предложения. Языковые модели лучше всего понимают то, что похоже на примеры из обучающей выборки. Обычно они учатся на больших объемах текстов из интернета, поэтому понимают много чего: литературный язык, сообщения из социальных сетей, научно-популярные статьи. Но есть тексты, которые не попадают в обучающую выборку, в том числе тексты из даркнета. У них есть свои лингвистические особенности: словарный запас, распределение частей речи и даже синтаксис. Обычные языковые модели это не учитывают, потому что во время обучения не видели таких текстов. Выход есть — обучить языковую модель на материалах из даркнета. Даркнет — это часть интернета, которую не найти в обычных поисковиках вроде Яндекса или Гугла. Туда нельзя попасть через обычный браузер. Есть разные сервисы для входа в даркнет, авторы исследования использовали Tor. Люди в даркнете общаются анонимно, и их сложно отследить. Поэтому даркнет стал платформой для всякого незаконного, от утечек данных до торговли запрещенными веществами. Специалисты по кибербезопасности постоянно ищут способы мониторить и изучать тексты в даркнете. Группа ученых из Южной Кореи под руководством Сун Вон Шина (Seungwon Shin) из Корейского института передовых технологий собрала корпус текстов из даркнета и обучила на нем языковую модель DarkBERT. Сначала авторы составили списки сайтов с помощью инструмента поиска по даркнету. Затем они скачали 6 миллионов веб-страниц и превратили их в тексты. Для обучения использовали модель RoBERTa, основанную на архитектуре Transformer. После обучения на текстах даркнета получилась готовая модель DarkBERT. Ее качество сравнивали со стандартными моделями RoBERTa и BERT, которые обучались на обычных текстах. Тестировали модели на разных сценариях киберугроз. Например, иногда злоумышленники похищают конфиденциальные данные с сайтов и вымогают у их владельцев деньги. Если деньги не поступают, злоумышленники публикуют украденные данные. Нейросети получали текст сайта и решали задачу бинарной классификации: определить, размещают ли на нем утекшие данные. DarkBERT справился с этой задачей намного лучше (точность 84 процента у DarkBERT против 70 процентов у BERT и 44 процента у RoBERTa). Еще один пласт нелегальной активности в даркнете — это продажа запрещенных веществ. Авторы проверили, насколько хорошо разные модели понимают сообщения с форумов даркнета: нейросети выделяли ключевые слова в сообщениях о запрещенных веществах. Такие ключевые слова могут пригодиться сотрудникам правоохранительных органов, чтобы быстро искать сообщения о продаже веществ и определять продавцов. Эту задачу тестировали на DarkBERT и на похожей модели BERT, дообученной на тематическом сабреддите. Здесь DarkBERT снова обошел конкурента (точность определения топ-10 ключевых слов 60 процентов у DarkBERT против 40 процентов у BERT). В целом результаты показывают, что предобученная на текстах из даркнета нейросеть DarkBERT справляется с задачами кибербезопасности лучше, чем другие модели. Ее можно использовать, чтобы мониторить нелегальную активность в даркнете, вычислять преступников и предотвращать утечки данных. Но у DarkBERT есть свои ограничения. Во-первых, она умеет работать только с англоязычными текстами. Во-вторых, обучающую выборку из даркнета собирать сложно, потому что сайты непросто найти и превратить в тексты. А чем больше подходящих текстов, тем выше эффективность модели. Другие языковые модели тоже продолжают развиваться. Например, инженеры из Яндекса натренировали нейросеть на русскоязычных текстах и встроили ее в Алису.
Лучший игрок в го проиграл компьютерной программе AlphaGo
Программа AlphaGo, разработанная компанией Google DeepMind для игры в го, выиграла матч против лучшего в мире игрока — 19-летнего Кэ Цзе из Китая. Это уже второй случай, когда машина обыгрывает самого сильного в мире игрока в го.
Кэ Цзе проиграл искусственному интеллекту две партии из трех.
«В прошлом году, я считал, что AlphaGo играет на равных с человеком, но сегодня я думаю, что программа играет просто как бог Го», — пошутил Кэ Цзе после завершения игры.
- Компьютер Google сразится с чемпионом игры го
- Компьютер смог выиграть в го у чемпиона мира
- Заменят ли нас машины, и в чем мы незаменимы
По его словам, он больше не собирается играть в го с искусственным интеллектом из-за быстрого его усовершенствования.
Основатель DeepMind Демис Хассабис, в свою очередь, отметил, что Кэ Цзе играл превосходно и буквально испытал пределы возможностей AlphaGo.
В марте прошлого года компьютерная программа AlphaGo смогла обыграть корейца Ли Си Дола, который на тот момент был действующим чемпионом мира в этой игре.
Тот матч широко освещался в прессе, а победу AlphaGo над Ли Седолем сравнивали с шахматным матчем между программой Deep Blue и Гарри Каспаровым.
Теперь Кэ Цзе считается игроком в го номер один в Китае, а с сентября 2014 года он находится на первом месте в неофициальном мировом рейтинге игроков го Rémi Coulom.
Го — это стратегическая настольная игра, похожая на шахматы, но со значительно большим количеством вариантов ходов. В нее играют на доске размером 19 на 19 клеток.
Игра го появилась в Китае несколько тысяч лет назад, оттуда пришла в Японию и Корею.
До создания AlphaGo го являлось одной из немногих традиционных игр, в которые человек играл лучше компьютера.
Работа над программой AlphaGo началась в 2014 году. В октябре 2015 года AlphaGo выиграла у трехкратного чемпиона Европы Фань Хуэя матч из пяти партий со счетом 5:0. Это был первый в истории случай, когда компьютер выиграл в го у профессионала в равной игре.