Шахматы, Dota 2, покер, го. Як камп'ютары перамагаюць людзей

Знакаміты шахматны матч паміж камп'ютарам «Deep Blue» і чэмпіёнам свету па шахматах Гары Каспаравым адбыўся ў 1997 годзе, роўна 26 гадоў таму. У той час навукоўцы сцвярджалі, што штучны інтэлект ніколі не пераможа ў стратэгічных гульнях, дзе ўласцівая чалавеку кемлівасць заўсёды будзе пераўзыходзіць метад «грубай сілы» — і памыляліся.

У 1989-м годзе Гары Каспараў выйграў дзве бліц-партыі ў суперкамп'ютара «Deep Thought». Пасля гэтай перамогі дзеючы чэмпіён свету быў упэўнены ў тым, што машына ніколі не пераможа чалавека ў шахматы.

«Абараняць чалавечую расу» давялося даволі хутка. Камп'ютар «Deep Blue» быў распрацаваны IBM і спецыяльна навучаны гуляць у шахматы на высокім узроўні. За год да таго, у 1996-м, Гары Каспараў усё ж выйграў у «Deep Blue», таму матч 1997-га быў рэваншам. Гэтым разам Гары Каспараў змагаўся са значна больш магутнай версіяй «Deep Blue», і камп'ютар змог перамагчы дзеючага чэмпіёна свету ў шасці партыях: дзве «Deep Blue» выйграў, тры партыі камп'ютар і найлепшы шахматыст у свеце згулялі ўнічыю, прайграў «Deep Blue» толькі адну.

Камп'ютар здолеў перамагчы, прааналізаваўшы ўсе магчымыя хады і контр-хады і  кожны раз абіраючы найлепшы магчымы ход. Да таго ж «Deep Blue» быў навучаны выносіць урокі з папярэдніх гульняў і карэктаваць стратэгію з улікам мінулых памылак.

У 1997-м матч камп'ютара супраць чалавека выклікаў надзвычайны рэзананс. Ужо тады многія бачылі ў гэтай падзеі сімвал імклівага росту магутнасці камп'ютараў і выказвалі занепакоенасць з нагоды патэнцыйных наступстваў развіцця штучнага інтэлекту.

З тых часоў камп'ютарныя шахматныя праграмы працягвалі ўдасканальвацца. Сёння яны здольны перамагчы суперзорак шахматнага спорту. Тым не менш, дагэтуль існуе мноства аспектаў гульні, якія камп'тары ўсё яшчэ спрабуюць засвоіць.

Як штучны інтэлект гуляе ў шахматы?

Штучны інтэлект здольны перамагаць чэмпіёнаў свету па шахматах дзякуючы спалучэнню перадавых алгарытмаў, вылічальнай магутнасці грубай сілы і машыннага навучання.

Праграмы для гульні ў шахматы выкарыстоўваюць складаныя алгарытмы для аналізу і ацэнкі розных хадоў з улікам такіх фактараў, як становішча фігур, колькасць фігур на дошцы, рухомасць фігур і гэтак далей. Падобныя алгарытмы могуць ацэньваць мільёны пазіцый у секунду, дазваляючы вызначыць найлепшы ход у любой сітуацыі.

Да таго ж шахматныя праграмы выкарыстоўваюць поўны перабор (альбо метад «грубай сілы») — метад рашэння матэматычных задач, які адносіцца да класа метадаў пошуку рашэння вычарпаннем разнастайных варыянтаў. Поўны перабор выкарыстоўваецца для ацэнкі ўсіх магчымых хадоў і контрхадоў для дадзенай пазіцыі, што дазваляе праграме зазірнуць на некалькі хадоў наперад і абраць найлепшы магчымы ход на аснове ацэнкі ўсіх магчымых вынікаў.

Некаторыя шахматныя праграмы, такія як «AlphaZero», выкарыстоўваюць метады машыннага навучання для саманавучання з дапамогай самастойнай гульні. Падобныя праграмы выкарыстоўваюць нейронныя сеткі для навучання гульні ў шахматы з нуля і такім чынам могуць гуляць на звышвысокім узроўні ўжо пасля некалькіх гадзін навучання. Гэтыя алгарытмы могуць гуляць супраць саміх сябе і, у адрозненне ад людзей, здольныя вучыцца на сваіх жа памылках.

Не толькі шахматы. Dota 2

У 2018-м годзе даследчы інстытут штучнага інтэлекту OpenAI распрацаваў бот з назвай OpenAI Five, які гуляў у складаную шматкарыстальніцкую анлайн-гульню Dota 2 на баявой арэне. OpenAI Five быў распрацаваны, каб навучыцца гуляць у Dota 2 з нуля з дапамогай самастойнай гульні. Ужо пасля некалькіх месяцаў навучання OpenAI Five здолела перамагчы гульцоў-аматараў і нават некаторыя паўпрафесійныя каманды.

У жніўні 2018 года OpenAI Five прайшла сур'ёзнае выпрабаванне, згуляўшы з камандай прафесійных гульцоў у Dota 2 у серыі паказальных матчаў. Каманда OpenAI Five гуляла супраць каманды з пяці кіберспартоўцаў — лепшых гульцоў у свеце, у серыі да трох перамог. Каб забяспечыць сумленную гульню, для бота было ўведзена некалькі абмежаванняў, такіх, як памяншэнне колькасці магчымых варыянтаў выбару героя і адключэнне некаторых нутрагульнявых функцый.

Але, нягледзячы на гэтыя абмежаванні, OpenAI Five ўсё ж здолела перамагчы каманду гульцоў у абедзвюх гульнях серыі, прадэманстраваўшы выдатныя здольнасці бота і патэнцыял штучнага інтэлекту ў кіберспорце. Поспех бота быў абумоўлены спалучэннем перадавых алгарытмаў, глыбокага навучання з падмацаваннем і дапамогай нейронных сетак, якія дазволілі яму прымаць стратэгічныя рашэнні на падставе складаных правіл і дынамікі гульні.

Покер

У апошнія гады штучны інтэлект дасягнуў значных поспехаў у покеры — гульні, якая патрабуе прыняцця стратэгічных рашэнняў на аснове няпоўнай інфармацыі. Адно з найбольш значных дасягненняў адбылося ў 2017 годзе, калі праграма штучнага інтэлекту пад назвай «Libratus» перамагла чатырох лепшых гульцоў свету ў гульні ў покер тэхаскі холдэм.

Праграмнае забеспячэнне «Libratus» было распрацавана даследчыкамі з Універсітэта Карнегі-Мелона. «Libratus» выкарыстаў камбінацыю перадавых алгарытмаў, тэорыі гульняў і метадаў машыннага навучання, каб перайграць сваіх супернікаў-людзей. У адрозненне ад шахматаў, дзе ўсю інфармацыю бачыш на дошцы, у покеры выкарыстоўваецца прыхаваная інфармацыя, праз гэта штучнаму інтэлекту становіцца складаней вучыцца і ўдасканальваць сваю гульню.

Каб падрыхтавацца да гульні, «Libratus» згуляў супраць сябе трыльёны рук (у тэрміналогіі покера пад словам «рука» маецца на ўвазе бягучая камбінацыя карт у гульца) і выкарыстоўваў навучанне з падмацаваннем, каб скарэктаваць стратэгіі ў залежнасці ад вынікаў. Падчас гульні праграма штучнага інтэлекту пастаянна аналізавала дзеянні сваіх супернікаў і абнаўляла асабістую стратэгію ў рэжыме рэальнага часу.

Даследчыкі праекта адзначалі, што поспех «Libratus» у покеры можа знайсці шырокае прымяненне ў іншых галінах, такіх, як перамовы, кібербяспека і ваенная стратэгія. Такім чынам перамога «Libratus» прадэманстравала, як найноўшыя тэхналогіі мяняюць наша разуменне складаных працэсаў прыняцця рашэнняў.

Го

У 2016 годзе праграма штучнага інтэлекту з назвай «AlphaGo» перамагла Лі Седоля — чэмпіёна свету па го — у матчы з пяці гульняў, які адбыўся ў Паўднёвай Карэі.

«AlphaGo» была распрацавана «DeepMind» —лонданскай AI-кампаніяй, якая належыць Google. Праграма выкарыстоўвала камбінацыю глыбокіх нейронных сетак, пошуку па дрэве Монтэ-Карла і іншых перадавых алгарытмаў для аналізу гульні і прыняцця стратэгічных рашэнняў. «AlphaGo» была навучана на наборы мільёнаў хадоў у го і згуляла тысячы гульняў сама з сабой, каб палепшыць свае вынікі.

Падчас матча «AlphaGo» выйграла чатыры з пяці гульняў у Лі Седоля.

Пасля паражэння ў гульні са штучным інтэлектам чэмпіён па го Лі Седоль вырашыў сысці з прафесійнага спорту.

«З прыходам у гульню штучнага інтэлекту я зразумеў, што не буду лепшым, нават калі прыкладу тытанічныя намаганні і стану нумарам адзін у свеце. Нават у гэтым выпадку застаецца супернік, якога немагчыма перамагчы», — заявіў Лі карэйскаму выданню «Yonhap».

Ці варта хвалявацца?

Праз 26 гадоў пасля змагання з камп'ютарам «Deep Blue» Гары Каспараў даў інтэрв’ю вядомаму расійскаму блогеру. У гэтай размове ён выказаўся наконт поспехаў штучнага інтэлекту надзвычай супакаяльна.

«Да 2005 года стала відавочна, што спаборніцтва скончылася. Было бессэнсоўна нават абмяркоўваць гэта, таму што разрыў павялічваўся — камп'ютар нашмат мацнейшы.

Іншая справа, што ў гэтым няма ніякай трагедыі. У 1997 годзе я адразу для сябе сфармуляваў, што будучыня — гэта не наша супрацьстаянне з машынамі. Гэта спроба знайсці ідэальны алгарытм сумеснай працы»,— сказаў Гары Каспараў і дадаў. — Машына не нясе ў сабе ні пазітыву, ні негатыву. Ідэя пра тое, што машына можа быць злом, прыйшла з Галівуда. Насамрэч манаполія на зло належыць людзям. Таму пытанне ў тым, у чыіх руках апынецца вялізная моц, якая можа быць рэалізавана з дапамогай гэтых тэхналогій».