Ці здолеў бы ChatGPT паступіць у ВНУ ў Беларусі?
Спойлер: здолеў бы. Канешне, пра прэстыжныя спецыяльнасці ў сталічных ВНУ гаворка не вядзецца, але на платнае аддзяленне на не самых папулярных факультэтах нейрасетка паступіла б. «Штодзень» прапанаваў ChatGPT адказаць на пытанні Цэнтралізаванага тэставання па гісторыі Беларусі.
Фота з svaboda.org
Нейрасеткі ўжо зараз выконваюць столькі функцый, што шмат хто трывожыцца, як бы ў перспектыве не застацца беспрацоўным. «Штодзень» вырашыў праверыць глыбіню ведаў ChatGPT і прапанаваў яму адказаць на пытанні Цэнтралізаванага тэставання па гісторыі Беларусі.
Папярэдне мы запыталіся ў нейрасеткі, ці знаёмая яна з гісторыяй Беларусі. Адказ атрымалі станоўчы.
Каб эксперымент быў паўнавартасным, штучнаму інтэлекту знайшлі «канкурэнта»: чалавека, які скончыў школу даволі даўно, мае прафесію, ніяк не звязаную з гісторыяй Беларусі. Жывы чалавек ніяк папярэдне не рыхтаваўся, адказы даваў, арыентуючыся на агульную эрудыцыю і логіку, не карыстаўся Гуглам ці іншымі крыніцамі інфармацыі.
Мы скарысталіся пытаннямі ЦТ-2022, якія былі даволі няпростымі і для добра падрыхтаваных абітурыентаў. У мінулым годзе цяжкасці выклікалі, напрыклад, пытанні кшталту «Якія з пяці выказванняў адпавядаюць рэчаіснасці», бо не было пазначана, колькі адказаў дакладныя. Раней (і ў 2023 годзе) было прапісана: «З пяці выказванняў толькі тры адпавядаюць рэчаіснасці». І ўвогуле пытанні мелі высокі ўзровень складанасці. Але ж штучны інтэлект павінен ведаць усё, ці не?..
Вось колькі правільных адказаў далі нашыя «абітурыенты».
Частка А
Чалавек: 17 дакладных адказаў
ChatGPT: 16 дакладных адказаў
Частка Б (больш складаная)
Чалавек: 3 дакладныя адказы, 1 часткова дакладны, 12 недакладных.
ChatGPT: 2 дакладныя адказы, 2 часткова дакладныя, 12 недакладных.
Падсумуем:
Чалавек: 42% дакладныя адказы
ChatGPT: 38% дакладных адказаў
Глядзіце таксама
Варта ўлічыць некалькі акалічнасцяў, якія маглі паўплываць на канчатковы вынік.
ChatGPT не ўмее аналізаваць графіку, толькі тэксты. У абраным намі варыянце ЦТ быў малюнак – мапа БССР пасля першага ўзбуйнення. Каб чат зразумеў сэнс пытання, мы зрабілі тэкставае апісанне мапы (якія гарады ўваходзілі ў склад БССР, а якія — не). Калі б пытанне было архітэктурнай ці мастацкай тэматыкі, нейрасетка не здолела б на яго адказаць.
ChatGPT не заўсёды разумее сам тып заданняў (мо й тыя абітурыенты, што набіраюць зусім нізкія балы, таксама не зразумелі, як адказаць?). Так, цяжкасці выклікалі заданні кшталту «Суаднясіце прозвішчы чатырох аўтараў з назвамі твораў». Прыйшлося перафармуляваць пытанне па прынцыпе «Хто напісаў гэты твор» і прапанаваць варыянты адказу.
Як нам падалося, часам ChatGPT не разумеў пытанне, бо складальнікі ЦТ вымушаныя выкарыстоўваць фармуліроўкі ў тым выглядзе, у якім яны пададзеныя ў падручніках. А іх аўтары апошнім часам выкарыстоўваюць не агульна прынятыя азначэнні, а тыя, што выкарыстоўвае прапаганда. Напрыклад, не «объединение», а «воссоединение» Беларусі ў 1939 годзе (каб ChatGPT слухаў Азаронка ці глядзеў фільмы накшталт «На другім беразе», вынік, можа, быў бы лепшы).
Як даюць рады з такімі пытаннямі дзеці? Падрыхтоўка да ЦТ – гэта не толькі паглыбленне ведаў па гісторыі, але яшчэ і дрэсіроўка на тэму «адкажы так, як у падручніку». І паколькі школьныя настаўнікі такія трэніроўкі не праводзяць, інстытут рэпетытарства ў бліжэйшы час дакладна не спыніць сваё існаванне.
Што цікава, з пытаннямі, адказ на якія можна знайсці праз логіку, і чалавек, і нейрасетка хутчэй давалі рады, чым з тымі, дзе патрэбны дакладныя веды. ChatGPT здолеў уставіць у сказ прапушчаны выраз (трэба было выбраць паміж «забаронена» і «дазволена»), але вырашыў, што Максім Танк напісаў «Новую зямлю». Становіцца зразумела, чаму нейрасетку называюць «штучным інтэлектам» і чым яна адрозніваецца ад пошукавай сістэмы, якая, наадварот, знайшла б дакладныя даныя, але не здолела б прааналізаваць.
І чалавек, і сетка, паказалі невысокія вынікі. Пра прэстыжныя прафесіі ў сталічных ВНУ гаворка не вядзецца, але на платнае аддзяленне на не самых папулярных факультэтах яны б паступілі.
Як бачна, ChatGPT — рэч разумная і карысная, але пакуль ягоныя веды наўрад ці складаюць сур’ёзную канкурэнцыю чалавеку. Прынамсі, беларускім гісторыкам хвалявацца пакуль дакладна не варта.
Глядзіце таксама
