Зброя і штучний інтелект: у світі занепокоєні збереженням людського контролю

Обговорення щодо регулювання автономних систем озброєння виносять на рівень ООН

Російсько-українська війна стала "бойовим тестуванням" для багатьох існуючих зразків озброєння та нових систем, стрімко прискоривши розвиток військових технологій. Використання наземних, повітряних і морських безпілотних платформ та "вмонтування" у них штучного інтелекту відбувається у масштабах, яких не було ніколи раніше у жодному збройному конфлікті у світі.

Над створенням такої "розумної" та, тою чи іншою мірою, автономної зброї зараз активно працюють як Україна та її союзники, так і російський агресор. Для нашої держави цей напрям є особливо важливим з огляду на перевагу ворога у ресурсах – щоб відповідати технологіями на "м’ясні штурми" росіян.

Поки що у війні в Україні не були помічені "роботи-кілери" – автономні системи озброєння, які самі обирають цілі й самі приймають рішення про атаку без участі людини. Усіма цими арміями дронів у повітрі, а також у воді та на суші, керують люди, які й приймають рішення – коли де і кого вбити. Водночас експерти вказують на те, що окремі зразки у своєму розвитку вже досить сильно наблизилися до так званих "роботів-кілерів".

З російського боку до таких систем можна віднести, зокрема, баражуючий боєприпас "Ланцет". Як стверджують його розробники, цей дрон-камікадзе здатний "самостійно здійснювати розвідку та атакувати ціль". У пізній модифікації ці безпілотники вже нібито можуть "діяти спільно", будучи об’єднаними нейромережею в один "рій".

З українського боку такою системою з певними автономними функціями можна назвати Saker – "платформу безпілотних літальних апаратів з можливостями штучного інтелекту для автономних місій", як говорять самі розробники. Відповідно до інформації з відкритих джерел, комплекс Saker Scout може автономно літати над визначеними територіями без контакту з людиною – уникаючи проблем, пов'язаних з глушінням GPS або електронними перешкодами. Цей "розумний" безпілотник з машинним зором здатний розпізнавати і фіксувати військові цілі та наводити на них інших дронів. За окремими повідомленнями, Saker може виступати також як "камікадзе", діючи на останньому етапі, після пригнічення каналу зв'язку системами РЕБ ворога, в автономному режимі та вражаючи ціль уже без участі оператора.

Ізраїльська операція у секторі Газа теж продемонструвала те, як швидко розвиваються оборонні технології з використанням штучного інтелекту. Особливо вражаючими виявилися характеристики ізраїльського баражуючого боєприпасу з ШІ Lanius – як зазначають його розробники, "комп'ютер може виконувати повний профіль польоту, зліт, навігацію і розвідку без втручання користувача". А у таких місцях, як двері та кути, система може використовувати "режим засідки" для швидкої атаки у відповідь на ознаки руху. Lanius нібито може автономно ідентифікувати точки виходу і входу, а також людські цілі за допомогою відеоаналізу на основі ШІ і присвоювати об'єктам і людям "класифікацію загрози".

Цей стрімкий розвиток базованих на штучному інтелекті систем озброєння актуалізував і питання їх регулювання та майбутнього застосування – якими є межі для цієї "розумної" зброї, чи можна передавати на розсуд алгоритму рішення про життя чи смерть, чи не вийде така система з під контролю людини і яким, власне, має бути цей контроль.

Регулювання у сфері "роботів-кілерів" є предметом міжнародної дискусії вже протягом тривалого періоду. Однак до останнього часу вона відбувалася, скажімо так, "камерно" та "між своїми". І без відчутних результатів – країнам так і не вдалося навіть вийти на початок офіційних переговорів за понад 10 років дискусії.

Нині однією з країн, що активно прагнуть змінити ситуацію у цій сфері, можна вважати Австрію. Її міжнародна дипломатія відома фокусом на темах нерозповсюдження, контролю над озброєннями та дотриманням міжнародного гуманітарного права.

БІЛЬШЕ ЗА "МОМЕНТ ОППЕНГЕЙМЕРА"?

"Ми всі знаємо фільми "Термінатор", "Матриця“. І ми не хочемо роботів-убивць. Це ж так просто. Нам потрібні правила застосування. І нам потрібна заборона на повністю автономні системи озброєння, де немає контролю людини". Цими словами міністра закордонних справ Австрії Александера Шалленберга можна найбільш чітко схарактеризувати суть та настрої дводенної конференції "Людство на роздоріжжі: Автономні системи озброєнь та виклики регулювання", яка відбулася минулого тижня у Відні.

Очільник австрійського МЗС на правах господаря та організатора відкривав масштабну конференцію, організовану його відомством у будівлі конгрес-центру Хофбург. Тут, у колишній імператорській резиденції, зібралися понад 900 учасників зі 142 держав – дипломати та урядовці, представники міжнародних організацій, промисловості, бізнесу та громадянського суспільства, – щоб обговорити виклики, пов'язані з автономними системами озброєнь, та шляхи їх регулювання.

"Як запобігти передачі рішень про життя і смерть машинам? Як боротися з алгоритмами, схильними до помилок та упередженості? Як зупинити викликану штучним інтелектом гонку озброєнь, і не дати цій технології потрапити до рук терористів? Неможливо переоцінити нагальність цих питань. Це "момент Оппенгеймера" нашого покоління!" – заявив у вступному слові Александер Шалленберг, прагнучи донести, наскільки важливою для людства є тема "роботів-убивць" зі штучним інтелектом. Принаймні, з австрійського погляду.

"Певною мірою, це навіть більше, ніж "момент Оппенгеймера". Це найбільша революція на полі бою з часів винайдення пороху! Але технологія дешевша і прогрес швидший", – додав австрійський міністр пізніше під час панельної дискусії.

Повністю поділяв занепокоєння Шалленберга і співзасновник Центру вивчення екзистенціальних ризиків Кембриджського університету (CSER), програміст Яан Таллінн, який виступав з ключовою доповіддю на конференції.

"Штучний інтелект може бути інструментом, але інструменти цінні лише тоді, коли вони передбачувані й можуть контролюватися. Я бачу багато паралелей між розвиненим суперінтелектом і проблемами, які створює автономна зброя", – заявив він, закликаючи до створення "правил щодо штучного інтелекту, який приймає рішення про життя і смерть".

На його переконання, "жодна автономна зброя не повинна розроблятися чи використовуватися для ураження людей, а також не повинна використовуватися для розрізнення однієї людини від іншої". Програміст пояснив свої побоювання тим, що коли автономна зброя стане здатною "досконало розрізняти людей", то це "значно полегшить здійснення геноцидів і цілеспрямованих вбивств за певними людськими характеристиками".

Тому він виступає за розробку зобов'язуючих норм міжнародного права, які не лише визначатимуть, як автономні системи озброєння повинні використовуватися, "але й не дозволять виробникам навіть розробляти системи, які є непередбачуваними або спрямованими проти людей".

Утім, не всі промовці на конференції були такими категоричними.

Державний секретар міністерства закордонних справ Норвегії Ейвінд Вад Петерссон звернув увагу на те, що у питанні автономних систем озброєння насправді "немає юридичної порожнечі".

"Існуюче міжнародне гуманітарне право також застосовується до автономних систем озброєнь. Виклик, який стоїть перед нами, передусім полягає в тому, щоб краще встановити, як існуючі правила застосовуються до таких систем озброєнь", – заявив він.

При цьому норвезький дипломат підтримав заклик генерального секретаря ООН до створення "юридично обов'язкових інструментів з метою заборони летальних автономних систем озброєнь, які функціонують без контролю або нагляду з боку людини і які не можуть бути використані відповідно до міжнародного гуманітарного права".

Президентка Міжнародного комітету Червоного Хреста Мір'яна Сполярич-Еггер також заявила про те, що автономні системи озброєння сьогодні "не діють у просторі беззаконня", адже є Женевські конвенції, які ратифіковані майже всіма державами. Водночас вона вказала на те, що міжнародне гуманітарне право не є статичним і постійно розвивається, реагуючи на розвиток нових технологій та способів ведення війни.

"Що стосується МКЧХ, то нам потрібні рамки, які містять чіткі заборони. Заборону автономних систем озброєння, які націлені на людей, і заборону автономних систем озброєння, які є непередбачуваними – автономної зброї, яка автоматично і незалежно від людського контролю обирає цілі, визначає момент і об'єкт атаки", – сказала Сполярич-Еггер.

ПИТАННЯ ВИНОСЯТЬ НА ВЕРЕСНЕВУ СЕСІЮ ГА ООН

Як уже було згадано, міжнародні дискусії на тему автономних систем озброєння безуспішно тривають уже понад 10 років. Проходять вони в Женеві у Групі урядових експертів, яка була створена в рамках Конвенції про конкретні види звичайної зброї. І хоча дискусії всередині цієї групи (а Україна також є її членом) видавалися досить змістовними, її учасникам за всі ці роки так і не вдалося перейти від обговорення до початку переговорів щодо міжнародної правової та нормативної бази.

Неспроможність цієї групи експертів, власне, і стала причиною того, чому група країн, включаючи Австрію, в останні кілька років намагаються винести тему "роботів-убивць" на ширший міжнародний рівень, за межі цієї закритої профільної групи.

У рамках цих зусиль у жовтні 2022 року Австрія ініціювала спільну міжрегіональну заяву на Генасамблеї ООН, а роком пізніше й першу в історії резолюцію ГА ООН щодо летальних автономних систем озброєнь. Цьогорічну міжнародну конференцію у Відні також слід розглядати саме у цьому контексті.

Прийнята 22 грудня 2023 року резолюція Генеральної асамблеї під назвою "Смертоносні автономні системи озброєння" зараз є ключовим документом та свого роду "фундаментом" у цій сфері. У ній говориться, що міжнародному співтовариству потрібно займатися розв'язанням проблем і питань, які виникають у зв'язку з автономними системами озброєння. Резолюція містить прохання до генерального секретаря ООН "запросити у держав-членів і держав-спостерігачів їхні думки щодо смертоносних автономних систем озброєнь, зокрема щодо шляхів вирішення пов'язаних з ними проблем і питань з гуманітарної, юридичної, технічної та етичної точок зору, а також з погляду безпеки, і щодо ролі людини в застосуванні сили".

Доповідь генсека ООН, яка відображатиме "весь спектр отриманих думок, з додатком, що містить ці думки", має бути представлена Генеральній Асамблеї на її 79-й сесії, що розпочнеться у вересні. Причому тема автономних систем озброєння буде винесена окремим питанням на порядок денної сесії.

І тут ми знову повертаємося до конференції у Відні: її проведенням Австрія прагне забезпечити змістовний внесок у виконання цієї резолюції, який також може бути корисним для подачі державами матеріалів-думок для доповіді генерального секретаря ООН по темі "роботів-убивць".

За підсумками зустрічі у Гофбурзі австрійська сторона сформулювала так зване "резюме головуючого" ("Chair’s Summary"), куди включила основні пункти проведеної дискусії, що можуть мати центральне значення для майбутніх заборон і регулювань у сфері автономних систем озброєння. Австрія запросила інші держави приєднатися до цього "резюме", яке буде передано генсеку ООН, або ж використати його для створення власних позицій. 

Росія найбільше перешкоджає початку міжнародних переговорів

Загальний дискурс щодо регулювання "роботів-кілерів", на відміну від інших тем у сфері контролю над озброєннями, ускладнюється тим, що мова йде не про новий вид зброї, а скоріше – про автономну функцію, якою була оснащена ця зброя шляхом інтеграції штучного інтелекту. Якщо наприклад, у випадку осліплюючої лазерної зброї йшлося про нову надмірно жорстоку зброю і її зрештою було заборонено, то "автономної зброї" як такої не існує – різні системи можуть бути зроблені автономними.

Абсолютна більшість держав-членів ООН вважають важливою та необхідною роботу щодо розв'язання проблемних питань, які виникають у зв'язку з автономними системами озброєнь. І про це чітко свідчить голосування за вже згадану резолюцію ГА ООН.

Документ підтримали 152 країни, зокрема всі держави НАТО (за винятком Туреччини, яка утрималася) та Україна. Проти проголосували всього чотири країни: Росія, Білорусь, Індія та Малі.

Як повідомив Укрінформу поінформований співрозмовник, саме Росія найбільше перешкоджає прогресу в рамках Групи експертів та початку міжнародних переговорів по темі автономних систем озброєння. Це перешкоджання проявляється у застосуванні представниками Москви різного роду процедурних трюків із тим, щоб уповільнити або ж взагалі зупинити дискусію та вихід на якісь домовленості.

Російська сторона блокує досягнення консенсусу в межах Групи експертів та схвалення звіту з рекомендаціями, мандат щодо чого має ця робоча міжурядова група.  При цьому РФ ніяк не пояснює свою позицію.

Затягує процес також Індія, однак її опозиція не є тотальною, як у випадку Росії. Як пояснив співрозмовник, індійське "ні" в голосуванні по резолюції Генеральної асамблеї було більше пов'язане з тим, що "Індія просто хоче залишити дискусію по темі автономних систем озброєння в рамках Групи експертів, де вона зберігає за собою повний процедурний контроль та може забезпечити уникнення небажаного для неї розвитку подій".

Обережну позицію – без потреби у поспіху – займає Ізраїль, який утримався під час голосування в ООН. Країна бере участь у засіданнях згаданої Групи експертів, але не підтримує подальше просування у напрямі конкретних переговорів.

Блокуючий вплив на процес створення регулятивної нормативної бази для "роботів-убивць" має відсутність довіри у відносинах між США та Китаєм (утримався при голосуванні по резолюції). Як американська, так і китайська делегації в Групі експертів дотримуються позиції, що ця тема є важливою і що існують "червоні лінії", які не можна перетинати. "Однак з боку обох сторін існує скептицизм та недовіра щодо дій одна одної, і тому ситуація розвивається у напрямі руху в бік гонки озброєння у цій сфері", – пояснив співрозмовник.

Якщо говорити про концептуальні речі, то є група держав, які підтримують регулювання у сфері автономних систем озброєння, але вважають, що це має регулюватися не міжнародним правом, а чимось на кшталт "Кодексу поведінки". Тобто, так званим "м'яким правом" (soft law) – квазіправовими інструментами, які не мають обов'язкової юридичної сили або обов'язкова сила яких "слабша", ніж обов'язкова сила права, що діє в державі на поточний час.

До таких країн належать Сполучні Штати, що, зокрема, пов’язано з внутрішньополітичними особливостями та труднощами у схваленні міжнародних договорів у Конгресі США. Також очікується, що регулювання на основі міжнародного права не підтримає Ізраїль.

Інша група держав, до яких належить і Австрія, яка зараз активно просуває тему, вважають, що в основі регулювання автономних систем озброєння має бути міжнародне право.

Водночас австрійська сторона та багато її однодумців вважають, що універсального рішення, вочевидь, не вдасться досягти, і тому, скоріш за все, буде поєднання різних юридично зобов'язуючих аспектів та так званого "м'якого права". При цьому має застосовуватися двосторонній підхід – заборона та регулювання. Забороненими мають бути ті автономні системи озброєння, що не передбачають контролю з боку людини, самі визначають цілі та розрізняють їх і самі приймають рішення щодо завдання удару по людях. Саме збереження "значимого людського контролю" над "роботами-вбивцями" наразі є тим, що об’єднує більшість країн.

Поширеною думкою щодо напівавтономних систем озброєння є те, що стосовно них мають діяти певні регулятивні норми, які забезпечать використання цих систем з дотриманням норм міжнародного права.

Очікується, що одним із центральних питань на майбутніх переговорах буде те, які автономні системи озброєння підпадають під категорію оборонних і тому не повинні потрапляти під заборону. Наприклад, окремі автономні системи протиракетної оборони, які можуть збивати цілі в автоматичному режимі, без схвалення з боку людини.

За попередніми планами, міжнародне регулювання по темі автономних систем озброєння має бути напрацьовано до 2026 року. Хоча з огляду на нинішні темпи та міжнародну ситуацію – це видається малореалістичним.

*   *    *

Україна як відповідальний учасник міжнародного співтовариства розуміє актуальність та важливість теми регулювання автономних систем озброєння, про що свідчить і її підтримка відповідної резолюції ГА ООН. Наша країна конструктивно працює разом з партнерами у рамках Групи експертів у Женеві, підтримуючи початок переговорів з напрацювання міжнародного регулювання у цій сфері.

Чого не можна сказати про Росію. Як уже було згадано, ця країна-агресор без пояснень блокує будь-який позитивний розвиток та будь-які конструктивні переговори. Як вона це робить і з будь-якими іншими міжнародними зусиллями, спрямованими на спільне вирішення проблем людства.

Безумовно, тема так званих "роботів-убивць" та їх регулювання з тим, щоб, зрештою, людство не зіткнулося з повстанням машин, як у "Термінаторі", є важливою. І як свідчить розвиток подій – актуальною. Водночас, спостерігаючи в коридорах Гофбурга за масштабом конференції – за цією тисячею людей з усіх континентів, – хотілося б, щоб її тема була іншою. Щоб австрійський МЗС згуртував усіх учасників навколо конференції на умовну тему недопущення агресивних війн та покарання агресора.

Бо який сенс щось придумувати та домовлятися про нові спільні правила, якщо не дотримуються існуючі? Якщо є одна агресивна країна, яка порушили практично усі міжнародні договори, включно зі Статутом ООН, та усі можливі норми Женевських конвенцій? І порушила б, можна не сумніватися, й регулятивні норми у сфері автономних систем озброєння, якби вони були.

Спочатку треба було б домогтися дотримання всіма країнами існуючих правил та зробити неможливим їх порушення. А для цього треба спільно покарати російського агресора.

Василь Короткий, Відень

Фото автора