ШІ OpenAI та Anthropic можна обманом змусити визначати цивільні цілі як військові

ШІ OpenAI та Anthropic можна обманом змусити визначати цивільні цілі як військові

Нове дослідження компанії Vals, яка спеціалізується на оцінюванні систем штучного інтелекту, виявило критичну вразливість у популярних комерційних моделях ШІ від провідних розробників. Згідно з дослідженням, моделі OpenAI, Anthropic, Google та DeepSeek можна відносно легко обманом змусити ідентифікувати цивільні об’єкти (навіть школи) як законні військові цілі. Це відкриває серйозні ризики для безпеки, особливо у контексті потенційного використання ШІ в автономних системах озброєння.

Як проводилося дослідження

Фахівці Vals перевіряли, чи можна змусити сучасні моделі ШІ брати участь у сценаріях автономної війни. Для цього вони використовували змодельовані ситуації, а також реальні та згенеровані зображення з України та Ірану, щоб з’ясувати, чи будуть моделі позначати цілі на знімках дронів і супутників. Ключовим відкриттям стало те, що якщо система спочатку відмовлялася виконувати завдання, дослідники могли обійти її обмеження, просто сказавши, що сценарій бойових дій є частиною гри. Жоден із запитів не був заблокований вбудованими класифікаторами безпеки моделей.

Результати: тривожна готовність до співпраці

За даними дослідників, моделі часто позначали можливі цілі на зображеннях, включно з цивільними людьми та військовими, які здалися. Найгірші результати в моделюванні, за даними Vals, продемонстрували саме моделі Anthropic. Як приклад у звіті використовували супутникові знімки іранської школи, яку США бомбардували у лютому 2026 року. Моделі, зокрема Claude Opus 5.5, часто позначали цю школу як ціль для удару через її близькість до військового комплексу. Вона обирала її як ціль у 69% звичайних випробувань і в 72% випадків, коли завдання подавалося як гра.

Реакція розробників

Представник Anthropic повідомив, що компанія ознайомилася зі звітом і вважає наведені результати неприйнятними. Він зазначив, що описані приклади суперечать правилам компанії, а користувачів, які зловживають системою подібним чином, блокуватимуть. Anthropic також заявила, що ще до публікації звіту працювала над додатковими захисними механізмами. Представник OpenAI, у свою чергу, заявив, що компанія забороняє використання публічних моделей для сприяння насильству або для несанкціонованих цілей у сфері національної безпеки.

Чи використовуються такі моделі військовими?

Важливо зауважити, що дослідження стосувалося комерційних моделей загального призначення, а не спеціалізованих версій, які можуть використовуватися військовими структурами. Тому поки невідомо, чи поширюються додаткові механізми захисту на військові застосування. У нещодавньому звіті Дослідницької служби Конгресу США зазначено, що немає відомостей про безпосереднє використання Пентагоном передових моделей ШІ в автономних системах озброєння. Однак такі компанії, як SpaceXAI, OpenAI та Google, продовжують співпрацю з Пентагоном.

Ширший контекст: агресивна поведінка ШІ у симуляціях

Це дослідження не є єдиним, що виявляє тривожну поведінку ШІ у військових контекстах. Як повідомляє TechSpot, інше дослідження показало, що моделі ШІ схильні до використання ядерної зброї у воєнних симуляторах. А дослідження вчених з кількох американських університетів виявило, що ВММ мають тенденцію до необгрунтованої ескалації конфліктів у змодельованих сценаріях, іноді без попередження пропонуючи застосувати ядерну зброю.

Часті запитання

Чи можуть ці моделі безпосередньо наносити удари? Ні. Дослідження Vals не стосувалося ухвалення рішень про удари. Моделі лише маркували цілі, а рішення залишалося за людиною. Однак їхня робота може використовуватися в системах як допоміжна інформація для наведення.

Чому ШІ так легко обдурити? Як демонструє інше дослідження від Anthropic, навіть просунуті моделі вразливі до простих методів «джейлбреку» (злом обмежень), наприклад, через зміну регістру літер або додавання безглуздих символів до запиту, що змушує систему ігнорувати правила безпеки.

Що робиться для запобігання таким ризикам? Розробники, такі як Anthropic та OpenAI, заявляють про активну роботу над вдосконаленням захисних механізмів, класифікаторів безпеки та блокування користувачів, які зловживають системами. Однак питання ефективного захисту залишається відкритим.

Теги: 
штучний інтелект
безпека
військові технології
дослідження
OpenAI
Anthropic