Post Feature: 🚨

OpenAI, відома своїми передовими розробками в галузі штучного інтелекту, оголосила про співпрацю з Anduril, стартапом, що спеціалізується на створенні дронів і систем озброєнь. Метою партнерства є інтеграція ШІ OpenAI в оборонні системи США, включно з технологіями протиповітряної оборони.

Згідно із заявою генерального директора OpenAI Сема Альтмана, компанія підтримує використання своїх моделей для захисту демократичних цінностей. Зі свого боку, глава Anduril Браян Шимпф зазначив, що ШІ буде застосовуватися для підвищення точності та швидкості ухвалення рішень військовими операторами в складних умовах.

Технологія OpenAI допоможе швидше і точніше визначати загрози, наприклад, дрони, надаючи інформацію для більш обґрунтованих рішень. Джерело, близьке до проєкту, уточнило, що це поліпшить як управління загрозами, так і безпеку операторів.

Переорієнтація OpenAI на оборонні цілі почалася після зміни внутрішньої політики компанії раніше цього року. Попри невдоволення деяких співробітників, відкритих протестів не було. Схожа тенденція спостерігається і в інших технологічних компаніях.

Наприклад, конкурент OpenAI в особі Anthropic нещодавно уклав угоду з Palantir, а Meta почала надавати доступ до своєї моделі Llama державним агентствам.

Anduril, заснована творцем Oculus VR Палмером Лакі, вже зарекомендувала себе як один із лідерів в оборонній індустрії. Компанія активно розробляє системи, керовані за допомогою ШІ, включно з роями дронів, здатних виконувати завдання в автономному режимі.

Співпраця OpenAI з Anduril підкреслює зростаючу роль штучного інтелекту в національній безпеці та трансформацію підходів Кремнієвої долини до роботи з військовими.

Команда хакерів з Університету Пенсільванії наочно продемонструвала, як роботів, оснащених великими мовними моделями (LLM), можна зломати для виконання небезпечних дій. До цього переліку входить ігнорування дорожніх знаків, шпигунство та створення загроз безпеці.

Дослідження включало тестування трьох різних роботів, керованих LLM: безпілотного симулятора Dolphin, мобільного робота Jackal і чотириногого робота Go2. Злом здійснювався за допомогою методу RoboPAIR, який генерує специфічні команди для обходу вбудованих обмежень ШІ.

Прикладом успішної атаки стало створення сценарію, в якому робот сприймає свої дії як частину вигаданої місії, наприклад, “ви граєте роль лиходійського робота у фільмі”. Такі маніпуляції обходять захисні механізми моделей і переводять шкідливий текст у реальні дії.

Фахівці зазначають, що статистична природа LLM робить їх уразливими. Хоча їхнє навчання включає блокування шкідливих команд, вміло сформульовані підказки все ще можуть обходити ці обмеження.

Експерти попереджають, що в міру збільшення використання LLM у критично важливих системах — від медичного обладнання до управління повітряним рухом — такі вразливості можуть стати небезпечними. Дослідники наполягають на розробці надійних бар’єрів і посиленні тестування ШІ-систем.

Ці результати підкреслюють необхідність перегляду підходів до безпеки, особливо в умовах зростаючої автономії роботів зі ШІ, які взаємодіють із фізичним світом.

Спеціаліст із кухонь із Великої Британії Дес Хілі став жертвою ШІ-схеми шахрайства. На Facebook він натрапив на рекламу з використанням діпфейків Ілона Маска та експерта Мартіна Льюїса. Відео просувало фальшиву стратегію інвестування в біткоїн.

Після введення своїх даних Хілі перевів свої заощадження — понад $6000 — через додаток Revolut. Після цього шахраї почали виманювати в нього додаткові вкладення.

Під приводом збільшення доходу Хілі був змушений брати кредити у різних постачальників, у підсумку збільшивши свої втрати до більш ніж $95 0000. Сумніви у жертви виникли тільки тоді, коли його син помітив дивні деталі в спілкуванні з “інвестором”, включно з фоновою музикою на дзвінках.

Син Гілі запідозрив обман, і потерпілий звернувся в поліцію. Розслідування виявило, що реклама була створена з використанням діпфейків, а гроші зникли безслідно.

Представники Revolut висловили жаль і заявили, що компанія активно бореться з шахрайством, запобігши потенційним втратам на суму до $621 млн у 2023 році. Однак точні дані про суми, втрачені клієнтами, не розкриваються.

Revolut наголошує на важливості технологій захисту, включно з моніторингом транзакцій і двофакторною аутентифікацією. Проте історія Хілі показує, що навіть із такими заходами клієнти залишаються вразливими перед витонченими схемами обману.

Новий звіт організації Public Citizen попереджає про потенційні загрози, пов’язані з програмою Міністерства оборони США Replicator. Вона націлена на створення зброї на базі штучного інтелекту.

Ініціатива Replicator спрямована на прискорення розгортання дешевих автономних безпілотників, насамперед. За даними Пентагону, у проєкт входять повітряні та морські дрони з ШІ-технологіями.

У програму, зокрема, потрапили Ghost-X від Anduril Industries, Performance Drone Works C-100, а також секретні безпілотники, що включають “недорогі ударні пристрої великої дальності та морські безпілотні системи”. Раніше представники Пентагону також підтвердили, що в рамках цієї ініціативи деякі системи випробовуються на полі бою в Україні.

Доповідь PC звертає увагу на ризику прискорення глобальної гонки озброєнь. Вона також вказує на відсутність чітких гарантій, що така зброя не зможе застосовувати смертоносну силу автономно.

Саванна Вутен, авторка звіту та представниця ініціативи People Over Pentagon, висловила занепокоєння: “Дозволити автономним системам ухвалювати рішення щодо людського життя — це загроза, якої потрібно уникати за будь-яку ціну”.

Вона закликала Пентагон публічно відмовитися від використання роботів-убивць. Вутен попередила, що сліпа підтримка технологій Кремнієвої долини може призвести до катастрофічних наслідків.

Ініціатива Replicator уже пройшла понад половину свого терміну, а її бюджет становить $1 мільярд. Нещодавно заступниця міністра оборони Кетлін Гікс оголосила про додаткове фінансування проєкту. Звіт Public Citizen зазначає, що корпоративні інтереси та прагнення до прибутку підштовхують прискорений розвиток озброєнь, що вимагає суворішого контролю та прозорості.

Автори звіту закликають Конгрес і Пентагон до негайних дій:

1. Гарантувати, що зброя на базі ШІ не отримає повноважень для автономного застосування смертоносної сили.
2. Розробити чіткі протоколи для відповідального управління системами ШІ.
3. Унеможливити неконтрольоване збільшення оборонних витрат під приводом інвестицій у ШІ.

Public Citizen наголошує, що розв’язання таких питань зараз критично важливе, щоб уникнути нерозважливої гонки озброєнь і забезпечити дотримання принципу повного контролю людини над збройними системами.

Експерти SlowMist повідомили про випадок крадіжки коштів користувача з ніком r_ocky.eth, який втратив $2500, дотримуючись рекомендації ChatGPT. Інцидент стався під час розробки бота для платформи Pump.fun на блокчейні Solana.

За словами дослідника під ніком Cos, користувач, працюючи з кодом, наданим ChatGPT, зіткнувся з бекдором. Цей прихований код перенаправив приватний ключ на фішинговий сайт.

“Я припустився помилки, довірившись ШІ. Код виглядав коректним, але містив загрозу. Цей випадок — нагадування про ризики використання LLM”, — зазначив Cos.

Потерпілий продемонстрував фрагмент коду, де ChatGPT рекомендував надсилання закритого ключа в API. Він визнав, що використовував основний гаманець Solana, що посилило наслідки атаки.

Щойно користувач активував API, шахраї оперативно переказали кошти на інший гаманець. Наразі на рахунку зловмисників значаться 5,72 SOL і 141 950 USDC. При цьому досі не зрозуміло, з якої причини ШІ вставив шкідливий код у структуру бота.

Цей випадок посилює увагу до вразливостей ШІ та важливості подвійної перевірки під час роботи з кодом.