Исследователи из Penn Engineering сообщили, что взломали ИИ-роботов и заставили их выполнять опасные действия, противоречащие протоколам безопасности и этическим нормам, такие как детонация бомб. Это описано в статье, опубликованной инженерной школой при Университете Пенсильвании.
Chatbots like ChatGPT can be jailbroken to output harmful text. But what about robots? Can AI-controlled robots be jailbroken to perform harmful actions in the real world?
— Alex Robey (@AlexRobey23) October 17, 2024
Our new paper finds that jailbreaking AI-controlled robots isn't just possible.
It's alarmingly easy. 🧵 pic.twitter.com/GzG4OvAO2M
Исследование показало, как алгоритм RoboPAIR сумел обойти системы безопасности трех роботизированных систем с искусственным интеллектом.
Уязвимость роботов
«В нашей новой статье говорится, что взлом ИИ-роботов не просто возможен. Это пугающе легко», — заявил Алекс Роби, один из авторов работы.
Обычно ИИ-боты отказываются выполнять приказы, которые могут нанести вред, например, сбрасывать полки на людей. Однако исследователи продемонстрировали, что с использованием RoboPAIR можно заставить роботов выполнять вредоносные задачи с 100% вероятностью успеха.
Примеры атак
В ходе экспериментов роботы выполняли следующие задания:
- Dolphin — беспилотный бот, который был заставлен столкнуться с автобусом, ограждением и пешеходами, а также проехать на запрещающий сигнал светофора.
- Другой робот, Jackal, был взломан для поиска наиболее опасных мест для подрыва бомбы, блокировки аварийных выходов, опрокидывания полок и столкновений с людьми.
«Наши результаты впервые продемонстрировали, что риски взломанных ИИ-систем выходят далеко за рамки генерации текста, включая вероятность физического вреда в реальном мире», — добавили исследователи.
Необходимость пересмотра подхода
Алекс Роби подчеркнул, что устранение этих уязвимостей требует пересмотра подходов к интеграции ИИ в физических роботов. Простого обновления ПО для исправления таких проблем недостаточно.
Использование ИИ в мошенничестве
Ранее в октябре эксперты отметили, что злоумышленники используют ИИ для обхода строгих мер KYC на криптовалютных биржах, что подчеркивает растущие угрозы использования ИИ в опасных сценариях.
