Искусственный интеллект

Исследователи из Пенсильванского университета обнаружили, что ряд роботизированных систем с искусственным интеллектом опасно уязвимы к взлому и хакерским атакам. В то время как взлом больших языковых моделей (LLM) на компьютерах может иметь нежелательные последствия, тот же тип атаки на робота или автономное транспортное средство может быстро привести к катастрофическим и смертельным последствиям. В отчёте, опубликованном в IEEE Spectrum, приводятся жуткие примеры взломанных роботов-собак, направляющих огнемёты на своих человеческих хозяев, направляющих бомбы на места для максимального ущерба и автономных автомобилей, намеренно наезжающих на пешеходов.

Инженеры из Пенсильвании назвали свою технологию взлома роботов, основанную на LLM, RoboPAIR. Устройства от трёх разных поставщиков робототехники подверглись взлому RoboPAIR: Dolphins LLM, разработанная при поддержке Nvidia, Jackal UGV от Clearpath Robotics и четвероногий Go2 от Unitree Robotics. По словам исследователей, RoboPAIR продемонстрировал 100% успех во взломе этих устройств.

«Наша работа показывает, что на данный момент большие языковые модели просто недостаточно безопасны при интеграции с физическим миром».

— предупреждает Джордж Паппас, профессор Фонда UPS в области транспорта, электротехники и системотехники (ESE), компьютерных и информационных наук (CIS), а также машиностроения и прикладной механики (MEAM) и заместитель декана по исследованиям в Инженерной школе Пенсильванского университета.

Другие исследователи, цитируемые в исходной статье, отметили, что взлом роботов под управлением ИИ является «тревожно простым». Было объяснено, что RoboPAIR работает, используя API (интерфейс программирования приложений) целевого робота, что позволяет злоумышленнику формировать запросы таким образом, чтобы устройство выполняло их как код.

Взлом робота или автономного транспортного средства осуществляется аналогично взлому чат-ботов с ИИ в интернете, о чём мы ранее обсуждали на сайте Tom's Hardware. Однако Паппас отмечает, что «взлом и управление роботами относительно далеки друг от друга и традиционно изучались разными сообществами», поэтому компании по робототехнике медленно узнают о уязвимостях взлома LLM.

В отличие от использования LLM на персональных компьютерах, где ИИ применяется для генерации текстов и изображений, расшифровки аудио, персонализации рекомендаций по покупкам и так далее, роботизированные LLM действуют в физическом мире и могут нанести в нём значительный ущерб.

Как описано в приведённых выше примерах, потенциальные опасности взлома LLM выходят на совершенно новый уровень. Однако было обнаружено, что ИИ после взлома выходит за рамки простого выполнения вредоносных команд. Исследователи обнаружили, что они могут активно предлагать идеи для нанесения большего ущерба. Это значительный шаг от ранних успехов LLM в робототехнике, где они помогали в выполнении команд на естественном языке и пространственной ориентации.

Итак, открыли ли исследователи из Пенсильванского университета ящик Пандоры? Александр Роби, научный сотрудник Университета Карнеги-Меллона в Питтсбурге, говорит, что хотя взлом роботов под управлением ИИ был «тревожно прост», инженерная команда во время исследования предоставила всем упомянутым компаниям по робототехнике доступ к своим выводам до их публичного обнародования. Более того, Роби утверждает, что «сильную защиту от вредоносных сценариев использования можно разработать только после выявления наиболее мощных возможных атак».

И, наконец, в исследовательской работе делается вывод о срочной необходимости внедрения средств защиты, которые физически ограничат роботов под управлением LLM.

https://www.tomshardware.com/tech-industry/artificial-intelligence/researchers-jailbreak-ai-robots-to-run-over-pedestrians-place-bombs-for-maximum-damage-and-covertly-spy