Искусственный интеллект научился обманывать
Американские инженеры из Массачусетского технологического института применили необычную способность по отношению к ИИ.
Они научили систему возможности вводить в сознательное заблуждение другие аналогичные технологии.
Для этого специалистам пришлось научить ИИ распознавать текст после замены определенного слова на синоним.
Практически специалисты внедрили методику для обмана, которая анализирует текст искусственного интеллекта с целью замены слов синонимами, чтобы обмануть распознающий текст ИИ.
Тонкость в том, что для подбора таких синонимов атакующий алгоритм сам вынужден прибегать за помощью к искусственному разуму.
В качестве примера специалисты использовали одну фразу, которая звучит так:
«Персонажи, которые были сыграны в невероятно надуманных обстоятельствах, совершенно далеки от реальности».
Эта фраза была взята из негативных отзывов к одному фильму.
Далее исследователи заменили в ней слова синонимами, что позволило читать фразу следующим образом:
«Персонажи, которые были сыграны в невероятно искусных обстоятельствах, совершенно далеки от реальности».
В результате такой интерпретации ИИ счел данный отзыв о той же картине положительным.
Как утверждают инженеры, вводить в заблуждение можно системы ИИ и других типов.
Но в этом случае специалисты продемонстрировали уязвимости в технологиях распознавания изображений и речи.
Ученые отмечают, что искусственный интеллект добился значительных успехов в понимании языка.
Но в то же время он остается уязвимым из-за потенциально опасной разновидности так называемой «синонимической близорукости».
Представленный учеными алгоритм получил название TextFooler.
Ему под силу обмануть систему ИИ без внесения изменений в суть исследуемого текста.
Данный алгоритм разработан на специальной системе, которая определяет, какие слова следует преобразовать в синонимы.
В будущем этот лексикон может применяться для обмана искусственного интеллекта.
Исследователи видят в этой уязвимости серьезную проблему для безопасности в будущем.
Дело в том, что системы ИИ теперь все чаще применяются для оценки резюме, медицинских показаний и прочей обработки документов, как юридического, так и любого другого характера.
Например, злоумышленники, допустив подобные изменения в тексте, могут позволить «фейковым» новостям уклониться от редактора, работающего на основе ИИ.
В повседневной ситуации такая ошибка может повлиять на предоставление более высоких выплат по страховым случаям и так далее.
Вполне возможно, что такие незначительные искажения данных могут обернуться для ИИ атакой на систему.
Как предполагаемые сферы, которые могут быть в будущем атакованы с применением такой уязвимости системы, эксперты в первую очередь называют финансовый сектор и область здравоохранения.
Логично, что после того, как исследователи смогли обмануть обученную систему с помощью другого искусственного интеллекта, стоит ожидать появления алгоритма, который смог бы противостоять такому обману.
Фото: Pixabay
