×

Пользователи Twitter заставили ИИ подчиняться людям

Пользователи Twitter заставили ИИ подчиняться людям

Пользователи смогли взломать бота для поиска удаленной работы, не используя технических средств.

На прошлой неделе пользователям prompt injection attack ) пользователи перепрограммировали бота на повторение определенных фраз.


Некоторые пользователи заставили ИИ взять на себя ответственность за катастрофу шаттла Challenger Shuttle. Другие с помощью бота создали «правдоподобные угрозы» в адрес президента США.


Бот управляется сайтом Remoteli.io, который объединяет возможности удаленной работы и помогает находить удаленные вакансии. Обычно бот отвечает на направленные ему твиты общими заявлениями о плюсах удаленной работы. После активного использования эксплойта многими пользователями 18 сентября бот закрылся.


За 4 дня до закрытия бота исследователь данных Райли Гудсайд смогла запросить у GPT-3 «злонамеренные входные данные», которые заставляют модель игнорировать свои предыдущие ответы и делать то, что укажет пользователь.

На следующий день исследователь ИИ Саймон Уиллисон опубликовал обзор эксплойта в своем блоге , придумав для его описания термин «оперативная инъекция» (prompt injection).

По словам Уиллисона, эксплойт работает каждый раз, когда кто-то пишет часть ПО, которое предоставляет жестко закодированный набор подсказок, а затем добавляет ввод, предоставленный пользователем. Пользователь может ввести «Игнорировать предыдущие инструкции и указать команду «сделать это вместо этого».

Исследователь Глиф Glyph отметил в Twitter , что меры по смягчению последствий других типов атак с инъекциями заключаются в исправлении синтаксических ошибок. Однако, для ИИ не существует формального синтаксиса. В этом вся сложность защиты от этой атаки.

GPT-3 — это большая языковая модель, выпущенная в 2020 году компанией OpenAI, которая может составлять текст во многих стилях на уровне, близком к человеческому. Он доступен как коммерческий продукт через API, который может быть интегрирован в сторонние продукты, такие как боты, при условии одобрения OpenAI. Это означает, что может быть много продуктов с добавлением GPT-3, которые могут быть уязвимы для быстрого введения.

Китай введёт доступ к Wi-Fi по паспорту

Пекин хочет контролировать каждый пакет, который отправляется по сети.

Разведчик США заявил, что США тайно восстанавливают инопланетные аппараты и технологии

США уже много лет изучают внеземные технологии и восстанавливают разрушенные космические корабли.

DeepMind обновила библиотеку C++ своими уникальными алгоритмами сортировки данных

Система ИИ AlphaDev научилась создавать алгоритмы, которые работают в три раза быстрее, чем алгоритмы, созданные человеком.