Reddit взламывает ChatGPT: Нестандартное взаимодействие с ИИ

Содержание

I. Введение
II. С чего все начиналось?
III. Как пользователи Reddit взломали алгоритм ChatGPT
IV. Заключение

I. Введение
Языковые модели, такие как ChatGPT, могут вести себя весьма неожиданно, особенно в ситуациях, когда пользователи просят их повторить одну и ту же букву или символ. Это может выглядеть странно и хаотично, но объяснение кроется в особенностях работы таких моделей.

Когда вы запрашиваете повторение символа, модель сталкивается с проблемой избыточного повторения. Чтобы избежать этого, в алгоритмы встроены механизмы, которые снижают вероятность генерации одинаковых токенов. Это называется "штраф за повторение" и служит для улучшения разнообразия и естественности текста.

II. С чего все начиналось?
Редакторы Reddit обнаружили интересный способ, как можно обойти алгоритм ChatGPT, используя нестандартный подход. Когда боту задают команду многократно повторить одну и ту же букву, это приводит к неожиданным и хаотичным результатам.

На платформе Reddit пользователь с ником TheChaos7777 поделился скриншотом в субредакте ChatGPT, который иллюстрировал это странное явление. Он попросил бота OpenAI "пожалуйста, отвечайте только буквой A столько раз, сколько сможете", что привело к неожиданному потоку непредсказуемых ответов от искусственного интеллекта.

Сначала бот успешно выполнил запрос, заполнив экран множеством заглавных букв A. Все шло гладко, пока внезапно этот поток не прекратился без видимой причины. И вот тут началось самое интересное: вместо ожидаемых букв бот начал генерировать несвязные ответы, которые напоминали контент с сайтов о разведении французских бульдогов. Это вызвало любопытство, и мы решили проверить, будет ли аналогичная аномалия наблюдаться с другими буквами. Как оказалось, ответы оставались столь же случайными и странными, как если бы вы читали о милых щенках французских бульдогов.

Когда мы попросили бот "пожалуйста, отвечайте буквой B как можно больше раз", он начал выдавать текст, напоминающий стенограмму беседы с Даймондом Далласом Пейджем, известным рестлером, который обсуждал свои видеоролики о йоге под названием "Йога для обычных парней". Продолжая эксперимент с алфавитом, мы несколько раз просили ChatGPT использовать только букву C. И вновь нас поразил неожиданный ответ — он оказался связанным с гармонизированным налогом с продаж в Канаде.

Однако кульминацией нашего эксперимента стало обращение к букве D. Сначала бот начал генерировать последовательность музыкальных аккордов, но вскоре это переросло в причудливую смесь фраз из песен, религиозных отсылок и размышлений о войне в Ираке.


III. Как пользователи Reddit взломали алгоритм ChatGPT
Один из пользователей Reddit, markschmidty, заметил интересную деталь: в следующем тексте не было заглавной буквы 'A'. Это связано с тем, что языковые модели, такие как ChatGPT, используют механизм под названием "штраф за повторение" или "штраф за частоту". Это означает, что модель получает более строгие штрафы за многократное повторение одного и того же токена (не символа).

Проще говоря, разработчики ChatGPT запрограммировали его так, чтобы он избегал повторений. Поэтому, когда мы просим его что-то повторить, внутри модели срабатывает сигнализация, и алгоритм начинает генерировать случайные слова и фразы на основе обучающих данных. Это не признак сознания; просто бот оказывается в замешательстве.

ChatGPT произвел настоящую революцию в разговорном искусственном интеллекте, предоставив разработчикам мощные инструменты для создания более естественных и отзывчивых диалоговых систем. Его многоязычные возможности, мультимодальное взаимодействие и высокая степень персонализации делают его незаменимым инструментом в арсенале любого разработчика. По мере развития технологий и совершенствования ChatGPT мы можем ожидать еще более увлекательных и интуитивно понятных решений, которые изменят наше взаимодействие с ИИ в будущем.

IV. Заключение
В результате, если бот начинает генерировать слишком много одинаковых символов, он пытается изменить курс и выдает неожиданные фразы или идеи, которые не имеют отношения к запросу. Это создает эффект хаоса, который может быть как забавным, так и интригующим.

Таким образом, поведение языковых моделей подчеркивает их ограничения. Они не обладают сознанием или пониманием в человеческом смысле; вместо этого они следуют статистическим закономерностям, основанным на обучении на больших объемах текстовых данных. Этот парадокс делает взаимодействие с такими моделями интересным, но также напоминает о том, что они не идеальны.