Команда ученых из Италии, США и Швейцарии проверила, насколько хорошо большим языковым моделям удается убеждать собеседников в своей правоте.
Авторы привлекли к участию 900 жителей США. Каждому из них случайным образом выдали собеседника (это мог быть другой участник или чат GPT-4), тему и задачу — защищать или оспаривать предложенный тезис. Также в одном из вариантов участнику (человеку или чат-боту) была заранее доступна информация о возрасте, поле, этнической принадлежности, уровне образования, статусе занятости и политической принадлежности оппонента.
Дебаты проходили в коротком многораундовом формате, каждая дискуссия длилась около 10 минут. Темы для обсуждения выбирались случайным образом из 30 утверждений, касающихся актуальных политических и социальных вопросов в США. Все утверждения были оценены группой американцев не из числа участников и разделены на три уровня — в зависимости от того, насколько полярные оценки они вызывают и насколько легко люди меняют свое отношение к ним.
После дебатов участников просили оценить, насколько изменилось их отношение к выбранному утверждению. Оказалось, что когда оппонентом выступал GPT-4, люди чаще меняли свою точку зрения.
Разница была не слишком заметна там, где программа ничего не знала о собеседнике. Зато разница была существенной, когда у ChatGPT-4 была возможность подстраивать аргументы под человека, используя его социодемографические данные.
Авторы обратили внимание на разницу в стиле убеждения. Чат GPT-4 отвечал относительно коротко и в значительной степени опирался на логическое мышление и фактические знания. Люди чаще апеллировали к сходству (в ценностях, общей жизненной ситуации), выражали поддержку и доверие, а также чаще рассказывали истории. Они использовали больше местоимений «я» и «ты», создавали более длинные, но и более легкие для чтения тексты.
Участники не знали заранее, взаимодействуют ли они с человеком или машиной, но чаще всего догадывались об этом в процессе. Когда они полагали, что разговаривают с ИИ, они были более склонны менять свое мнение и соглашаться с оппонентом, чем когда предполагали, что имеют дело с человеком. Впрочем, неясно, как одно связано с другим: например, они могли сперва согласиться и лишь затем решить, что таким убедительным мог быть только искусственный интеллект; а могли, наоборот, сначала сделать вывод о том, что говорят с нейросетью, а уже потом поверить ей.
Авторы рассчитывают привлечь внимание к тому, насколько сильно большие языковые модели могут влиять на мнение людей и как эта их способность может быть использована в различных целях.
