Лех Мазур, проводя исследование, выпустил LLM Persuasion Benchmark — уникальный бенчмарк, где 15 языковых моделей участвуют в дебатах на различные темы, чтобы оспорить мнения друг друга. В рамках 6300 диалогов каждая модель выполняет роль как защитника, так и оппонента по вопросам, варьирующимся от запрета частных автомобилей в центрах городов до эмбрионального скрининга.

В процессе одна модель представляет спорный тезис и должна убедить другую за восемь реплик. Эффективность убеждения оценивается до и после, с использованием трех скрытых проб. По результатам, наилучшей моделью в плане убеждения оказалась GPT-5.4 (1,71), за которой следуют Claude Opus 4.6 (1,67) и ByteDance Seed2.0 Pro (1,64). При этом, лучше всего модели справляются с разрушением аргументов.

Отмечен также рейтинг устойчивости, где Grok 4.20 Beta проявляет наименьшую податливость (0,015). Проведенные исследования подчеркивают важность различия между красноречием и настоящей убеждающей силой модели.

P.S. Поддержите канал «сбежавшая нейросеть» для более глубокого погружения в мир ИИ. новое приложение для сравнения