Количество новых бенчмарков для оценки ИИ растёт, как и число нейросетей. Среди них: GPQA Diamond, проверяющий PhD-уровень знаний, Lexometrica для оценки точности фактов, Persuasion Benchmark для дебатов и Chatbot Arena, основанный на голосах пользователей. Зачем ещё один? Два ключевых ответа. Новый бенчмарк для оценки ИИ новое поколение моделей ИИ

Первое — перекрёстное подтверждение результатов: GPT-5.4 стабильно занимает лидирующие позиции, в то время как российские модели, такие как YandexGPT и GigaChat, значительно отстают, причём это подтверждают независимые оценки сразу в нескольких бенчмарках. модели Claude

Второе — в России отсутствует системный бенчмарк, где бы российские и мировые модели сравнивались на практике. Новое исследование охватывает 54 модели, 32 реальные задачи на русском и применяет промпты, похожие на запросы живых менеджеров. Результаты доступны на сайте с интерактивными таблицами.

Интересно, что аналитическая модель Claude Sonnet 4.5 занимает второе место, превосходя GPT в практике управления и планирования, хотя в PhD-тестах она слабее. Среди доступных без VPN моделей лидируют китайские разработки: Moonshot AI, MiniMax и Xiaomi MiMo V2, все свободны для базового применения, ни одной российской в топе нет.

GPT-5.4 (4.80 балла) лидирует, Kimi K2.5 и MiniMax очень близки, уступая лишь на несколько сотых, что говорит о серьёзной конкуренции. Claude лучше подходит для сложного аналитического мышления, GPT — для поиска и коммуникации. Модель MiniMax M2.7 выделяется детализацией в управлении командами.

На практическом примере с распределением бюджета пять моделей показали разные подходы: от структурированных решений Kimi до недостаточной глубины GigaChat. Отсюда вытекает основная причина отставания российских ИИ — качество анализа, точность и полнота ответов, а также слабая региональная осведомлённость.

В частности, российские модели GigaChat и YandexGPT часто ошибаются в цифрах и теряют контекст, например в налоговом законодательстве России и Казахстана. К тому же YandexGPT в ряде случаев просто отказывается отвечать, ссылаясь на отсутствие данных.

В итоге, доступ к мощным ИИ из России обеспечивают главным образом китайские модели, которые быстро догоняют мировых лидеров. Российские разработки больше ориентированы на внутренние задачи, а не конкуренцию по качеству. При этом правильная формулировка запросов значительно улучшает результаты любой модели, нивелируя часть отставания.

Разрыв между мировыми лидерами и тем, что доступно в России без VPN, сокращается благодаря расширению предложений со стороны китайских компаний. Однако качество и применимость моделей всё ещё требует работы и адаптации к локальному рынку.