Недавняя разработка компании Anthropic показала 68,8% на бенчмарке ARC-AGI-2, тесте, оценивающем способность к абстрактному мышлению. Год назад все ИИ-модели не смогли набрать ни одного балла, тогда как средний результат среди 400 участников, состоящих из людей, составил 60%. Стоимость задачи составила $3,64, а результаты проверены командой ARC Prize на полуприватном наборе тестов.

ARC-AGI-2, представленная Франсуа Шолле, основателем Keras, была запущена в марте 2025 года и измеряет не знания, а способность модели к обобщению. Тест включает визуальные головоломки, где необходимо вывести правило по примерам. гран-при еще не была завоевана

Модель Opus 4.6, оцененная на самых различных уровнях, показала результаты от 63% до 68,8% в зависимости от бюджета на внутренние рассуждения. Для сравнения, предшественник Opus 4.5 набрал только 37,6%. Однако, несмотря на успех, величина в $700 тысяч за гран-при еще не была завоевана, что подчеркивает необходимость улучшений в глубине знаний моделей. К 2026 году фонд планирует выпустить ARC-AGI-3 с новыми интерактивными форматами.