Бенчмарк ARC-AGI: Тест на интеллект и критика экспертов

Этот бенчмарк призван указывать на фундаментальное различие между накопленным навыком и подлинным интеллектом. Бенчмарк Abstraction and Reasoning Corpus (ARC-AGI), созданный Франсуа Шолле в 2019 году, стал центральной ареной для исследования этого разрыва и наиболее точным инструментом измерения прогресса на пути к сильному искусственному интеллекту (AGI).

Философия ARC-AGI: Переопределение интеллекта

Для глубокого понимания ARC-AGI необходимо обратиться к работе Франсуа Шолле «Об измерении интеллекта». Шолле утверждает, что преобладающий в индустрии подход к оценке ИИ через выполнение конкретных задач (skill-based evaluation) является в корне ошибочным. Если система обучается на миллионах примеров шахматных партий, ее успех в шахматах — это мера объема данных и вычислительной мощности, а не интеллекта.

Различие между навыком и интеллектом

В рамках методологии ARC-AGI интеллект определяется не как способность выполнять задачу, а как эффективность усвоения новых навыков в условиях высокой неопределенности.

Параметр	Навык (Skill)	Интеллект (Intelligence)
Природа	Статический результат обучения.	Динамическая способность к адаптации.
Зависимость	Прямая зависимость от объема данных (Big Data).	Зависимость от способности обобщать из минимума опыта.
Пример	Deep Blue (победа над Каспаровым через перебор).	Человек, впервые видящий новую игру и понимающий правила за минуту.
Механизм	Аппроксимация паттернов (интерполяция).	Индукция новых правил из неочевидных примеров.

Шолле использует яркую аналогию: навык — это готовая сеть дорог. Интеллект — это компания по строительству дорог, которая может проложить путь в любом новом направлении.

Формализация интеллекта как коэффициента эффективности

Интеллект системы $\theta$ на наборе задач $T$ измеряется как скорость, с которой система превращает опыт и априорные знания в новые навыки. Математически это можно выразить через отношение прироста мастерства к затраченным ресурсам:

$$ I = \frac{\Delta Skill}{\Delta Experience + Priors} $$

Где высокий показатель интеллекта означает, что система достигает высокого уровня мастерства при минимальном объеме нового опыта. Это определение исключает возможность «покупки» результата через бесконечное масштабирование данных (scaling laws).

Архитектура бенчмарка: «Легко для людей, сложно для машин»

ARC-AGI представляет собой набор визуальных головоломок (гридов). Каждая задача состоит из 3–5 демонстрационных примеров (пары «вход-выход») и одного тестового задания.

Принципы проектирования задач

• Минимализм данных: ИИ видит всего 2–3 примера, что заставляет использовать рассуждение вместо статистики.
• Уникальность: Задачи в проверочном наборе уникальны, их невозможно «зазубрить».
• Объектно-ориентированность: Решение требует выделения объектов, понимания границ, цвета и форм.
• Пространственная логика: Вращения, отражения, масштабирование, перемещение.

Core Knowledge: Когнитивный фундамент

Бенчмарк опирается на теорию «основных знаний» (Core Knowledge) психолога Элизабет Спелке. Для решения ARC-AGI система должна обладать следующими априорными знаниями:

Когнитивный приор	Проявление в задачах ARC	Пояснение «на пальцах»
Cohesion (Связность)	Объект движется как единое целое.	Если тянуть кота за хвост, движется весь кот. ИИ должен понять, что «кучка» пикселей — это предмет.
Persistence (Постоянство)	Объект сохраняет форму за препятствием.	Если мяч укатился под диван, он всё еще круглый.
Symmetry (Симметрия)	Достройка зеркальной части фигуры.	Человек интуитивно ищет баланс в изображении.
Recurrence (Повторение)	Копирование паттерна в сетке.	Понимание, что маленький узор может быть «плиткой» для всей поверхности.

Эволюция бенчмарка: ARC-AGI-2 и вызовы 2025 года

В марте 2025 года был представлен ARC-AGI-2 — обновленная версия с усложненной методологией.

Ключевые нововведения

• Исключение «коротких путей»: Задачи требуют многоступенчатого рассуждения, простые симметрии больше не работают.
• Символическая интерпретация: Цвета и формы могут выступать символами (например, красный квадрат = «повернуть сетку»).
• Композиционное мышление: Одновременное применение 2–3 конфликтующих или дополняющих правил.
• Метрика стоимости: Теперь результат оценивается с учетом cost efficiency. Если система решает задачу за $1000, она менее интеллектуальна, чем та, что решает её за $0.20.

Состояние индустрии: OpenAI, NVIDIA и ARC Prize 2025

2025 год принес сенсационные результаты. Методы «рассуждения во время вывода» (inference-time reasoning) изменили правила игры.

Прорыв OpenAI: Модель o3

В конце 2024 года OpenAI представила модель o3, которая на скрытом наборе ARC-AGI-1 показала результат 87.5%, формально достигнув человеческого уровня.

Режим работы o3	Точность (ARC-AGI-1)	Стоимость за задачу	Оценка Франсуа Шолле
Standard Compute	75.7%	Умеренная	«Качественный скачок, приближение к человеческой адаптации».
High Compute	87.5%	Очень высокая ($15.72)	«Демонстрирует мощь поиска, но всё еще не является AGI».

Триумф NVIDIA: Система NVARC

На открытом соревновании Kaggle ARC Prize 2025 первое место заняла команда NVARC (NVIDIA Kaggle Grandmasters).

• Результат: 24.03% на сложном ARC-AGI-2.
• Стоимость: Всего $0.20 за задачу.

Секрет успеха NVARC:

• Использование синтетических данных (266 000 новых задач).
• Test-Time Training (TTT): Модель «учится» прямо в процессе теста.
• Ансамбль малых специализированных моделей вместо одной гигантской.

Сравнение ведущих систем 2025 года

Система	Автор	Тип системы	ARC-AGI-2 Score	Стоимость
GPT-5.2 Pro	OpenAI	CoT (рассуждения)	54.2%	$15.72
Gemini 3 Pro	Google	Refinement	54.0%	$30.57
Opus 4.5	Anthropic	CoT	37.6%	$2.40
NVARC	NVIDIA	Custom / TTT	27.6%	$0.20
TRM (7M params)	Independent	Recursive NN	6.3%	$2.10

Данные показывают: закрытые модели лидируют по точности, но открытые решения (NVARC) на порядки эффективнее экономически.

Взгляд экспертов

Ян Лекун: Критика «языкового тупика»

Лекун (Meta) считает, что текст — бедная среда для интеллекта. Успех в ARC через генерацию кода он называет «трюком». Настоящий путь — это архитектуры JEPA, обучающиеся на видео и понимающие физику мира.

Андрей Карпати: Проблема «шлака» (Slop)

Карпати ввел термин «slop» для описания текущих агентов. По его мнению, ARC подсвечивает «когнитивный дефицит» моделей: они великолепны в автодополнении, но рассыпаются при планировании в нестандартных ситуациях.

Игорь Котенков: Прагматизм и MDL

Автор с своем канале «Сиолошная» в отмечает, что ARC превратился в тест программного синтеза. Успех o3 — это успех алгоритмов поиска, обернутых вокруг нейросети. Важен принцип MDL (Минимальная длина описания): лучшее решение — это самая простая программа.

Текущий ландшафт методов решения

Метод	Суть «на пальцах»	Плюсы	Минусы
Pure Deep Learning	Простое предсказание картинки.	Быстро.	Почти не работает (менее 5%).
Program Synthesis	ИИ пишет код на Python для решения.	Высокая точность.	Огромные вычисления.
Neuro-Symbolic	Нейросеть видит объекты, логика их двигает.	Самый «человечный».	Сложно реализовать.
TTT (Test-Time Training)	Дообучение модели во время теста.	Эффективность.	Риск переобучения.

Итоговая сравнительная таблица результатов на ARC-AGI-2

Модель/Система	Организация / Автор	Score ARC-AGI-2	Метод / Архитектура	Стоимость (USD/задача)	Ключевые принципы познания
GPT-5.2 (Thinking)	OpenAI	52.9%	Глубокая цепь рассуждений (Deep Thinking), гибридная архитектура с роутингом	$1.90	Абстрактное рассуждение, планирование, многоэтапная логика
GPT-5.2 Pro (X-High)	OpenAI	54.2%	Максимальный бюджет вычислений (test-time compute), X-High режим	$15.27	Усиленное абстрактное обобщение, агентные возможности
Poetiq (Meta-system)	Poetiq AI	54.0%	Мета-оркестровка (генерация, критика, уточнение) нескольких LLM	$30.57	Мета-рассуждение, итеративное уточнение, оркестровка агентов
Gemini 3 "Deep Think"	Google	45.0%	Глубокое рассуждение (Deep Think), адаптивный вывод	~$77.00	Способность к решению сложных задач, обработка длинного контекста
NVARC (Kaggle team)	NVIDIA	27.64%	Синтетические данные + дообучение модели 4B параметров во время теста	$0.20	Адаптивность, обучение на лету (test-time training), синтетический корпус
Человек (Human Panel)	Франсуа Шолле	100%	Естественный интеллект	—	Объектная когезия, агентность, врожденные априори, гибкий интеллект
GPT-5.1	OpenAI	17.6%	Трансформерная LLM	—	Статическое предсказание токена, ограниченное обобщение
GPT-4o / GPT-4	OpenAI	0%	Статическое обучение (пре-трейнинг)	—	Запоминание навыков, отсутствие адаптации во время теста
NVARC	I. Sorokin & J-F. Puget (NVIDIA)	24.03%	Ансамбль малых моделей (4B), синтетика, обучение во время теста (TTT)	$0.20	Объектность, пространственная логика, адаптация через TTT
the ARChitects	the ARChitects	16.53%	2D-aware masked-diffusion LLM, рекурсивное самосовершенствование	$0.20	Объектная когезия, рекурсивное рассуждение
MindsAI	Jack Cole (MindsAI)	12.64% (до 15.42%)	Конвейер обучения во время теста (TTT), аугментационные ансамбли	$0.20	Адаптация на лету, активный вывод
GPT-5.2 Pro (High)	OpenAI	54.2%	Цепочка рассуждений (CoT), программный синтез	$15.72	Символическая интерпретация, композиционное мышление
Gemini 3 Pro (Refinement)	Poetiq / Google	54.0%	Циклы уточнения (refinement loops) на базе Gemini 3 Pro	$30.57	Эффективность усвоения навыков через обратную связь
Opus 4.5 (Thinking)	Anthropic	37.6%	Коммерческая система рассуждений (CoT)	$2.20	Абстрактное рассуждение, планирование
Tiny Recursive Model (TRM)	A. Jolicoeur-Martineau	8.0%	Рекурсивная нейросеть (7M параметров), глубокое уточнение	$2.10	Принцип минимальной длины описания (MDL), объектность
CompressARC	I. Liao & A. Gu	4.0%	Нейронный «код-гольф» на основе MDL, без предобучения	—	Алгоритмическая сложность, сжатие как интеллект
Человек (средний)	Исследование NYU / ARC	85% (порог AGI)	Биологический интеллект	—	Объектная когезия, агентность, причинно-следственная связь

Заключение: Почему ARC-AGI может быть важнее всех остальных тестов?

ARC-AGI остается единственным «честным» экзаменом в мире, наводненном тестами на эрудицию. Он спрашивает ИИ не о том, что тот знает, а о том, как тот думает.

1. Интеллект — это эффективность. Мы должны перестать измерять успех терабайтами данных.
2. Core Knowledge обязателен. Без базовых представлений об объектах модели останутся статистическими попугаями.
3. ARC Prize демократизирует AGI. Прорывы возможны не только в закрытых лабораториях, но и в эффективных малых моделях.

Настоящий AGI родится не тогда, когда компьютер выучит весь интернет, а тогда, когда он решит ARC-задачу так же легко и дешево, как это делает человек.

---

Источники: [1] Kevin Lacker, [2] ARC Prize, [4] Robert Tjarko Lange, [16] ARC-AGI-2, [19] Matthew Griffin, [22] NVIDIA Blog, [32] Telegram-канал «Сиолошная».

<LegacyJournalCta title="AI-решения для бизнеса" description="Разработка и внедрение инструментов искусственного интеллекта" action="Подробнее" href="/business/ai" imageSrc="/media/journal/assets/1a54d5f5-d54e-444b-b75d-00f08752615f/adc806a13e89bff8/original.png" imageWidth={1024} imageHeight={1024} tone="monochrome" />