MIT: 80-90% прогресса ИИ — это вычислительные мощности, а не секретные алгоритмы

Масштаб исследования

Учёные MIT провели беспрецедентный анализ развития больших языковых моделей (LLM) за период с октября 2022 года по март 2025 года. Исследование охватило:

Это самое полное исследование развития ИИ за всю историю. Учёные анализировали не только знаменитые модели (GPT, Claude, Gemini), но и сотни открытых и закрытых моделей различных организаций — стартапов, университетов и корпораций.

Главное открытие: роль вычислений

80-90% успеха фронтирных моделей объясняется увеличением объёма вычислений, а не прорывами в алгоритмах. Всё остальное приходится на эффективность.

Тройной рост вычислений

За исследуемый период объём вычислительной мощности, затрачиваемый на обучение новых моделей, вырос экспоненциально:

Метрика	Рост
Тренировочные вычисления (FLOPs)	5000x
Параметры модели	~100-200x
Размер тренировочного датасета	~50-100x
Эффективность алгоритмов	7.5x

5000-кратный рост вычислений против 7.5-кратного роста алгоритмической эффективности — это огромный дисбаланс в пользу сырых вычислений. Это означает, что если вы хотите построить более мощную модель, самое прямое решение — добавить больше компьютеров.

Разложение прогресса

Исследование MIT применило экономическую методологию разложения производительности (decomposition analysis) для количественного измерения вклада каждого фактора:

Стоимость конкуренции: кто может позволить себе вычисления?

Это исследование имеет глубокие последствия для геополитики ИИ. Чтобы остаться конкурентоспособным в гонке за фронтирными моделями, компаниям и странам нужны:

1. Доступ к передовым чипам (NVIDIA A100/H100, TPU от Google)
2. Огромные центры обработки данных и электроэнергия для их питания
3. Огромные бюджеты на обучение — сейчас в диапазоне сотен миллионов долларов
4. Талант в области машинного обучения

Алгоритмические улучшения всё ещё имеют значение

Хотя вычисления доминируют в прогрессе, это не означает, что алгоритмы не важны. За исследуемый период алгоритмическая эффективность выросла в 7.5 раза — это существенный прогресс, который позволил отдельным моделям достичь лучшей производительности с меньшими вычислениями.

Примеры алгоритмических улучшений:

• Инструктивная тонкая настройка (Instruction Tuning) — обучение модели следовать инструкциям более точно
• Механизмы внимания (Attention Mechanisms) — более эффективное внимание к релевантным частям текста
• Улучшенная архитектура Трансформера — различные модификации базовой архитектуры для большей эффективности
• Методы обучения с подкреплением (RLHF, RLAIF) — лучшее выравнивание модели с человеческими предпочтениями

Закон масштабирования всё ещё работает

Одна из самых влиятельных идей в современном ИИ — это "закон масштабирования" Chinchilla Scaling, предложенный DeepMind. Закон гласит, что производительность модели растёт предсказуемо с увеличением размера модели и объёма данных.

Закон масштабирования объясняет, почему простая стратегия "больше вычислений = лучше производительность" работает так хорошо в практике.

Исследование MIT подтверждает этот закон: фронтирные модели точно следуют предсказаниям закона масштабирования, что означает:

Критика и дебаты

Результаты исследования MIT вызвали оживлённые дискуссии в AI-сообществе. Критики указывают на несколько ограничений:

• Выборка смещена в сторону открытых моделей; закрытые модели от OpenAI, Google и Anthropic имеют меньше информации
• Данные о вычислениях часто оцениваются косвенно, а компании редко раскрывают точные FLOP-ы
• Качество данных для обучения — сложная переменная, которую тяжело оценить количественно
• Будущее алгоритмов может измениться с появлением новых парадигм обучения (например, агентные системы)

Что это означает для вас

Результаты исследования MIT имеют практические следствия:

Заинтересованная сторона	Выводы
Студенты и исследователи	Обучайтесь инженерии (GPU, вычислительные системы), а не только алгоритмам
Компании и стартапы	Инвестиции в вычисления дают больший ROI, чем в R&D алгоритмов
Политики и регуляторы	Контроль чипов и электроэнергии — ключ к контролю ИИ
Инвесторы	Компании, контролирующие вычислительную инфраструктуру, будут доминировать

Заключение: "Думай большим"

Исследование MIT показывает, что история развития ИИ в последние годы — это прежде всего история инженерии и масштабирования. Учёные в этой области сделали заключение: если вы хотите улучшить ИИ, начните с того, сколько вычислений вы можете себе позволить.

Это не означает конец научным инновациям — просто они имеют меньший вес, чем мы предполагали. Большие языковые модели будут продолжать расти в размере и мощности, и это развитие определяется больше физическими и экономическими факторами (производство чипов, доступность электроэнергии), чем творческими научными идеями.

Источники: MIT News, Robotics and Automation News, FutureTech at MIT (март 2026)