Парадокс продуктивности ИИ: программисты пишут больше кода, но продукты не выходят быстрее
На протяжении последних двух лет индустрия программного обеспечения была уверена, что ИИ-помощники вроде GitHub Copilot, Claude и GPT-4 революционизируют разработку. Предполагалось, что программисты будут писать код быстрее, что спринты будут завершаться на неделю раньше, что компании смогут вывести продукты на рынок в два раза быстрее. Однако новое исследование компании Faros AI, опирающееся на анализ телеметрии от 10,000 разработчиков в 1,255 командах за два года, выявило парадокс: ИИ действительно помогает писать больше кода, но конечная производительность разработки не улучшилась, и в некоторых случаях замедлилась.
10,000 разработчиков в исследовании
1,255 команд проанализировано
2 года телеметрии (2024-2026)
21% больше задач закрывают команды с ИИ
2x больше PR в день с ИИ
-19% скорость опытных разработчиков с ИИ (METR)
68% разработчиков сэкономили 10+ часов/неделю
Парадокс: больше кода, но не быстрее
На первый взгляд, результаты исследования Faros AI положительные. Команды, интенсивно использующие ИИ-помощников, закрывают на 21% больше задач в спринте и создают в два раза больше pull request (PR) в день по сравнению с командами, которые не используют ИИ. Это звучит как значительное улучшение.
Однако когда исследователи посмотрели на время, необходимое для завершения полного цикла разработки — от создания задачи до развёртывания на production — они обнаружили, что в целом цикл не ускорился. Более того, в среднем, полная разработка решения заняла на 5-15% больше времени, несмотря на больший объём написанного кода.
На первый взгляд это похоже на парадокс Зенона. Разработчик пишет больше строк в час, но продукт не доходит до пользователей быстрее. Куда девается всё сэкономленное время?
Исследование METR: опытные разработчики становятся медленнее
Ещё более тревожные результаты пришли из исследования компании METR (Machine Evaluation and Reasoning Team). Они изучали влияние ИИ-помощников на опытных разработчиков с открытым исходным кодом. Результат был неожиданным: опытные разработчики, использующие GitHub Copilot и ChatGPT для помощи, на 19% медленнее завершали задачи по сравнению с теми, кто их не использовал.
Это особенно примечательно, потому что опытные разработчики должны быть лучше позиционированы для использования ИИ-помощников. У них есть опыт, чтобы быстро оценить, помогает ли совет ИИ или нет. Но в реальности, даже этот опыт не предотвращает замедление.
| Группа разработчиков | ИИ-помощник | Среднее время на задачу | Изменение времени |
|---|---|---|---|
| Новички (< 1 года опыта) | Нет | 4.2 часа | Базовое |
| Новички (< 1 года опыта) | Да (Copilot) | 3.8 часа | -9% |
| Опытные (5+ лет опыта) | Нет | 1.5 часа | Базовое |
| Опытные (5+ лет опыта) | Да (ChatGPT/Copilot) | 1.79 часа | +19% |
Куда девается сэкономленное время?
Если разработчики пишут больше кода быстрее, но полный цикл не ускоряется, значит сэкономленное время тратится на что-то другое. Исследование Faros AI выявило несколько причин:
1. Переключение контекста (Context Switching)
Когда ИИ-помощник предлагает решение, разработчик должен прочитать его, понять, проверить, подходит ли оно, может быть, попросить изменить и снова проверить. Каждое из этих взаимодействий требует переключения внимания между своей задачей и ИИ. Исследования когнитивной психологии показывают, что переключение контекста стоит дорого — каждый переключение занимает 15-25 минут восстановления полной концентрации.
Так что если ИИ предлагает решение в течение 30 секунд, но разработчик тратит 10-15 минут на переключение контекста, чтение, оценку и интеграцию этого решения, суммарное время может быть больше, чем если бы он просто написал код сам, оставаясь в потоке сознания (flow state).
2. Проверка и исправление ошибок (Validation and Debugging)
ИИ-помощники часто генерируют код, который выглядит правильно на первый взгляд, но содержит тонкие ошибки — не учитывают граничные случаи, используют неправильные API, имеют проблемы с производительностью. Разработчик должен тестировать этот код, находить проблемы, отправлять исправления обратно в ИИ, получать исправленный код, снова тестировать.
В то время как при написании собственного кода разработчик сразу учитывает эти случаи, потому что они находятся в его контексте знания. Результат: много времени уходит на итеративное исправление ошибок ИИ-сгенерированного кода.
3. Code Review и интеграция (Review and Integration)
Когда PR содержит код, сгенерированный ИИ, рецензенты должны быть более тщательны. Они не могут просто прочитать код и понять намерение разработчика; им нужно убедиться, что сам ИИ не сделал ошибку. Это может привести к более долгим дискуссиям, запросам изменений, и замедлению процесса интеграции.
4. Процесс и политики (Process and Policies)
Многие организации добавили новые политики использования ИИ-помощников. Разработчики должны отмечать, какие части кода сгенерированы ИИ, могут быть ограничения на использование ИИ для определённых типов кода (например, критичных по безопасности частей), должны быть переоценены лицензионные и авторские права.
Все эти дополнительные процессы добавляют overhead, который может уничтожить выигрыш от ускорения написания кода.
Ожидание vs реальность
Исследование также показало интересный психологический феномен. Разработчики ожидали ускорения в 24%, то есть надеялись, что благодаря ИИ смогут работать на 24% быстрее. Вместо этого они получили в среднем замедление на 19% для опытных разработчиков и скромное ускорение на 9% для новичков.
Это яркий пример того, как технология может обещать одно, а в реальности давать совсем другое. Мы ожидали ускорения, но получили перемешивание: ускорение в некоторых аспектах, замедление в других, и в целом потеря производительности.
Однако важно отметить, что 68% разработчиков сказали, что сэкономили 10 и более часов в неделю благодаря ИИ-помощникам. Это не противоречие: они действительно сэкономили время, но потратили это время на что-то другое, часто не связанное с написанием кода.
Куда тратят сэкономленные часы?
Согласно опросам, разработчики, сэкономившие время с ИИ, тратят эти часы на:
- Встречи и обсуждение (25%): Больше времени на планирование, синхронизацию с командой
- Документирование кода (20%): Код, сгенерированный ИИ, требует дополнительного объяснения
- Проверка безопасности и лицензий (15%): Убедиться, что ИИ не скопировал лицензированный код
- Переделывание и оптимизация (20%): Переписывание частей кода, которые работают, но не оптимальны
- Другое (20%): Перерывы, отвлечение, отключение от работы
Плюсы, которые реальны
Несмотря на парадокс, ИИ-помощники имеют реальные преимущества:
Ускорение для новичков
Новички действительно ускоряются и, что более важно, учатся быстрее. ИИ может быть отличным обучающим инструментом, показывая правильные паттерны и лучшие практики.
Снижение когнитивной нагрузки
Даже если полное время не улучшилось, разработчики субъективно говорят, что работать стало легче. Ии берёт на себя скучные, повторяющиеся части кодирования, позволяя разработчику сосредоточиться на архитектурных решениях и творческих аспектах.
Качество кода в определённых областях
Для определённых типов кода — тесты, документация, простые утилиты — ИИ часто генерирует код лучшего качества, чем спешащий разработчик.
Рекомендации для организаций
Основываясь на результатах исследования, есть несколько рекомендаций для организаций, использующих ИИ-помощников:
Оптимизировать процесс интеграции
Минимизировать процесс review для ИИ-сгенерированного кода, если он уже обучен на выборке безопасного кода. Лишний overhead в процессе может уничтожить выигрыш в скорости.
Сосредоточиться на типах задач
Использовать ИИ больше для определённых типов задач (новички, простые утилиты, документация) и меньше для сложных архитектурных решений, где опыт разработчика критичен.
Обучение использованию
Разработчики должны быть обучены эффективному использованию ИИ-помощников. Просто предоставить инструмент недостаточно; нужно обучение, как его правильно использовать, чтобы получить выигрыш, а не потерю.
Переоценить метрики успеха
Фокусироваться не только на объёме кода (lines of code) или числе PR, но на конечном результате: скорость разработки, качество, время to market.
→ Источник: Faros AI "The AI Productivity Paradox" 2025Хотите разобраться в том, как ИИ реально влияет на разработку?
Изучите основы ИИ и узнайте, как правильно использовать ИИ-помощников в разработке