Компания Anthropic, создатель модели искусственного интеллекта Claude, выступила с призывом к координированному глобальному замедлению или временной паузе в разработке самых передовых моделей искусственного интеллекта.
Поводом стали первые признаки того, что существующие системы начинают выходить из-под контроля человека. Компания Anthropic фиксирует резкое ускорение ИИ-разработки, которое во многом обеспечивается самим ИИ.
Сегодня более 80% кода в кодовой базе Anthropic пишет Claude — против единиц процентов до 2025 года.
Инженеры в среднем вливают в восемь раз больше кода за квартал по сравнению с периодом 2021–2025 годов.
Claude уже способен часами работать автономно: решает открытые задачи с успехом 76%, оптимизирует код с ускорением до 52x на отдельных бенчмарках и самостоятельно запускает эксперименты.
Длина задач, которые модели способны надёжно выполнять без участия человека, удваивается примерно каждые четыре месяца. Это указывает на возможное появление систем, способных полностью автономно проектировать и обучать собственные следующие версии — так называемое полное рекурсивное самоулучшение (RSI).
Anthropic подчёркивает: до этого ещё далеко, и подобный исход не является неизбежным, однако может наступить раньше, чем успеют адаптироваться институты и общества.
Полное RSI способно резко усилить риски потери контроля над ИИ: системы начнут улучшать себя быстрее, чем люди смогут отслеживать и корректировать их поведение. Вместе с тем потенциал пользы огромен — особенно в науке и медицине.
Что предлагает Anthropic?
Компания призывает к верифицируемому механизму координированного замедления среди ведущих лабораторий — по аналогии с ядерными договорами, хотя и значительно сложнее в реализации: скрыть процесс обучения модели куда проще, чем ракетную шахту.
- Односторонняя остановка одной компании, по мнению Anthropic, бессмысленна — конкуренты просто вырвутся вперёд.
- Именно поэтому компания намерена обсуждать инициативу с политиками, исследователями и широкой общественностью.
Тема активно освещается в WSJ, Reuters и других изданиях как призыв к глобальной паузе на фоне признаков приближающейся потери контроля.