В понедельник Anthropic добавила эту информацию в раздел факторов риска обновлённой регистрационной заявки S-1/A. По внутренним оценкам компании, ИИ вскоре может настолько ускорить прогресс, что будет достигнут порог, установленный её политикой ответственного масштабирования Responsible Scaling Policy. При этом оценка данных, на которых основаны эти выводы, продолжается.
Речь идёт о рекурсивном самоулучшении: ИИ становится достаточно способным совершенствовать другие системы ИИ, чтобы резко ускорить дальнейший прогресс. Anthropic уже использует ИИ в исследованиях и разработке и сообщает, что ранее замечала существенное ускорение разработки лишь после того, как оно уже произошло.
Anthropic не рассчитывает, что сможет безопасно использовать Claude для проектирования и создания следующих поколений передовых моделей без существенного контроля со стороны человека или понимания им происходящего. Для компаний, создающих продукты на базе ИИ, эта заявка указывает на возможное изменение темпов разработки моделей, но не доказывает, что автономная разработка моделей уже готова к применению.