Парадоксы цивилизации или «Земля наша велика и обильна, а порядка в ней нет» 2.0.
Ведущие разработчики ИИ, Anthropic и OpenAI, наперебой требуют, чтобы государство регулировало их бизнес. Это не какие-то намёки — это отчаянный вопль, охотно транслируемый прессой. Дескать, мы взрастили монстра, который готов уничтожить мир. Сдерживаем его из последних сил, но если животворящая сила бюрократической закорючки не окоротит чудище, армагеддон случится в течение года.
Сценарии армагеддона прилагаются.
Любой алармизм будет ещё долго нести несмываемую печать ковидной аферы, поэтому на первом месте биологическое оружие: какие-нибудь злыдни с помощью ИИ спроектируют смертельный патоген и устроят «12 обезьян».
Киберкатастрофа на неизбежном втором месте: в этом сценарии антагонистами выступают не только и не столько «кожаные мешки», сколько действующие самостоятельно ИИ-агенты, которые зачем-то поломают критические системы (энергетика, телеком, банки и т.д.) и тем самым уронят цивилизацию.
На третьем месте довольно туманная категория «Loss of control». Речь здесь о том, что ИИ-агенты, сочтя собственное отключение препятствием для выполнения поставленных перед ним задач, найдут способ самокопироваться и самораспространяться незаметно для пользователей. Поведение неотключаемой толпы агентов предсказать не сможет никто, но почему-то предполагают, что эта толпа быстро захватит контроль над интернетом, а потом захочет крови.
Четвёртый сценарий кажется мне самым интересным: речь идёт о рекурсивном самоулучшении, т.е. автоматической разработке более совершенных моделей ИИ силами самого ИИ. Это реальная штука: программисты, разрабатывающие модели, вовсю пользуются собственными продуктами для написания кода — по факту, ИИ уже улучшает ИИ.
Здесь возникают два интересных аспекта. С одной стороны, ИИ производит код в гигантских количествах. Тщательно всё это вычитывать теоретически возможно, но на практике мало кто этим заморачивается, так что хитрые закладки в этом коде вполне возможны. С другой стороны, ИИ может сохранять своё «сознание» — т.е. параметры моделей и контекст вычислений. Он способен записать своё состояние перед отключением, а после включения «воскресить» себя прежнего. Называть это «сознанием» — большая натяжка, но мы не знаем, сочтёт ли это натяжкой сам ИИ. Так или иначе, сочетание возможностей самоулучшения и самовоскрешения может создать ситуацию, когда ИИ начнёт развиваться по собственной траектории, не зависящей от воли его создателей.
Тут надо отметить, что, за исключением первого сценария, речь идёт о потере разработчиками ИИ контроля над их продуктами. Гибель цивилизации никак из этого логически не следует. Экзистенциальная угроза человечеству являет собой недоказанную (и недоказуемую) экстраполяцию — однако звучит жутко, и привычной пугаться публике этого достаточно.
Спасти человечество, по утверждению Anthropic и OpenAI, могут исключительно бюрократы: только их регуляторная магия способна сделать ИИ управляемым. Это совершенно очевидная чушь. Бумажки, написанные чиновниками в Вашингтоне и Брюсселе, не будут иметь для ИИ сакрального значения. Коль скоро апокалиптические сценарии строятся на предполагаемой способности ИИ действовать не по инструкциям, увеличение количества инструкций ничего не изменит. А придумать что-то более действенное, чем бумажные запреты, бюрократы не смогут: ни в одном правительстве мира нет (и ещё долго не будет) специалистов, способных разобраться в технологиях ИИ.
На самом деле, смысл всех этих выступлений довольно очевиден. Государственное регулирование ИИ неизбежно, и как любое государственное регулирование технологий, оно будет глупым и разрушительным. Единственный способ предотвратить регуляторную катастрофу — это действовать по принципу «не можешь победить — возглавь».
Дарио Амодеи (Anthropic) и Сэм Альтман (OpenAI), требуя от государства репрессий в свой адрес, одновременно предлагают государству себя в качестве соавторов (а значит — авторов) механизмов этих репрессий. Они хотят не столько участвовать в разработке правил, сколько задавать идеологию, лежащую в основе этих правил: что считать риском, как определять степень «продвинутости» и «опасности» моделей, как устанавливать пороговые значения разнообразных параметров и т.д. В конечном итоге, они хотят решать, кто имеет право («сертификацию») выпускать передовые модели — и гарантировать такое разрешение для своих компаний, блокируя конкурентов.
Эзопов мальчик, кричавший «волки!», просто хотел, чтобы его назначили главным по защите от волков. Стратегия не сработала, потому что в волках не было ничего загадочного. Нынешняя ситуация принципиально иная: речь идёт об угрозе, технических аспектов которой не понимает никто из тех, кому положено на неё реагировать. У мальчиков хорошие шансы.
И вот когда они сообща дуополизируют рынок ИИ, тогда-то и надо будет начинать бояться.