Там, где затрагивается ядерное оружие, можно доказывать ценность многос
тороннего разоружения и ненасильственного (или по крайней мере безъяде
рного) сопротивления. Ядерные вооружения можно использовать, чтобы снес
ти сооружения военного назначения и навести ужас, но они не могут исполь
зоваться, чтобы оккупировать территорию и править людьми Ц не могут пря
мо. Ядерные вооружения не могли подавить партизанскую войну и социальны
е беспорядки, поэтому стратегии разоружения и сопротивления имеют опре
делённую долю смысла.
Многостороннее подавление нанотехнологии и ИИ, в отличие от этого, равня
лось бы многостороннему разоружению в ситуации, где сопротивление не мо
жет работать. Агрессивное государство могло бы использовать эти технол
огии, чтобы захватывать и властвовать (или истреблять) даже нацию Ганди, и
ли вооружённых и преданных борцов за свободу.
Это заслуживает акцента. Без некоторых новых путей реформирования десп
отических государств в мире, простые движения за подавление исследован
ий не могут иметь полного успеха. Без полного успеха, большой успех означ
ал бы несчастья для демократий. Даже если они бы они ни к чему не привели, у
силия этого сорта могли бы занять работу и страсть активистов, расточающ
их редкие человеческие ресурсы на бесплодную стратегию. Более того, усил
ия по подавлению настроили бы враждебно имеющих отношение к делу исслед
ователей, вызывая столкновения между потенциальными союзниками и раст
рачивая ещё больше человеческих ресурсов. Эта бесплодность и разделённ
ость заставляет избегать этой стратегии.
Тем не менее подавление имеет привлекательность, которую невозможно от
рицать. Оно простое и прямое; "Впереди опасность? Давайте её остановим!" За
тем успехи в усилиях по локальному лоббированию обещают краткосрочное
вознаграждение: "Впереди опасность? Мы можем её остановить здесь и сейча
с, для начала!" Это начало оказалось бы фальстартом, но никто этого бы не за
метил. Идея простого подавления кажется вероятным, что совратит многие у
мы. В конце концов локальное подавление локальной опасности имеет долгу
ю успешную традицию; если остановить тех, кто загрязняет окружающую сред
у в конкретно взятом месте, например, это сокращает локальное загрязнени
е. Усилия по локальному подавлению глобальных опасностей кажется анало
гичным, однако могут быть другие последствия. Нам будут нужны локальные
организации и политическое давление, но они должны быть построены вокру
г работоспособной стратегии.

Соглашения глобального пода
вления

В более многообещающем подходе, мы могли бы применить локальное давлени
е для переговоров о поддающемся проверке запрету на международном уров
не. Аналогичная стратегия могла бы иметь шанс контролировать ядерные во
оружения. Остановка нанотехнологии и искусственного интеллекта постав
ило бы проблемы другого порядка, по крайней мере по двум причинам.
Во-первых, эти технологии менее хорошо определённые, нежели ядерные воо
ружения: поскольку данная ядерная технология требует определённые изо
топы редких металлов, она имеет отличие от других видов деятельности. Он
а может быть определена и (в принципе) запрещена. Но современная биохимия
ведёт малыми шажками к нанотехнологии, а современная компьютерная техн
ология ведёт малыми шажками к ИИ. Нет никакой определённой линии, котора
я определяет естественную линию, где нужно остановиться. И поскольку каж
дое маленькое продвижение будет приносить медицинские, военные и эконо
мические выгоды, как можем мы проводить переговоры по поводу мирового со
глашения о том, где остановиться?
Во-вторых, эти технологии более могущественные, чем ядерное оружие: поск
ольку реакторы и системы вооружения достаточно большие, инспекция могл
а бы ограничить размеры секретных сил и таким образом ограничить их мощн
ость. Но опасные репликаторы будут микроскопическими, а программы ИИ Ц
нематериальными. Как может кто-то быть уверен, что какая-то лаборатория г
де-то не находится на краю стратегического прорыва? В долгосрочной перс
пективе, как может кто-то быть даже уверен, что какой-то хакер в подвале не
находится на краю стратегического прорыва? Обычные методы проверки не б
удут работать, а это делает переговоры и давление по поводу международно
го запрета просто невозможными.
Давление правильного рода насчёт международных соглашений будут делат
ь наш путь более безопасным, но соглашения просто запрещать опасный прог
ресс очевидно работать не будет. Снова, локальное давление должно быть ч
астью работоспособной стратегии.

Глобальное подавление силой


Если мирные соглашения не будут работать, кто-то может рассмотреть испо
льзование военной силы, чтобы подавить опасные успехи. Но из-за проблемы
контроля, военное давление само по себе было бы не достаточно. Чтобы пода
вить продвижение силой вместо этого потребовало бы, чтобы одна сила побе
дила и оккупировала враждебные силы, вооружённые ядерным оружием Ц вря
д ли безопасная политика. Далее, победившая сила была бы сама главной тех
нологической силой с мощной военной силой и демонстрирующейся готовно
стью её использовать. Можно ли в этом случае доверять такой силе, чтобы он
а подавила собственный прогресс? Даже если так, можно ли ей доверять, что о
на сможет поддерживать бесконечную, вездесущую бдительность по всему м
иру? Если нет, тогда угрозы в конце концов возникнут в тайне, и в мире, где от
крытая работа над активными щитами предотвращена. Вероятным результат
ом будет катастрофа.
Военная сила в демократических странах имеет большие выгоды, но военная
сила сама по себе не может разрешить нашу проблему. Мы не можем выиграть б
езопасность с помощью стратегии завоевания и подавления исследований.

Эти стратегии остановки исследования Ц будь то через личное бездейств
ие, локальное бездействие, договорные соглашения или завоевание мира Ц
всё это выглядит обречённым на провал. Однако противодействие прогресс
у будет иметь свою роль, потому что нам будет нужно выборочная, умно нацел
енная задержка, чтобы отсрочить угрозы до того, как мы к ним подготовимся.
Давление со стороны бдительных активистов будет важным, но чтобы помочь
управлять прогрессом, а не остановить его.

Односторонний прогресс

Если попытки подавить исследования по ИИ и нанотехнологии кажутся бесп
олезными и опасными, чему из противоположного следовать Ц односторонн
ие как можно больше усилия? Но это также представляет проблемы. Мы в демок
ратиях вероятно не можем производить стратегические прорывы в идеальн
ой секретности. Слишком много людей было бы вовлечено на протяжении слиш
ком многих лет. Поскольку правительство СССР узнало бы о наших усилиях, и
х реакция оказалась бы очевидной озабоченность, и они бы несомненно расс
матривали бы большой прорыв с нашей стороны как большую угрозу. Если нан
отехнология была бы разработана как часть секретной военной программы,
их информационные аналитики опасались бы разработки тонкого, но решающ
его оружия, возможно основанного на запрограммированных «микробах». В з
ависимости от обстоятельств, наши оппоненты могли бы решить атаковать, п
ока они ещё могут. Важно, чтобы демократии сохраняли лидерство в этих тех
нологиях, но было бы наиболее безопасно, если мы сможем как-то сочетать эт
у силу с совершенно неугрожающими видами политики.

Баланс сил

Если мы следуем любой из вышеназванных стратегий, мы неизбежно вызовем с
ильный конфликт. Попытки подавить нанотехнологию и ИИ столкнули бы поте
нциальную силу, которая будет заниматься подавлением, с жизненными инте
ресами исследователей, корпораций, военных учреждений и медицинских па
циентов. Попытки достичь одностороннего прогресса в этих технологии ст
олкнёт кооперирующиеся демократии против жизненно важных интересов на
ших оппонентов. Все стратегии будут вызывать конфликт, но должны ли все с
тратегии серьёзно раскалывать западные общества и весь мир?
В поиске серединного пути, мы могли бы пытаться найти баланс сил, основан
ный на балансе технологий. Это по-видимому расширило бы ситуацию, котора
я сохраняла определённую меру мирного сосуществования на протяжении ч
етырёх десятилетий. Но ключевое слово здесь Ц «по-видимому»: грядущие п
рорывы будут столь стремительными и дестабилизирующими, чтобы старый б
аланс продолжал существование. в прошлом, страна могла испытывать техно
логическое отставание на несколько лет и всё же поддерживать приблизит
ельный военный баланс. Однако, со стремительными репликаторами и продви
нутым ИИ, задержка на единственный день могла бы быть фатальной. Стабиль
ный баланс значит слишком много, чтобы на него полагаться.

Кооперативная разработка

В принципе существует способ гарантировать технологический баланс меж
ду кооперирующимися демократиями и советским блоком: мы могли бы разраб
атывать технологии в кооперации, делясь инструментами и информацией. Хо
тя это имеет очевидные проблемы, по крайней мере это несколько более пра
ктично, чем оно может казаться на первый взгляд.
Возможно ли договорить о кооперации? Провалившиеся попытки заключить д
оговоры об эффективном контроле на вооружениями приходят на ум, и коопер
ация могла бы казаться ещё более сложной и трудной для воплощения. Но дей
ствительно ли это так? В контроле над вооружениями каждая сторона пытает
ся предотвратить действия другой; это укрепляет их враждебные отношени
я. Далее, это возбуждает конфликты внутри каждого лагеря между группами,
которые за ограничение вооружений и группами, которые существуют, чтобы
производить вооружения. Хуже всего, что переговоры вращаются вокруг сло
в и их значений, но каждая сторона имеет собственный язык и мотив поверну
ть значения так, как ей нужно.
Кооперация, напротив, включает работу обеих сторон, над общей целью; это и
меет свойство стирать враждебную природу отношений. Далее, это может уме
ньшить конфликты в пределах каждого лагеря, поскольку совместные усили
я создавали бы проекты, а не уничтожали бы их. Наконец, обе стороны обсужда
ют свои усилия на общем языке Ц языке математики и диаграмм, используем
ом в науке и конструировании. Также кооперация имеет чёткие видимые резу
льтаты. В середине 1970-х, США и СССР запустили совместный космический полёт
, и до тех пор пока политические трения не увеличились, они закладывали пр
едварительные планы на совместную космическую станцию. Это были не отде
льные случаи, в космосе и на земле; совместные проекты и технический обме
н происходил на протяжении лет. При всех её проблемах, технологическая к
ооперация доказал по крайней мере, что она не более сложна, чем контроль н
ад вооружениями Ц возможно даже более проста, учитывая огромные усилия
, прикладываемые к последнему.
Любопытно, что там, где затрагивается нанотехнология и ИИ, кооперация и э
ффективный контроль над вооружениями имели бы базовое сходство. Провер
ка соглашения по контролю над вооружениями потребовала бы постоянных и
детальных инспекций лабораторий с каждой стороны экспертами с другой с
тороны Ц отношения, такие же близкие как при самой тесной вообразимой к
ооперации.
Но чего бы достигла кооперация? Она могла бы гарантировать баланс, но бал
анс не гарантирует стабильности. Если два вооружённых человека встреча
ют друг друга лицом к лицу с готовым к бою оружием и большим страхом, их си
лы сбалансированы, но тот, кто выстрелит первым, может убрать угрозу друг
ого. Совместные усилия в развитии технологии, если их тщательно не плани
ровать и не контролировать, дали бы каждой стороне грозное оружие, в то вр
емя как обеспечивали бы другой стороне щит. Кто мог бы быть уверен, что ни
одна сторона не найдёт способ сделать обезоруживающий удар безнаказан
но?
Даже если это можно было бы гарантировать, как насчёт проблемы других си
л, а также любителей и случайностей?
В предыдущей главе я описал решение этих проблем: разработка, тестирован
ие и создание активных щитов. Они предлагают новое средство для лечения
старой проблемы, и никто ещё не предложил ему возможной альтернативы. По
ка кто-нибудь не предложит, кажется мудрым рассмотреть, как их можно было
бы построить и могли ли бы они создать возможную стратегию, которая спос
обна работать.

Синтез стратегий

Личное сдерживание, локальные акции, выборочная задержка, международно
е соглашение, односторонняя сила, и международная кооперация Ц все эти
стратегии могут помочь в наших усилиях по разработке активных щитов.
Рассмотрим нашу сегодняшнюю ситуацию. Демократические страны на протя
жении десятилетий были ведущими в мире в большинстве областей науки и те
хнологии; мы лидируем сегодня в компьютерных программах и биотехнологи
и. Вместе мы Ц ведущая сила. Не видно причин, почему мы не можем поддержив
ать это лидерство и его использовать.
Как обсуждалось в предыдущей главе, ведущая сила будет способна использ
овать несколько тактик для управления ассемблерным прорывом. Они включ
ают использование запечатанных ассемблерных лабораторий и ограниченн
ых ассемблеров, и поддержание секретности относительно деталей и начал
ьной разработки ассемблеров. В то время, когда мы будем применять эти (и др
угие) виды стратегии, мы можем работать, чтобы разработать активные щиты,
способные дать нам постоянную защиту против новых опасностей. Это опред
еляет цель. Чтобы её достичь, наилучшей кажется стратегия, состоящая из д
вух частей.
Первая часть включает деятельность внутри сотрудничающих демократий.
Нам нужно поддерживать лидерство, которое для нас достаточно, чтобы спок
ойно действовать с осторожностью;
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47