Как общество изменится, когда отдельные люди смогут жить независимо
? Что мы будем делать, когда размножающиеся ассемблеры смогут производит
ь почти всё что угодно без человеческого труда? Что мы будем делать, когда
системы ИИ смогут думать быстрее, чем люди? (И до того, как они придут к закл
ючению, что люди отчаются что-либо делать или создавать, авторы могут рас
смотреть, как бегуны относятся к машинам, или как художники относятся к к
амерам.)
В действительности авторы уже почти предвидели и проговорили нескольк
о из этих моментов. Каждый из них Ц дело необычайной важности, но более фу
ндаментальным, чем любой из них является выживание жизни и свобода. В кон
це концов, если жизнь или свобода исчезнут, то наши идеи о социальных проб
лемах больше не будут иметь значения.

Угроза от машин

В главе 4 я описал кое-что из того, что воспроизводящиеся ассемблеры будут
делать для нас, если мы будем с ними правильно обращаться. Приводимые в дв
ижение топливом или солнечным светом, они будут способны делать почти вс
ё что угодно (включая их самих) из широко распространённых материалов.
Живые организмы также приводятся в движение топливом или солнечным све
том, и также делают большую часть себя из широко распространённых матери
алов. Но в отличие от систем, основанных на ассемблерах, они не могут делат
ь "почти всё что угодно".
Генетическая эволюция ограничила жизнь системами, построенными на ДНК,
РНК и рибосомах, но эволюция мимов принесёт машины, подобные жизни, постр
оенные на нанокомпьютерах и ассемблерах. Я уже описал, чем построенные и
з ассемблеров молекулярные машины будут отличаться от построенных на р
ибосомах машинах жизни. Ассемблеры будут способны строить всё то, что сп
особны рибосомы, и более того; репликаторы на базе ассемблеров, следоват
ельно, будут способны делать всё, что может жизнь, и более того. С точки зре
ния эволюции, это создаёт очевидную угрозу выдрам, людям, кактусам и папо
ротникам Ц всей богатой фабрике биосферы и всему, что мы ценим.
Ранние компьютеры, построенные на транзисторах, вскоре обошли самые луч
шие компьютеры на электронных лампах, потому что они были сделаны из уст
ройств более высокого уровня. По той же причине, ранние репликаторы, пост
роенные на ассемблерах, могли бы обойти самые совершенные из современны
х организмов. «Растения» с «листьями» не более эффективными, чем сегодня
шние солнечные элементы, могли бы выиграть конкуренцию у настоящих раст
ений, наводняя биосферу несъедобной листвой. Однако, всеядные «бактерии
» могли бы выиграть конкуренцию у настоящих бактерий: они могли бы распр
остраниться как летящая пыльца, стремительно размножаясь и сведя биосф
еру в пыль за считанные дни. Опасные репликаторы могли бы легко быть слиш
ком жёсткими, маленькими и быстро распространяющимися, чтобы их останов
ить Ц по крайней мере если мы не сделаем никаких приготовлений. У нас дос
таточно проблем с контролем над вирусами и фруктовыми мушками.
Среди знатоков нанотехнологии эта угроза стала известна как "проблема с
ерой липкой массы". Хотя массы бесконтрольных репликаторов не обязатель
но должны быть серыми или липкими, термин "серая липкая" подчёркивает, что
репликаторов, способных уничтожить жизнь, может быть меньше в шприце, че
м одного вида травяных жучков. Они могли бы быть «высшими» в эволюционно
м смысле, но это не обязательно сделало бы их ценными. Мы научились любить
мир богатым живыми тварями, идеями, и разнообразием, так что не причины це
нить серую массу только за то, что она может распространяться. Действите
льно, если мы предотвратим её размножение, тем самым мы докажем наше эвол
юционное превосходство.
Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не м
ожем себе позволить определённые виды случайностей с размножающимися
ассемблерами.
В главе 5 я описал некоторое из того, что будут делать для нас продвинутые
системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он
будут воплощать структуры мысли заставлять их течь со скоростью, с котор
ой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые р
аботают вместе, также как это делают люди, будут способны думать не прост
о как отдельные люди, но как целые общества. Опять же, эволюция генов остав
ила жизнь в определённом состоянии. Опять же, эволюция мимов человечески
ми существами, и в конечном счёте машинами, будут продвигать наши аппара
тные средства далеко за пределы жизни. И снова, с точки зрения эволюции эт
о создаёт очевидную угрозу.
Знание может давать власть, а власть может давать знание. В зависимости о
т своей природы и своих целей, продвинутые системы ИИ могли бы накопить д
остаточно знания и власти, чтобы сместить нас, если мы не подготовимся до
лжным образом. И также как с репликаторами, простое эволюционное «превос
ходство» не обязательно сделает победителей лучшими, исчезнувшие, по вс
ем стандартам, кроме грубой способности конкурировать.
Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти с
пособы жить с мыслящими машинами, чтобы сделать их законопослушными гра
жданами.

Машины власти

Определённые виды репликаторов и систем ИИ могут столкнуть нас с формам
и технических средств, способных к быстрому эффективному независимому
действию. Но новизна этой угрозы, происходящей от самих машин, не должна н
ас скрывать от нашего взора более традиционную опасность. Репликаторы и
системы ИИ могут также служить как великолепные машины власти, если ими
свободно завладеют суверенные государства.
На всём протяжении истории, государства разрабатывали технологии, чтоб
ы расширить свою военную мощь, и государства несомненно будут играть дом
инирующую роль в разработке репликаторов и систем ИИ. Государства могли
бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы
совершенного оружия, быстро, легко и в огромных количествах. Государства
могли бы использовать специальные репликаторы, непосредственно, чтобы
вести род биологической войны Ц войны, которая становится намного боле
е практичной с программируемыми, управляемыми компьютерами «микробами
». В зависимости от своих способностей, системы ИИ могли бы служить как ор
ужие разработчиков, стратегов и бойцов. Военное финансирование уже подд
ерживает и молекулярные технологии, и искусственный интеллект.
Государства могли бы использовать ассемблеры или продвинутые системы
ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я гов
орил о причинах, почему нужно ожидать, что приход воспроизводящихся ассе
мблеров принесёт сравнительно неожиданные изменения: способные быстро
размножаться, их могло бы стать огромное количество за считанные дни. Сп
особные делать почти всё что угодно, их можно было бы запрограммировать,
чтобы копировать имеющееся оружие, но сделанное из более совершенных ма
териалов. Способные работать со стандартными, хорошо понятными компоне
нтами (атомами), они могли бы неожиданно строить вещи, разработанные в ожи
дании ассемблерной революции. Эти результаты проектирования с опереже
нием могли бы включать программируемые микробы и другие жуткие новшест
ва. По всем этим причинам, государство, которое сделает ассемблерную рев
олюцию, могло бы быстро создать решающую военную силу Ц если не букваль
но за ночь, то по крайней мере с беспрецедентной скоростью.
Государства могли бы использовать продвинутые системы ИИ для аналогич
ных целей. Системы автоматической разработки будут ускорять проектиро
вание с опережением и ускорять разработку ассемблеров. Системы ИИ, спосо
бные строить лучшие системы ИИ сделают возможным взрыв способностей с п
оследствиями, которые трудно предвидеть. И системы ИИ и воспроизводящие
ся ассемблеры дадут государствам возможность увеличивать свои военные
возможности на порядки за короткое время.
Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опуст
ошить Землю бомбами, потребовалось бы массы экзотических технических с
редств и редких изотопов, но чтобы разрушить всю жизнь с помощью реплика
торов, потребовалось бы лишь одно пятнышко, состоящее из обычных элемент
ов. Репликаторы составляют ядерной войне что-то вроде компании как поте
нциальная причина вымиранию, давая более широкий контекст вымиранию, ка
к моральной обеспокоенности.
Вопреки своему потенциалу как машины разрушения, нанотехнология и сист
емы ИИ будут годиться для более тонких способов использования, чем ядерн
ое оружие. Бомба может только взрывать, но наномашины и системы ИИ могли б
ы проникать, захватывать, изменять и управлять территорией или миром. Да
же самая безжалостная полиция бесполезна для ядерного оружия, но она име
ет смысл против безумных идей, наркотиков, убийц или других гибких машин
власти. С продвинутой технологией государства будут способны консолид
ировать свою власть над людьми.
Также как гены, мимы, организмы и технические средства, государства эвол
юционируют. Их институты распространились (с вариациями) на рост, делени
е, подражание и завоевание. Государства в войне дерутся как звери, но испо
льзуя граждан как свои кости, мозг и мускулы. Грядущие технологические п
рорывы поставят государства перед новыми видами давления и возможност
ей, благоприятствуя резким изменениям в том, как государства себя ведут.
Это естественно даёт основание для озабоченности. Исторически государ
ства выделялись в кровопролитии и угнетении.
В некотором смысле, государство Ц это просто сумма людей, образующих ор
ганизационный аппарат: их действия складываются и образуют его действи
я. Но то же самое можно сказать о собаке и её клетках, хотя собака очевидно
нечто большее, чем просто группа клеток. И собаки, и государства Ц эволюц
ионирующие системы, со структурами, которые влияют на то, как ведут себя и
х части. На протяжении тысяч лет, собаки во многом эволюционировали так, ч
тобы доставлять удовольствие людям, само их существование зависело от и
х способности быть использованными людьми, будь то как поводыри, ищейки
или солдаты.
Может казаться парадоксальным сказать, что люди имеют ограниченную вла
сть над государствами: в конце концов, не люди ли стоят за каждым действие
м государства? Но в демократических странах, главы государств оплакиваю
т недостаток своей власти, представители поклоняются интересам групп, б
юрократы ограничены правилами, а избиратели, якобы в ответственности за
всё это, всех их посылают к чертям. Государство действует и люди влияют на
него, однако никто не может заявить, что контролирует его. В тоталитарных
странах аппарат власти имеет традицию, структуру и внутреннюю логику, ко
торая никого не оставляет свободным, ни правителей, ни тех, кем управляют.
Даже короли вынуждены действовать способами, ограниченными традициями
монархии и прагматикой власти, если они хотят оставаться королями. Госу
дарства Ц это не люди, хотя они состоят из людей.
Вопреки этому, история показывает, что изменение возможно, даже изменени
е к лучшему. Но изменения всегда движутся из одной полуавтоматической, н
ечеловеческой системы к другой Ц одинаково нечеловеческой, но возможн
о более гуманной. В нашей надежде на улучшения, мы не должны смешивать гос
ударства, которые делают человеческое лицо с государствами, которые име
ют гуманные институты.
Описание государств как квази-организмов схватывает только один аспек
т сложной реальности, однако он подсказывает, как они могут эволюциониро
вать в ответ на грядущие прорывы. Рост власти правительства, наиболее хо
рошо заметный в тоталитарных странах, предлагает одно направление.
Государства могли бы стать в большей степени подобными организмам, имея
влияние на свои части более сильно. Используя воспроизводящиеся ассемб
леры, государства могли бы заполнить среду людей миниатюрными устройст
вами надзора. Используя изобилие понимающих речь систем ИИ, они могли бы
слушать каждого, не используя половину населения в качестве шпионов. Исп
ользуя нанотехнологию как это было предложено для машин ремонта клеток,
они могли бы с минимальными издержками успокоить, провести лоботомию, ил
и ещё как-то модифицировать целые народы. Это могло бы просто могло бы рас
ширить слишком известную картину. Мир уже содержит правительства, котор
ые шпионят, пытают и кормят наркотиками; усовершенствованная технологи
я просто расширит возможности.
Но с усовершенствованной технологией государствам не нужно будет конт
ролировать людей Ц они просто вместо этого могли бы отказаться от людей
. Большинство людей в большинстве государств, в конце концов, действуют в
качестве работников-муравьёв, которые либо трудятся над личинками, либо
охраняют их, а большая часть из этих работников делает, двигает или выращ
ивает вещи. Государство с воспроизводящимися ассемблерами не нуждалос
ь бы в такой работе. Что более важно, продвинутые системы ИИ могли бы замен
ить инженеров, учёных, администраторов, и даже лидеров. Комбинация нанот
ехнологии и продвинутого ИИ сделает возможными разумных и эффективных
роботов; с такими роботами, государство могло бы процветать, уволив кого
угодно, или даже (в принципе) всех.
Значение этой возможности зависит от того, существуют ли государство дл
я того, чтобы служить людям, или люди существуют для того, чтобы служить го
сударству.
В первом случае мы имеем государство, сформированное людьми, чтобы служи
ть общечеловеческим целям; демократии имеют тенденцию быть по крайней м
ере грубым приближением к этому идеалу. Если демократически управляемо
е правительство теряет свою необходимость в людях, это по сути означает,
что ему не нужно больше использовать людей как чиновников и налогоплате
льщиков.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47