Люди иногда направляют свои действия стандартами истины и этики, и нам н
ужно быть в состоянии разработать системы ИИ, чтобы они делали то же само
е, но более надёжно. Способные думать в миллионы раз быстрее чем мы, они бу
дут иметь больше времени для дополнительных размышлений. Похоже, что сис
темы ИИ можно сделать такими, чтобы им можно было доверять, по крайней мер
е по человеческим стандартам.
Я часто сравнивал системы ИИ с отдельными человеческими умами, но подоби
е не обязательно должно быть близким. Система, которая способна подражат
ь человеку, возможно должна быть подобна человеку, но система автоматиче
ской разработки Ц вероятно не обязательно. Одно предложение (называемо
е системой Агора, в честь греческого слова, обозначающего встречу и рыно
чную площадь) состояло бы в том, чтобы много независимых кусочков програ
мм, которые взаимодействуют, предлагая друг другу услуги в обмен на день
ги. Большинство кусочков было бы простоватыми узколобыми специалистам
и, некоторые способные подсказывать изменение конструкции, а другие Ц а
нализировать его. Во многом также, как земная экология разработала экстр
аординарные организмы, также эта компьютерная экономика могла бы разра
батывать экстраординарные конструкции Ц и, возможно, сравнительно без
мозглым способом. Что более важно, поскольку система была бы распределен
а по многим машинам и имела бы части написанные многими людьми, она могла
бы быть разнообразной, устойчивой и затруднённой для любой группы чтобы
захватить и использовать во вред.
В конце концов так или иначе, системы автоматической разработки будут сп
особны разрабатывать вещи более надёжно чем любая группа людей-инженер
ов может сегодня. Наша большая задача будет сконструировать их правильн
о. Нам нужны человеческие институты, которые надёжно разрабатывают надё
жные системы.
Человеческие институты Ц это развившиеся искусственные системы, и они
могут часто решать проблемы, которые отдельные члены Ц не могут. Это дел
ает их чем-то вроде "искусственных интеллектуальных систем." Корпорации,
армии, и исследовательские лаборатории Ц это всё примеры, также как бол
ее свободные структуры рынка или научного сообщества. Даже правительст
ва могут рассматриваться как системы искусственного интеллекта Ц бол
ьшие, медлительные, одурманенные, однако сверхчеловеческие в своих реал
ьных способностях. И что есть конституциональный контроль и баланс, как
не попытка увеличить надёжность правительства через институционально
е разнообразие и избыточность? Когда мы строим интеллектуальные машины,
мы будет использовать их, чтобы проверять и создавать баланс одной над д
ругой.
Применяя эти разумные принципы, мы можем быть в состоянии разработать на
дёжные техники ориентированные институты, имеющие сильный контроль ош
ибок и балансы, и тогда использовать их, чтобы руководить разработкой си
стем, которые нам понадобятся, чтобы управляться с будущими прорывами.

Тактика ассемблерной револю
ции

Некоторая сила в мире (заслуживающая доверия или нет) возьмёт первенство
в разработке ассемблеров; назовём её "ведущей силой". Из-за стратегическо
й важности ассемблеров, ведущая сила предположительно будет некоторой
организацией или институтом, который эффективно контролируется каким-
то правительством или группой правительств. Чтобы упросить вопрос, пред
положим на минуту, что мы (хорошие ребята, пытающиеся быть мудрыми) можем о
пределить способ поведения для ведущей силы. Для граждан демократическ
их государств, принять это Ц кажется хорошей позицией.
Что нам следует делать, чтобы улучшить наши шансы достижения такого буду
щего, в котором стоит жить? Что мы можем сделать?
Начнём с того, что не должно случиться: мы должны не позволить отдельному
воспроизводящемуся ассемблеру неправильного типа выйти на свободу в н
еподготовленный мир. Эффективные приготовления кажутся возможными (ка
к я это опишу ниже), но, по-видимому, они должны быть основаны на построенны
х ассемблерами системах, которые могут быть построены только после того
, как опасные репликаторы уже смогут быть возможными. Разработка с опере
жением может помочь ведущей силе подготовиться, однако даже энергичные
предусмотрительные действия кажутся неадекватными, чтобы предотврати
ть момент опасности. Аргумент простой: опасные репликаторы будет намног
о проще разработать, чем системы, которые могут помешать им, также как бак
терия намного проще иммунной системы. Нам будет нужна тактика для сдержи
вания нанотехнологии, пока мы не научимся её приручать.
Одна очевидная тактика Ц изоляция: ведущая сила будет способна содержа
ть репликаторные системы за многочисленными стенами или в космических
лабораториях. Простые репликаторы не будут иметь интеллекта, и они не бу
дут разрабатываться, чтобы убежать и пойти буйствовать. Сдерживание их н
е кажется слишком сложной задачей.
Но лучше, чтобы мы могли разработать репликаторы, которые не могут убежа
ть и начать буйствовать. Мы можем построить их со счётчиками (такими как в
клетках), которые ограничивают их до фиксированного числа копий. Мы може
м строить их так, чтобы они нуждались в особом синтетическом «витамине»,
или в очень специфической среде, которую можно обеспечить только в лабор
атории. Хотя репликаторы можно было бы делать более стойкими и более про
жорливыми, чем любые современные насекомые, мы также можем сделать их по
лезными, но безопасными. Поскольку мы будет разрабатывать их с нуля, репл
икаторы не обязательно должны иметь элементарные способности к выжива
нию, которые эволюция встроила в живые клетки.
Далее, им не обязательно нужно быть способными эволюционировать. Мы може
м дать репликаторам избыточные копии их «генетических» инструкций, вме
сте с механизмами ремонта, чтобы исправлять любые мутации. Мы можем разр
аботать их так, чтобы они переставали работать задолго до того, как накоп
ится достаточно повреждений, чтобы сделать продолжительную мутацию зн
ачимой возможностью. Наконец, мы можем разработать их так, чтобы эволюци
я не происходила даже если мутации могли бы случаться.
Эксперименты показывают, что большинство компьютерных программ (иных, ч
ем специально разработанные программы ИИ, такие как Эвриско доктора Лен
ата) редко отвечают на мутации при небольшом изменении; вместо этого они
просто перестают работать. Поскольку они не могут разнообразиться поле
зными способами, они не могут эволюционировать. Если они не разработаны
специально для этого, репликаторы, направляемые нанокомпьютерами, буду
т разделять этот недостаток. Современные организмы достаточно хорошо с
пособны эволюционировать отчасти потому что они произошли от предшест
венников, которые эволюционировали. Они научились в процессе эволюции э
волюционировать; это Ц одна причина сложностей полового воспроизводс
тва и перемешивания сегментов хромосом во время производства клеток сп
ермы и яйцеклеток. Мы можем просто отказаться дать репликаторам подобны
е способности.
Для ведущей силы будет легко сделать воспроизводящиеся ассемблеры пол
езными, безопасными, и устойчивыми. Оберегая ассемблеры от того, чтобы их
украли и использовали во вред Ц другая и более серьёзная проблема, пото
му что это будет игра с разумными противниками. Как одна из тактик, мы може
м снизить побудительный мотив украсть ассемблеры, делая их доступными в
безопасных формах. Это также снизит желание других групп разрабатывать
ассемблеры независимо. За ведущей силой, в конце концов последуют силы, с
ледующие за ней.
Ограниченные ассемблеры
В главе 4 я описал, как система ассемблеров в чане могла бы построить велик
олепный ракетный двигатель. Также я отметил, что мы будем способны сдела
ть системы ассемблеров, которые действуют подобно семенам, поглощая сол
нечный свет и обычные материалы и вырастая почти во что угодно. Эти специ
ализированные системы не будут реплицировать себя, или будут это делать
только ограниченное число раз. Они будут делать только то, что они были за
программированы делать, когда им говорят это сделать. Любой, у кого нет сп
ециальных инструментов, построенных ассемблерами, был бы неспособен пе
репрограммировать их, чтобы они служили другим целям.
Используя ограниченные ассемблеры этого типа, люди будут способны сдел
ать всё что они хотят и сколько хотят, но в пределах ограничений, встроенн
ых в эти машины. Если никакие из них не будут запрограммированы, чтобы дел
ать ядерное оружие, никакие и не будут; если никакие из них не будут запрог
раммированы, чтобы делать опасные репликаторы, никакие и не будут. Если н
екоторые из них запрограммированы, чтобы делать дома, машины, компьютеры
, зубные щётки и что угодно ещё, то эти продукты станут дешёвыми и изобильн
ыми. Машины, построенные ограниченными ассемблерами, дадут нам возможно
сть открыть космос, вылечить биосферу и восстановить человеческие клет
ки. Ограниченные ассемблеры смогут принести почти неограниченное бога
тство людям в мире.
Эта тактика облегчит моральное давление, чтобы делать неограниченные а
ссемблеры доступными немедленно. Но ограниченные ассемблеры будут всё
ещё оставаться легитимные потребности необеспеченными. Учёным будут н
ужны свободно программируемые ассемблеры, чтобы проводить исследовани
я; инженерам будут они нужны, чтобы тестировать конструкции. Эти потребн
ости будут обслуживаться запечатанными ассемблерными лабораториями.

Запечатанные ассемблерные лаборатории
Представьте компьютерное устройство размером с ваш большой палец, с сов
ременным разъёмом на его нижней части. Его поверхность выглядит как обыч
ный серый пластик, с пропечатанным серийным номером, однако эта запечата
нная ассемблерная лаборатория Ц построенный ассемблерами объект, кот
орый содержит много чего. Внутри, прямо над разъёмом, находится большой н
аноэлектронный компьютер, на котором работает продвинутое программное
обеспечение для молекулярного моделирования (основанное на программа
х, разработанных во время разработки ассемблеров). С этой ассемблерной л
абораторией, присоединённой и включенной, ваш построенный с помощью асс
емблеров домашний компьютер показывает трёх-мерную картинку чего угод
но, что лабораторный компьютер моделирует, представляя атомы как цветны
е сферы. С помощью джойстика вы можете направлять смоделированные ассем
блерные манипуляторы на построение вещей. Программы могут двигать мани
пуляторы быстрее, строя тщательно проработанные структуры на экране в м
гновение ока. Это моделирование всегда работает идеально, потому что нан
окомпьютер жульничает: тогда как вы заставляете смоделированный манип
улятор передвигать смоделированные молекулы, компьютер направляет реа
льный манипулятор передвигать реальные молекулы. Далее он проверяет ре
зультаты везде, где необходимо проверить его вычисления.
Кончик этого объекта размером с большой палец содержит сферу, построенн
ую из многих концентрических слоёв. Отличные провода подводят энергию и
сигналы через слои; они позволяют нанокомпьютеру внизу сообщаться с уст
ройствами в центре сфер. Самый дальний от центра слой состоит из сенсоро
в. Любая попытка удалить или проколоть его передаёт сигнал слою, близком
у к сердцевине. Следующий уровень Ц толстая сферическая раковина из пре
дварительно подвергнутого высокому давлению цельному алмазу, у которо
го внешние слои растянуты, а внутренние Ц сжаты. Это окружает слой тепло
вого изолятора, который в свою очередь окружает сферическую оболочку ра
змером с зёрнышко перца, сделанную из микроскопических, тщательно упоря
доченных блоков металла и окислителя. Они сшиты электрическими восплам
енителями. Заряд разрушения металла и окислителя далее сжигает за долю с
екунды, производят газ из металлического оксида, плотнее воды и почти та
кой же горячий как поверхность Солнца. Но пламя крошечное; оно стремител
ьно остывает и алмазная сфера сдерживает его огромное давление.
Этот разрушительный заряд окружает более маленькую цельную оболочку, к
оторая окружает ещё один слой сенсоров, который также вызывает разрушит
ельный заряд. Эти сенсоры окружают полость, которая содержит саму запеча
танную ассемблерную лабораторию.
Эти тщательно сделанные предосторожности оправдывают термин «запечат
анная». Кто-либо из вне не может открыть пространство лаборатории, не раз
рушив её содержимое, и никакой ассемблер или построенные ассемблерами с
труктуры не могут выйти из неё. Система разработана, чтобы выпускать инф
ормацию, но не опасные репликаторы и опасные инструменты. Каждый слой се
нсоров состоит из многих избыточных слоёв сенсоров, каждый предназначе
нный для определения любого возможного проникновения, и каждый компенс
ируя возможные дефекты в других. Проникновение, включая заряд уничтожен
ия, поднимает температуру в лаборатории выше точки плавления любого воз
можного вещества и делает выживание любых опасных устройств невозможн
ым. Эти защитные механизмы объединяются воедино против чего-то около од
ной миллионной их размера Ц то есть, чтобы не помещалось в лаборатории, ч
то обеспечивает сферическое рабочее пространство не шире человеческог
о волоса.
Хотя по обычным стандартам маленькое, это рабочее пространство содержи
т достаточно места для миллионов ассемблеров и тысяч триллионов атомов.
Эти запечатанные лаборатории позволят людям строить и тестировать уст
ройства, даже прожорливые репликаторы в полной безопасности. Дети будут
использовать атомы внутри их как конструкторы почти с неограниченным к
оличеством деталей.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47