Это откроет новые возможности некоторые из которых могут оказа
ться желательными.
Во втором случае, мы имеем государство, которое развилось, чтобы эксплуа
тировать людей, возможно по тоталитарному принципу. Государства нуждаю
тся в людях как в работниках, потому что человеческий труд являлся необх
одимым основанием для власти. Что более важно, геноцид был дорогим и проб
лематичным для организации и выполнения. Однако в этом веке тоталитарны
е государства убивали своих граждан миллионами. Усовершенствованная т
ехнология сделает работников ненужными, а геноцид легко исполнимым. Ист
ория свидетельствует, что тоталитарные государства могут тогда вообще
уничтожить людей. В этом есть некоторое утешение. Кажется вероятным, что
государство, желающее и способное поработить нас биологически, вместо э
того бы просто нас убило.
Угроза совершенной технологии в руках правительств делает одну вещь со
вершенно очевидной: мы не можем позволить себе дать деспотическому госу
дарству взять первенство в грядущих прорывах.
Основная проблема, которую я обрисовал Ц очевидна: в будущем, также как и
в прошлом, новые технологии будут годиться для аварий и злоупотребления
. Поскольку репликаторы и думающие машины будут давать огромную новую вл
асть, эта возможность аварий и злоупотребления будет также огромен. Эти
возможности создают реальные угрозы нашим жизням.
Большинство людей хотело бы иметь возможность жить и быть свободными вы
бирать, как им жить. Эта цель может не звучать слишком утопичной, по крайне
й мере в некоторых частях света. Это не означает принуждение жизни каждо
го к соответствию какому-то грандиозному плану; это главным образом озн
ачает, чтобы избежать порабощения и смерти. Однако, также как достижение
утопичной мечты, это принесёт будущее чудес.
Учитывая эти проблемы жизни и смерти и эту общую цель, мы можем рассмотре
ть, какие меры могли бы нам помочь достичь успеха. Наша стратегия должна в
ключать людей, принципы и институты, но также она должна основываться на
тактике, которая неизбежно будет включать технологию.

Системы, которым можно довер
ять

Чтобы использовать такие мощные технологии безопасно, мы должны делать
технические средства, которым мы можем доверять. Чтобы иметь доверие, мы
должны быть способны тщательно оценивать технические факты Ц способн
ость, которая в свою очередь будет зависеть отчасти от качества наших сп
особов оценки. Более существенно, однако, она будет зависеть от того, буде
т ли заслуживающие доверие технические средства физически возможны. Эт
о Ц вопрос надёжности компонентов и систем.
Часто мы можем делать надёжные компоненты, даже без помощи ассемблеров.
«Надёжные» не значит «неразрушимые» Ц всё что угодно разрушится, если е
го поместить достаточно близко к ядерному взрыву. Это даже не означает «
стойкий» Ц телевизор может быть надёжным, однако он не выдержит удара о
бетонный пол. Скорее, мы называем что-то надёжным, когда мы можем рассчиты
вать, что оно будет работать, как задумано.
Надёжный компонент не обязательно должен быть совершенным воплощением
совершенной конструкции: ему только нужно быть достаточно хорошим вопл
ощением достаточно предусмотрительной конструкции. Инженер, который с
троит мост, может не быть уверен насчёт силы ветра, нагрузки движения по м
осту, и прочности стали, но предполагая высокий ветер, интенсивное движе
ние и непрочную сталь, инженер может сконструировать мост, который сможе
т выдержать.
Неожиданные отказы компонентов обычно проистекают из физических дефек
тов. Но ассемблеры будут строить компоненты, которые имеют пренебрежимо
малое число атомов не на своём месте Ц ни одного, если будет в том необход
имость. Это сделает их идеально унифицированными и в ограниченном смысл
е Ц совершенно надёжными. Однако излучение будет всё равно вызывать пов
реждение, поскольку космические лучи могут неожиданно выбивать атомы и
з чего угодно. В достаточно малых компонентах (даже в современных компью
терных устройствах памяти), отдельная частица излучения может вызвать о
тказ.
Но системы работают, даже когда их части перестают работать; ключ к этому
Ц избыточность. Представьте мост, подвешенный на канатах, которые случа
йным образом обрываются, каждый около одного раза в год в непредсказуемы
й момент времени. Если мост упадёт когда порвётся канат, его будет исполь
зовать слишком опасно. Однако представьте, что чтобы починить канат треб
уется один день (потому что квалифицированная команда ремонтников с зап
асными канатами вызывается как только необходимо), и что, хотя необходим
о пять канатов, чтобы поддерживать мост, есть на самом деле шесть. Теперь о
дин канат рвётся, и мост всё равно остаётся на своём месте. Закрыв движени
е и далее заменив порвавшийся канат, операторы моста могут восстановить
безопасность. Чтобы разрушить этот мост, в этот же день должен порваться
второй кабель, также как и первый. Поддерживаемый шестью канатами, кажды
й имеющий 1 из 365 шансов порваться, мост вероятно выдержит около 10 лет.
Во время перестройки он остаётся ужасным. Однако мост с десятью канатами
(пять необходимых и пять дополнительных) упадёт только если шесть канат
ов порвутся в тот же день: система поддержки вероятно выдержит более дес
яти миллионов лет. С пятнадцатью канатами ожидаемая продолжительность
жизни Ц более чем в десять тысяч раз больше возраста Земли. Избыточност
ь может давать экспоненциальный взрыв безопасности.
Избыточность работает лучше всего, когда избыточные компоненты действ
ительно независимы. Если мы не доверяем процессу конструирования, то мы
должны использовать компоненты, разработанные независимо; если бомба, п
уля или космический луч может повредить несколько соседних частей, то мы
должны распределить избыточные части более широко. Инженеры, которые хо
тят обеспечить надёжное сообщение между двумя островами не должны прос
то добавлять канаты к мосту. Им нужно построить два хорошо разделённых м
оста, использующих различные конструкции, далее добавить туннель, паром
и пару островных аэропортов.
Компьютерные инженеры также используют избыточность. Стратус Компьюте
р Инк., например, производит машину, которая использует центральные обра
батывающие блоки (в двух частях) для выполнения работы одной, но для выпол
нения значительно более надёжно. Каждая часть постоянно проверяет внут
реннее соответствие, и вышедшая из строя часть может быть заменена, пока
работает её двойник.
Ещё более мощная форма избыточности Ц разнообразие конструкции. В комп
ьютерных аппаратных средствах это означает использование нескольких к
омпьютеров с различной конструкцией, все работающие параллельно. Сейча
с избыточность может корректировать не только отказы в отдельно взятой
единице аппаратных средств, но и ошибки её конструкции.
Многое сделано над проблемой написания больших программ, свободных от о
шибок; многие люди считают, что такие программы невозможно разработать и
отладить. Но исследователи в УКЛА Компьютер Сайенс Департмент показали
, что разнообразие конструкции можно также использовать в программном о
беспечении: несколько программистов могут работать над той же самой про
блемой независимо, тогда все их программы можно запускать параллельно и
выбирать ответ голосованием. Это умножает затраты на написание и работу
программ, но это делает получающиеся в результате системы программного
обеспечения устойчивыми к ошибкам, которые появляются в некоторых из их
частей.
Мы можем использовать избыточность, чтобы контролировать репликаторы.
Также как машины ремонта, которые сравнивают множество нитей ДНК будут с
пособны скорректировать мутации в генах клетки, также репликаторы, кото
рые сравнивают множество копий своих инструкций (или которые использую
т другие эффективные системы исправления ошибок) будут способны сопрот
ивляться мутациям в этих «генах». Избыточность может снова принести экс
поненциальный рост безопасности.
Мы можем строить системы, которые крайне надёжны, но это повлечёт издерж
ки. Избыточность делает системы более тяжёлыми, громоздкими, более дорог
ими и менее эффективными. Нанотехнология, однако, сразу сделает большую
часть вещей намного более лёгкими, дешёвыми и более эффективными. Это сд
елает избыточность и надёжность более практичными.
Сегодня, мы редко хотим платить за самую безопасную из возможных систем;
мы терпим с большей или меньшей охотой отказы и редко рассматриваем реал
ьные пределы надёжности. Это создаёт предвзятые суждения о том, что мы мо
жем достичь. Психологический фактор также искажает наше чувство, наскол
ько надёжными можно сделать вещи: отказы застревают у нас в уме, но каждод
невный успех привлекает мало внимания. СМИ усиливает эту тенденцию, сооб
щая о самых драматических отказах со всего мира, при этом игнорируя беск
онечные и скучные удачи. Ещё хуже, что компоненты избыточных систем могу
т отказывать видимым образом, вызывая тревогу: представьте, как СМИ сооб
щили бы о порвавшемся канате моста, даже если бы мост был бы супер-безопас
ной пятнадцати-канатной моделью, описанной выше. И поскольку каждый доп
олнительный избыточный компонент добавляет шанс отказа системы, надёж
ность системы может казаться хуже даже когда она почти совершенна.
Если отложить в сторону то, что кажется, избыточные системы сделанные из
избыточных, безупречных компонентов могут часто быть сделаны почти иде
ально надёжными. Избыточные системы, распределённые на достаточно широ
кие расстояния выдержат даже пули и бомбы.
Но что можно сказать об ошибках конструкции? Наличие десятка избыточных
частей не даст никакой пользы, если они делят общую критическую ошибку в
конструкции. Разнообразие конструкции Ц один ответ; хорошее тестирова
ние Ц другой. Мы можем надёжно разрабатывать хорошие конструкции не буд
учи хорошими в надёжности конструкторами: нам только нужно уметь хорошо
тестировать, исправлять ошибки и быть терпеливыми. Природа разработала
работающие молекулярные машины целиком через безголовую починку и тес
тирование. Имея разум, мы можем делать не хуже или лучше.
Мы найдём несложным разработать надёжные технические средства, если мы
сможем разработать надёжные автоматические системы разработки. Но это
ставит более широкий вопрос о разработке систем искусственного интелл
екта, которым можно доверять. У нас будет мало проблем в создании систем И
И с надёжной аппаратной базой, но как насчёт их программных средств?
Подобно сегодняшним системам ИИ и человеческому разуму, продвинуты сис
темы ИИ будут синергетическими комбинациями большого количества прост
ых частей. Каждая часть будет более специализирована и менее интеллекту
альна, чем система в целом. Некоторые части будут искать структуры в карт
инках, звуках и других данных, и подсказывать, что они могут обозначать. Др
угие части будут сравнивать и оценивать подсказки этих частей. Также как
распознаватель структур в человеческой зрительной системе страдает о
т ошибок и зрительных иллюзий, также страдают и распознаватели в система
х ИИ. (действительно, некоторые продвинутые системы машинного зрения уже
страдают от знакомых зрительных иллюзий.) И также как другие части челов
еческого разума могут часто идентифицировать и компенсировать иллюзии
, также будут способны и другие части систем ИИ.
Как в человеческом разуме, интеллект будет включать части ума, которые б
удут производить приблизительные догадки, а другие части будут откидыв
ать наиболее плохие догадки до того, как они привлекут слишком много вни
мания или повлияют на важные решения. Умственные части, которые отвергаю
т идеи действия по этическим основаниям, соответствуют тому, что мы назы
ваем совестью. Системы ИИ со многими частями будут иметь место для избыт
очности и разнообразия конструкции, делая надёжность возможной.
Настоящая гибкая система ИИ должна развивать идеи. Чтобы это делать, она
должна находить или формировать гипотезы, генерировать варианты, тести
ровать их, и далее модифицировать или отбрасывать те, которые она находи
т неадекватными. Исключение некоторых из этих способностей сделало бы е
ё глупой, упрямой или невменяемой ("Тупая машина не может думать и не будет
учиться на своих ошибках Ц выброси её!"). Чтобы избежать ловушки начальны
х заблуждений, ей придётся рассматривать противоречивые взгляды, смотр
я, насколько хорошо каждый объясняет данные, и смотря, может ли один взгля
д объяснить другой.
Научное сообщество проходит через подобный процесс. В статье с название
м "Метафора научного сообщества", Вильям А. Корнфельд и Карл Хьювитт из лаб
оратории искусственного интеллекта MIT высказывают мысль, что исследоват
ели ИИ моделируют модели своих программ ещё более близко к развившейся с
труктуре научного сообщества. Они указывают на плюрализм науки, на её ра
знообразие конкурирующих создателей теорий, сторонников и критиков. Бе
з создателей теорий, идеи не могут появиться; без сторонников, она не може
т расти; а без критиков, которые пропалывают их, плохие идеи могут вытесни
ть хорошие. Это остаётся верным для науки, технологии, в системах ИИ, а так
же между частями наших умов.
Наличие мира, полного разнообразия и изобилующего авторами теорий, стор
онниками и критиками Ц это то, что делает продвижение науки и технологи
и вперёд надёжным. Если будет больше авторов теорий, будет больше хороши
х теорий; если будет больше критиков Ц плохие теории будут более уязвим
ыми. Лучшие и более многочисленные идеи будут результатом. Подобная форм
а избыточности может помочь системам ИИ разрабатывать достоверные иде
и.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47