их действия складываются и образуют его действия. Но то же самое можно сказать о собаке и её клетках, хотя собака очевидно нечто большее, чем просто группа клеток. И собаки, и государства – эволюционирующие системы, со структурами, которые влияют на то, как ведут себя их части. На протяжении тысяч лет, собаки во многом эволюционировали так, чтобы доставлять удовольствие людям, само их существование зависело от их способности быть использованными людьми, будь то как поводыри, ищейки или солдаты.
Может казаться парадоксальным сказать, что люди имеют ограниченную власть над государствами: в конце концов, не люди ли стоят за каждым действием государства? Но в демократических странах, главы государств оплакивают недостаток своей власти, представители поклоняются интересам групп, бюрократы ограничены правилами, а избиратели, якобы в ответственности за всё это, всех их посылают к чертям. Государство действует и люди влияют на него, однако никто не может заявить, что контролирует его. В тоталитарных странах аппарат власти имеет традицию, структуру и внутреннюю логику, которая никого не оставляет свободным, ни правителей, ни тех, кем управляют. Даже короли вынуждены действовать способами, ограниченными традициями монархии и прагматикой власти, если они хотят оставаться королями. Государства – это не люди, хотя они состоят из людей.
Вопреки этому, история показывает, что изменение возможно, даже изменение к лучшему. Но изменения всегда движутся из одной полуавтоматической, нечеловеческой системы к другой – одинаково нечеловеческой, но возможно более гуманной. В нашей надежде на улучшения, мы не должны смешивать государства, которые делают человеческое лицо с государствами, которые имеют гуманные институты.
Описание государств как квази-организмов схватывает только один аспект сложной реальности, однако он подсказывает, как они могут эволюционировать в ответ на грядущие прорывы. Рост власти правительства, наиболее хорошо заметный в тоталитарных странах, предлагает одно направление.
Государства могли бы стать в большей степени подобными организмам, имея влияние на свои части более сильно. Используя воспроизводящиеся ассемблеры, государства могли бы заполнить среду людей миниатюрными устройствами надзора. Используя изобилие понимающих речь систем ИИ, они могли бы слушать каждого, не используя половину населения в качестве шпионов. Используя нанотехнологию как это было предложено для машин ремонта клеток, они могли бы с минимальными издержками успокоить, провести лоботомию, или ещё как-то модифицировать целые народы. Это могло бы просто могло бы расширить слишком известную картину. Мир уже содержит правительства, которые шпионят, пытают и кормят наркотиками; усовершенствованная технология просто расширит возможности.
Но с усовершенствованной технологией государствам не нужно будет контролировать людей – они просто вместо этого могли бы отказаться от людей. Большинство людей в большинстве государств, в конце концов, действуют в качестве работников-муравьёв, которые либо трудятся над личинками, либо охраняют их, а большая часть из этих работников делает, двигает или выращивает вещи. Государство с воспроизводящимися ассемблерами не нуждалось бы в такой работе. Что более важно, продвинутые системы ИИ могли бы заменить инженеров, учёных, администраторов, и даже лидеров. Комбинация нанотехнологии и продвинутого ИИ сделает возможными разумных и эффективных роботов; с такими роботами, государство могло бы процветать, уволив кого угодно, или даже (в принципе) всех.
Значение этой возможности зависит от того, существуют ли государство для того, чтобы служить людям, или люди существуют для того, чтобы служить государству.
В первом случае мы имеем государство, сформированное людьми, чтобы служить общечеловеческим целям; демократии имеют тенденцию быть по крайней мере грубым приближением к этому идеалу. Если демократически управляемое правительство теряет свою необходимость в людях, это по сути означает, что ему не нужно больше использовать людей как чиновников и налогоплательщиков. Это откроет новые возможности некоторые из которых могут оказаться желательными.
Во втором случае, мы имеем государство, которое развилось, чтобы эксплуатировать людей, возможно по тоталитарному принципу. Государства нуждаются в людях как в работниках, потому что человеческий труд являлся необходимым основанием для власти. Что более важно, геноцид был дорогим и проблематичным для организации и выполнения. Однако в этом веке тоталитарные государства убивали своих граждан миллионами. Усовершенствованная технология сделает работников ненужными, а геноцид легко исполнимым. История свидетельствует, что тоталитарные государства могут тогда вообще уничтожить людей. В этом есть некоторое утешение. Кажется вероятным, что государство, желающее и способное поработить нас биологически, вместо этого бы просто нас убило.
Угроза совершенной технологии в руках правительств делает одну вещь совершенно очевидной: мы не можем позволить себе дать деспотическому государству взять первенство в грядущих прорывах.
Основная проблема, которую я обрисовал – очевидна: в будущем, также как и в прошлом, новые технологии будут годиться для аварий и злоупотребления. Поскольку репликаторы и думающие машины будут давать огромную новую власть, эта возможность аварий и злоупотребления будет также огромен. Эти возможности создают реальные угрозы нашим жизням.
Большинство людей хотело бы иметь возможность жить и быть свободными выбирать, как им жить. Эта цель может не звучать слишком утопичной, по крайней мере в некоторых частях света. Это не означает принуждение жизни каждого к соответствию какому-то грандиозному плану; это главным образом означает, чтобы избежать порабощения и смерти. Однако, также как достижение утопичной мечты, это принесёт будущее чудес.
Учитывая эти проблемы жизни и смерти и эту общую цель, мы можем рассмотреть, какие меры могли бы нам помочь достичь успеха. Наша стратегия должна включать людей, принципы и институты, но также она должна основываться на тактике, которая неизбежно будет включать технологию.
Чтобы использовать такие мощные технологии безопасно, мы должны делать технические средства, которым мы можем доверять. Чтобы иметь доверие, мы должны быть способны тщательно оценивать технические факты – способность, которая в свою очередь будет зависеть отчасти от качества наших способов оценки. Более существенно, однако, она будет зависеть от того, будет ли заслуживающие доверие технические средства физически возможны. Это – вопрос надёжности компонентов и систем.
Часто мы можем делать надёжные компоненты, даже без помощи ассемблеров. 'Надёжные' не значит 'неразрушимые' – всё что угодно разрушится, если его поместить достаточно близко к ядерному взрыву. Это даже не означает 'стойкий' – телевизор может быть надёжным, однако он не выдержит удара о бетонный пол. Скорее, мы называем что-то надёжным, когда мы можем рассчитывать, что оно будет работать, как задумано.
Надёжный компонент не обязательно должен быть совершенным воплощением совершенной конструкции: ему только нужно быть достаточно хорошим воплощением достаточно предусмотрительной конструкции. Инженер, который строит мост, может не быть уверен насчёт силы ветра, нагрузки движения по мосту, и прочности стали, но предполагая высокий ветер, интенсивное движение и непрочную сталь, инженер может сконструировать мост, который сможет выдержать.
Неожиданные отказы компонентов обычно проистекают из физических дефектов. Но ассемблеры будут строить компоненты, которые имеют пренебрежимо малое число атомов не на своём месте – ни одного, если будет в том необходимость. Это сделает их идеально унифицированными и в ограниченном смысле – совершенно надёжными. Однако излучение будет всё равно вызывать повреждение, поскольку космические лучи могут неожиданно выбивать атомы из чего угодно. В достаточно малых компонентах (даже в современных компьютерных устройствах памяти), отдельная частица излучения может вызвать отказ.
Но системы работают, даже когда их части перестают работать; ключ к этому – избыточность. Представьте мост, подвешенный на канатах, которые случайным образом обрываются, каждый около одного раза в год в непредсказуемый момент времени. Если мост упадёт когда порвётся канат, его будет использовать слишком опасно. Однако представьте, что чтобы починить канат требуется один день (потому что квалифицированная команда ремонтников с запасными канатами вызывается как только необходимо), и что, хотя необходимо пять канатов, чтобы поддерживать мост, есть на самом деле шесть. Теперь один канат рвётся, и мост всё равно остаётся на своём месте. Закрыв движение и далее заменив порвавшийся канат, операторы моста могут восстановить безопасность. Чтобы разрушить этот мост, в этот же день должен порваться второй кабель, также как и первый. Поддерживаемый шестью канатами, каждый
