В главе 4 я описал кое-что из того, что воспроизводящиеся ассемблеры будут делать для нас, если мы будем с ними правильно обращаться. Приводимые в движение топливом или солнечным светом, они будут способны делать почти всё что угодно (включая их самих) из широко распространённых материалов.

Живые организмы также приводятся в движение топливом или солнечным светом, и также делают большую часть себя из широко распространённых материалов. Но в отличие от систем, основанных на ассемблерах, они не могут делать 'почти всё что угодно'.

Генетическая эволюция ограничила жизнь системами, построенными на ДНК, РНК и рибосомах, но эволюция мимов принесёт машины, подобные жизни, построенные на нанокомпьютерах и ассемблерах. Я уже описал, чем построенные из ассемблеров молекулярные машины будут отличаться от построенных на рибосомах машинах жизни. Ассемблеры будут способны строить всё то, что способны рибосомы, и более того; репликаторы на базе ассемблеров, следовательно, будут способны делать всё, что может жизнь, и более того. С точки зрения эволюции, это создаёт очевидную угрозу выдрам, людям, кактусам и папоротникам – всей богатой фабрике биосферы и всему, что мы ценим.

Ранние компьютеры, построенные на транзисторах, вскоре обошли самые лучшие компьютеры на электронных лампах, потому что они были сделаны из устройств более высокого уровня. По той же причине, ранние репликаторы, построенные на ассемблерах, могли бы обойти самые совершенные из современных организмов. 'Растения' с 'листьями' не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть конкуренцию у настоящих растений, наводняя биосферу несъедобной листвой. Однако, всеядные 'бактерии' могли бы выиграть конкуренцию у настоящих бактерий: они могли бы распространиться как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные репликаторы могли бы легко быть слишком жёсткими, маленькими и быстро распространяющимися, чтобы их остановить – по крайней мере если мы не сделаем никаких приготовлений. У нас достаточно проблем с контролем над вирусами и фруктовыми мушками.

Среди знатоков нанотехнологии эта угроза стала известна как 'проблема серой липкой массы'. Хотя массы бесконтрольных репликаторов не обязательно должны быть серыми или липкими, термин 'серая липкая' подчёркивает, что репликаторов, способных уничтожить жизнь, может быть меньше в шприце, чем одного вида травяных жучков. Они могли бы быть 'высшими' в эволюционном смысле, но это не обязательно сделало бы их ценными. Мы научились любить мир богатым живыми тварями, идеями, и разнообразием, так что не причины ценить серую массу только за то, что она может распространяться. Действительно, если мы предотвратим её размножение, тем самым мы докажем наше эволюционное превосходство.

Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не можем себе позволить определённые виды случайностей с размножающимися ассемблерами.

В главе 5 я описал некоторое из того, что будут делать для нас продвинутые системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он будут воплощать структуры мысли заставлять их течь со скоростью, с которой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые работают вместе, также как это делают люди, будут способны думать не просто как отдельные люди, но как целые общества. Опять же, эволюция генов оставила жизнь в определённом состоянии. Опять же, эволюция мимов человеческими существами, и в конечном счёте машинами, будут продвигать наши аппаратные средства далеко за пределы жизни. И снова, с точки зрения эволюции это создаёт очевидную угрозу.

Знание может давать власть, а власть может давать знание. В зависимости от своей природы и своих целей, продвинутые системы ИИ могли бы накопить достаточно знания и власти, чтобы сместить нас, если мы не подготовимся должным образом. И также как с репликаторами, простое эволюционное 'превосходство' не обязательно сделает победителей лучшими, исчезнувшие, по всем стандартам, кроме грубой способности конкурировать.

Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти способы жить с мыслящими машинами, чтобы сделать их законопослушными гражданами.

Определённые виды репликаторов и систем ИИ могут столкнуть нас с формами технических средств, способных к быстрому эффективному независимому действию. Но новизна этой угрозы, происходящей от самих машин, не должна нас скрывать от нашего взора более традиционную опасность. Репликаторы и системы ИИ могут также служить как великолепные машины власти, если ими свободно завладеют суверенные государства.

На всём протяжении истории, государства разрабатывали технологии, чтобы расширить свою военную мощь, и государства несомненно будут играть доминирующую роль в разработке репликаторов и систем ИИ. Государства могли бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы совершенного оружия, быстро, легко и в огромных количествах. Государства могли бы использовать специальные репликаторы, непосредственно, чтобы вести род биологической войны – войны, которая становится намного более практичной с программируемыми, управляемыми компьютерами 'микробами'. В зависимости от своих способностей, системы ИИ могли бы служить как оружие разработчиков, стратегов и бойцов. Военное финансирование уже поддерживает и молекулярные технологии, и искусственный интеллект.

Государства могли бы использовать ассемблеры или продвинутые системы ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я говорил о причинах, почему нужно ожидать, что приход воспроизводящихся ассемблеров принесёт сравнительно неожиданные изменения: способные быстро размножаться, их могло бы стать огромное количество за считанные дни. Способные делать почти всё что угодно, их можно было бы запрограммировать, чтобы копировать имеющееся оружие, но сделанное из более совершенных материалов. Способные работать со стандартными, хорошо понятными компонентами (атомами), они могли бы неожиданно строить вещи, разработанные в ожидании ассемблерной революции. Эти результаты проектирования с опережением могли бы включать программируемые микробы и другие жуткие новшества. По всем этим причинам, государство, которое сделает ассемблерную революцию, могло бы быстро создать решающую военную силу – если не буквально за ночь, то по крайней мере с беспрецедентной скоростью.

Государства могли бы использовать продвинутые системы ИИ для аналогичных целей. Системы автоматической разработки будут ускорять проектирование с опережением и ускорять разработку ассемблеров. Системы ИИ, способные строить лучшие системы ИИ сделают возможным взрыв способностей с последствиями, которые трудно предвидеть. И системы ИИ и воспроизводящиеся ассемблеры дадут государствам возможность увеличивать свои военные возможности на порядки за короткое время.

Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опустошить Землю бомбами, потребовалось бы массы экзотических технических средств и редких изотопов, но чтобы разрушить всю жизнь с помощью репликаторов, потребовалось бы лишь одно пятнышко, состоящее из обычных элементов. Репликаторы составляют ядерной войне что-то вроде компании как потенциальная причина вымиранию, давая более широкий контекст вымиранию, как моральной обеспокоенности.

Вопреки своему потенциалу как машины разрушения, нанотехнология и системы ИИ будут годиться для более тонких способов использования, чем ядерное оружие. Бомба может только взрывать, но наномашины и системы ИИ могли бы проникать, захватывать, изменять и управлять территорией или миром. Даже самая безжалостная полиция бесполезна для ядерного оружия, но она имеет смысл против безумных идей, наркотиков, убийц или других гибких машин власти. С продвинутой технологией государства будут способны консолидировать свою власть над людьми.

Также как гены, мимы, организмы и технические средства, государства эволюционируют. Их институты распространились (с вариациями) на рост, деление, подражание и завоевание. Государства в войне дерутся как звери, но используя граждан как свои кости, мозг и мускулы. Грядущие технологические прорывы поставят государства перед новыми видами давления и возможностей, благоприятствуя резким изменениям в том, как государства себя ведут. Это естественно даёт основание для озабоченности. Исторически государства выделялись в кровопролитии и угнетении.

В некотором смысле, государство – это просто сумма людей, образующих организационный аппарат: