имеющий 1 из 365 шансов порваться, мост вероятно выдержит около 10 лет.
Во время перестройки он остаётся ужасным. Однако мост с десятью канатами (пять необходимых и пять дополнительных) упадёт только если шесть канатов порвутся в тот же день: система поддержки вероятно выдержит более десяти миллионов лет. С пятнадцатью канатами ожидаемая продолжительность жизни – более чем в десять тысяч раз больше возраста Земли. Избыточность может давать экспоненциальный взрыв безопасности.
Избыточность работает лучше всего, когда избыточные компоненты действительно независимы. Если мы не доверяем процессу конструирования, то мы должны использовать компоненты, разработанные независимо; если бомба, пуля или космический луч может повредить несколько соседних частей, то мы должны распределить избыточные части более широко. Инженеры, которые хотят обеспечить надёжное сообщение между двумя островами не должны просто добавлять канаты к мосту. Им нужно построить два хорошо разделённых моста, использующих различные конструкции, далее добавить туннель, паром и пару островных аэропортов.
Компьютерные инженеры также используют избыточность. Стратус Компьютер Инк., например, производит машину, которая использует центральные обрабатывающие блоки (в двух частях) для выполнения работы одной, но для выполнения значительно более надёжно. Каждая часть постоянно проверяет внутреннее соответствие, и вышедшая из строя часть может быть заменена, пока работает её двойник.
Ещё более мощная форма избыточности – разнообразие конструкции. В компьютерных аппаратных средствах это означает использование нескольких компьютеров с различной конструкцией, все работающие параллельно. Сейчас избыточность может корректировать не только отказы в отдельно взятой единице аппаратных средств, но и ошибки её конструкции.
Многое сделано над проблемой написания больших программ, свободных от ошибок; многие люди считают, что такие программы невозможно разработать и отладить. Но исследователи в УКЛА Компьютер Сайенс Департмент показали, что разнообразие конструкции можно также использовать в программном обеспечении: несколько программистов могут работать над той же самой проблемой независимо, тогда все их программы можно запускать параллельно и выбирать ответ голосованием. Это умножает затраты на написание и работу программ, но это делает получающиеся в результате системы программного обеспечения устойчивыми к ошибкам, которые появляются в некоторых из их частей.
Мы можем использовать избыточность, чтобы контролировать репликаторы. Также как машины ремонта, которые сравнивают множество нитей ДНК будут способны скорректировать мутации в генах клетки, также репликаторы, которые сравнивают множество копий своих инструкций (или которые используют другие эффективные системы исправления ошибок) будут способны сопротивляться мутациям в этих 'генах'. Избыточность может снова принести экспоненциальный рост безопасности.
Мы можем строить системы, которые крайне надёжны, но это повлечёт издержки. Избыточность делает системы более тяжёлыми, громоздкими, более дорогими и менее эффективными. Нанотехнология, однако, сразу сделает большую часть вещей намного более лёгкими, дешёвыми и более эффективными. Это сделает избыточность и надёжность более практичными.
Сегодня, мы редко хотим платить за самую безопасную из возможных систем; мы терпим с большей или меньшей охотой отказы и редко рассматриваем реальные пределы надёжности. Это создаёт предвзятые суждения о том, что мы можем достичь. Психологический фактор также искажает наше чувство, насколько надёжными можно сделать вещи: отказы застревают у нас в уме, но каждодневный успех привлекает мало внимания. СМИ усиливает эту тенденцию, сообщая о самых драматических отказах со всего мира, при этом игнорируя бесконечные и скучные удачи. Ещё хуже, что компоненты избыточных систем могут отказывать видимым образом, вызывая тревогу: представьте, как СМИ сообщили бы о порвавшемся канате моста, даже если бы мост был бы супер-безопасной пятнадцати-канатной моделью, описанной выше. И поскольку каждый дополнительный избыточный компонент добавляет шанс отказа системы, надёжность системы может казаться хуже даже когда она почти совершенна.
Если отложить в сторону то, что кажется, избыточные системы сделанные из избыточных, безупречных компонентов могут часто быть сделаны почти идеально надёжными. Избыточные системы, распределённые на достаточно широкие расстояния выдержат даже пули и бомбы.
Но что можно сказать об ошибках конструкции? Наличие десятка избыточных частей не даст никакой пользы, если они делят общую критическую ошибку в конструкции. Разнообразие конструкции – один ответ; хорошее тестирование – другой. Мы можем надёжно разрабатывать хорошие конструкции не будучи хорошими в надёжности конструкторами: нам только нужно уметь хорошо тестировать, исправлять ошибки и быть терпеливыми. Природа разработала работающие молекулярные машины целиком через безголовую починку и тестирование. Имея разум, мы можем делать не хуже или лучше.
Мы найдём несложным разработать надёжные технические средства, если мы сможем разработать надёжные автоматические системы разработки. Но это ставит более широкий вопрос о разработке систем искусственного интеллекта, которым можно доверять. У нас будет мало проблем в создании систем ИИ с надёжной аппаратной базой, но как насчёт их программных средств?
Подобно сегодняшним системам ИИ и человеческому разуму, продвинуты системы ИИ будут синергетическими комбинациями большого количества простых частей. Каждая часть будет более специализирована и менее интеллектуальна, чем система в целом. Некоторые части будут искать структуры в картинках, звуках и других данных, и подсказывать, что они могут обозначать. Другие части будут сравнивать и оценивать подсказки этих частей. Также как распознаватель структур в человеческой зрительной системе страдает от ошибок и зрительных иллюзий, также страдают и распознаватели в системах ИИ. (действительно, некоторые продвинутые системы машинного зрения уже страдают от знакомых зрительных иллюзий.) И также как другие части человеческого разума могут часто идентифицировать и компенсировать иллюзии, также будут способны и другие части систем ИИ.
Как в человеческом разуме, интеллект будет включать части ума, которые будут производить приблизительные догадки, а другие части будут откидывать наиболее плохие догадки до того, как они привлекут слишком много внимания или повлияют на важные решения. Умственные части, которые отвергают идеи действия по этическим основаниям, соответствуют тому, что мы называем совестью. Системы ИИ со многими частями будут иметь место для избыточности и разнообразия конструкции, делая надёжность возможной.
Настоящая гибкая система ИИ должна развивать идеи. Чтобы это делать, она должна находить или формировать гипотезы, генерировать варианты, тестировать их, и далее модифицировать или отбрасывать те, которые она находит неадекватными. Исключение некоторых из этих способностей сделало бы её глупой, упрямой или невменяемой ('Тупая машина не может думать и не будет учиться на своих ошибках – выброси её!'). Чтобы избежать ловушки начальных заблуждений, ей придётся рассматривать противоречивые взгляды, смотря, насколько хорошо каждый объясняет данные, и смотря, может ли один взгляд объяснить другой.
Научное сообщество проходит через подобный процесс. В статье с названием 'Метафора научного сообщества', Вильям А. Корнфельд и Карл Хьювитт из лаборатории искусственного интеллекта MIT высказывают мысль, что исследователи ИИ моделируют модели своих программ ещё более близко к развившейся структуре научного сообщества. Они указывают на плюрализм науки, на её разнообразие конкурирующих создателей теорий, сторонников и критиков. Без создателей теорий, идеи не могут появиться; без сторонников, она не может расти; а без критиков, которые пропалывают их, плохие идеи могут вытеснить хорошие. Это остаётся верным для науки, технологии, в системах ИИ, а также между частями наших умов.
Наличие мира, полного разнообразия и изобилующего авторами теорий, сторонниками и критиками – это то, что делает продвижение науки и технологии вперёд надёжным. Если будет больше авторов теорий, будет больше хороших теорий; если будет больше критиков – плохие теории будут более уязвимыми. Лучшие и более многочисленные идеи будут результатом. Подобная форма избыточности может помочь системам ИИ разрабатывать достоверные идеи.
Люди иногда направляют свои действия стандартами истины и этики, и нам нужно быть в состоянии разработать системы ИИ, чтобы они делали то же самое, но более надёжно. Способные думать в миллионы раз быстрее чем мы, они будут иметь больше времени для дополнительных размышлений.
