Как мог столь искусный шахматист сделать такой очевидно глупый ход? Ответ заключается в следующем: помимо большого количества «позиций из учебника» программа «Deep Thought» содержала лишь инструкции, которые сводились исключительно к вычислению последовательности будущих ходов (на некоторую значительную глубину), позволяющей достичь максимального преимущества по фигурам. Ни на одном из этапов вычислений компьютер не обладал подлинным пониманием не только того, что может ему дать заслон из пешек, но и вообще любого из своих действий.

Любой, кто в достаточной степени представляет себе общий принцип работы компьютера «Deep Thought» или других компьютерных систем для игры в шахматы, не станет удивляться тому, что эта система терпит крах в позициях вроде той, что показана на рис. 1.7. Мы не только способны понять в шахматах что-то такое, чего не понимает «Deep Thought»; мы, кроме того, кое-что понимаем и в процедурах (нисходящих), на которых построена вся работа «Deep Thought», то есть мы способны как реально оценить, почему он сделал столь грубую ошибку, так и понять, почему в большинстве других случаев он может играть в шахматы настолько эффективно. Напрашивается, однако, вопрос: сможет ли «Deep Thought» или иная ИИ-система достичь когда-нибудь хоть какого-то подлинного понимания — подобного тому, каким обладаем мы сами — в шахматах или в чем-то еще? Некоторые сторонники ИИ скажут, что для обретения ИИ-системой «подлинного» понимания (что бы это ни значило) ее программа должна задействовать восходящие процедуры на гораздо более фундаментальном уровне, нежели это принято в программах теперешних шахматных компьютеров. Соответственно, в такой системе «понимание» развивалось бы постепенно по мере накопления «опыта», а не возникало бы в результате введения каких-то конкретных нисходящих алгоритмических правил. Нисходящие правила, достаточно простые и прозрачные, не способны сами по себе обеспечить вычислительную основу для подлинного понимания, поскольку само понимание этих правил позволяет нам осознать их фундаментальные ограничения.

Этот момент мы более подробно рассмотрим в главах 2 и 3. А что же в самом деле восходящие вычислительные процедуры? Могут ли они составить основу для понимания? В главе 3 я приведу рассуждения, доказывающие обратное. Пока же мы можем просто взять на заметку тот факт, что современные компьютерные системы восходящего типа никоим образом не обеспечивают замены подлинному человеческому пониманию ни в одной из важных областей интеллектуальной компетенции, требующих настоящего живого человеческого понимания и интуиции. Такую позицию, я уверен, сегодня разделяют многие. Весьма оптимистичные перспективы^{22}, время от времени выдвигаемые сторонниками идеи искусственного интеллекта и производителями экспертных систем, пока что в большинстве своем реализованы не были.

Однако в том, что касается возможных результатов развития искусственного интеллекта, мы все еще находимся в самом начале пути. Сторонники ИИ (в форме A или B) уверяют нас, что проявление существенных элементов понимания в поведении их систем с компьютерным управлением — всего лишь вопрос времени и, быть может, некоторых, пусть и значительных, технических усовершенствований. Несколько позднее я попробую поспорить с этим заявлением в более точных терминах, опираясь на то, что некие фундаментальные ограничения присущи любой чисто вычислительной системе, будь она нисходящей или восходящей. Не исключая возможности того, что, будучи достаточно грамотно сконструированной, такая система сможет в течение некоторого продолжительного периода времени поддерживать иллюзию обладания чем-то, подобным пониманию (как это произошло с компьютером «Deep Thought»), я все же утверждаю, что на деле полная ее неспособность к пониманию в общем смысле этого слова непременно в конце концов обнаружится — по крайней мере, в принципе.

Для приведения точных аргументов мне придется обратиться к математике, причем я намерен показать, что к одним лишь вычислениям невозможно свести даже математическое понимание. Некоторые защитники ИИ могут счесть это весьма удивительным, ибо они утверждают^{23}, что те способности, которые сформировались в процессе эволюционного развития человека сравнительно недавно (например, способность выполнять арифметические или алгебраические вычисления), «осваиваются» компьютерами легче всего, и именно в этих областях компьютеры на настоящий момент значительно опережают «человека вычисляющего»; овладение же теми способностями, что развились в начале эволюционного пути — такими, например, как умение ходить или интерпретировать сложные визуальные сцены, — не требует практически никакого труда от человека, тогда как сегодняшние компьютеры даже при всем старании демонстрируют в этом «виде спорта» весьма посредственные результаты. Я рассуждаю несколько иначе. Современный компьютер легко справится с любой сложной деятельностью — будь то математические вычисления, игра в шахматы или выполнение какой-либо работы по дому, — но лишь при условии, что эту деятельность можно описать в виде набора четких вычислительных правил; а вот собственно понимание, лежащее в основе этих самых вычислительных правил, оказывается феноменом, для вычисления недоступным.

Как можем мы быть уверены в том, что вышеописанное понимание не может, в сущности, быть сведено к набору вычислительных правил? Несколько позже (в главах 2 и 3) я приведу некоторые очень серьезные доводы в пользу того, что проявления понимания (по крайней мере, определенных его видов) невозможно достоверно моделировать посредством каких угодно вычислений — ни нисходящего, ни восходящего типа, ни любой из их комбинаций. Таким образом, за реализацию присущей человеку способности к «пониманию» должна отвечать какая- то невычислительная деятельность мозга или разума. Напомним, что термином «невычислительный» в данном контексте (см. §1.5, §1.9) мы характеризуем феномен, который невозможно эффективно моделировать с помощью какого угодно компьютера, основанного на логических принципах, общих для всех современных электронных или механических вычислительных устройств. При этом термин «невычислительная активность» вовсе не предполагает невозможности описать такую активность научными и, в частности, математическими методами. Он предполагает лишь то, что точки зрения A и B оказываются не в состоянии объяснить, каким именно образом мы выполняем все те действия, которые представляют собой результат сознательной мыслительной деятельности.

Существует, по меньшей мере, логическая возможность того, что обладающий сознанием мозг (или сознательный разум) может функционировать в соответствии с такими невычислительными законами (см. §1.9). Однако так ли это? Представленные в следующей главе (§2.5) рассуждения содержат, как мне кажется, весьма четкое доказательство наличия в нашем сознательном мышлении невычислительной составляющей. Основаны эти рассуждения на знаменитой и мощной теореме математической логики, сформулированной великим логиком, чехом по происхождению, Куртом Гёделем. Для моих целей будет вполне достаточно существенно упрощенного варианта этой теоремы, который не потребует от читателя слишком обширных познаний в математике (что касается математики, то я также позаимствую кое-что из одной важной идеи, высказанной несколько позднее Аланом Тьюрингом). Любой достаточно серьезно настроенный читатель без труда разберется в моих рассуждениях. Доказательства гёделевского типа, да еще и примененные в подобном контексте, подвергаются время от времени решительным нападкам