в наших предсказаниях, математики разработали алгоритмы, позволяющие машинам обучаться похожим способом.

Для понимания механизмов подобного ассоциативного обучения важна концепция 'ценности'. Безусловный раздражитель в экспериментах Павлова обладает внутренней ценностью – положительной в случае еды (награда) и отрицательной в случае электрического удара (наказание). Этот ассоциативный механизм работает благодаря тому, что всякий раз, когда мы получаем награду, что угодно, предшествовавшее этой награде, приобретает дополнительную ценность. Даже нечто случившееся задолго до награды становится хотя бы чуть-чуть более ценным. Некоторые из таких вещей никак не связаны с наградой и предшествовали ей по чистой случайности. Но тогда, вероятнее всего, когда что-то подобное произойдет в следующий раз, за ним не последует награды. Это вызовет поступление сигнала об ошибке. Ожидаемая награда не была получена, и ценность не связанного с ней события будет снижена. Но когда происходит нечто, позволяющее правильно предсказать получение награды, сигнал об ошибке не поступает, и такое событие приобретает с каждым разом все большую ценность. Тем самым наш мозг учится присваивать определенную ценность всем событиям, объектам и местам в окружающем нас мире. Многие из них при этом остаются для нас безразличными, но многие приобретают высокую или низкую ценность.

Мы испытываем ощущения, отражающие эту карту ценностей, заключенную в нашем мозгу, когда возвращаемся из долгой заграничной поездки: мы чувствуем прилив эмоций, нарастающий по мере того, как улицы, по которым мы движемся, становятся все более знакомыми.

Стремясь к тому, что обладает высокой ценностью, и избегая того, что обладает низкой ценностью, мы можем получать награды и избегать наказаний. Но этот механизм ассоциативного обучения говорит нам только о том, какие вещи обладают высокой ценностью. Он не говорит нам, как добиться этих ценных вещей. Кошки Торндайка, когда их впервые сажали в клетку-головоломку, знали, что рыба обладает высокой ценностью, но при этом не знали, что сделать, чтобы до нее добраться.

Механизм, позволяющий научиться, что делать, чтобы получать награды (или избегать наказаний), тоже существует. Его называют алгоритмом временных различий. Используя этот метод, машина может определить наилучшую последовательность действий, которые требуется совершить, чтобы получить что-либо ценное. Этот метод известен также как 'модель актера и критика'. Одна часть программы, 'актер', решает, какое следующее действие предпринять. Другая часть, 'критик', оценивает, насколько удачным было это действие. Критик сообщает актеру обо всех ошибках, допущенных в предсказаниях. Удачным действием считается такое, после которого наше положение сейчас оказывается лучше, чем было до того. Критик всякий раз сообщает о происходящих изменениях ценности (отсюда 'временные различия'). Ценность положения повышается после действий, которые приближают нас к награде. Это позволяет нам искать пути, ведущие к получению награды. Самой высокой ценностью обладает место возле самой награды. По мере удаления от награды ценность уменьшается. Двигаясь в сторону мест с более высокой ценностью, мы рано или поздно доберемся до награды. При этом, разумеется, в окружающем мире нет никаких отметок, указывающих ценность того или иного места. Эти отметки существуют лишь во внутренней модели мира, имеющейся у нас в мозгу и построенной благодаря опыту и обучению.

Вольфрам Шульц и специалисты по вычислительным системам Питер Даян и Рид Монтегю показали, что допаминовые нервные клетки ведут себя именно так, как следовало бы ожидать, исходя из того, что мозг обезьяны пользуется тем же методом обучения, что и машина, использующая алгоритм временных различий. Активность допаминовых клеток и отражает те ошибки в предсказаниях, которые позволяют обезьяне обучаться, не имея учителя. Этот механизм обучения работает отнюдь не только в нервных клетках обезьян. Обучением путем предсказаний можно объяснить также поведение пчел, которые ищут лучшие цветы, и людей, играющих в азартные игры.[99] В обоих случаях обучение путем предсказаний формирует карту возможных действий, на которой отмечено, какие действия с наибольшей вероятностью приведут к награде.

Пользуясь ассоциативным обучением, мозг составляет карту окружающего мира. По сути дела, это карта ценностей. На этой карте отмечены объекты, обладающие высокой ценностью, сулящие награду, и объекты, обладающие низкой ценностью, сулящие наказание. Кроме того, на ней отмечены действия, обладающие высокой ценностью, которые сулят успех, и действия, обладающие низкой ценностью, сулящие неуспех.

Стоя на пороге университетской столовой, я инстинктивно направляюсь туда, где смогу найти лучшую еду и напитки. Я направляюсь к столикам, за которыми обычно сидят мои друзья, и подальше от столиков, за которые часто садятся специалисты по молекулярной генетике и профессора английского языка. Я автоматически толкаю дверь, которая открывается вовнутрь, и прохожу, не задумываясь, туда, где подают горячее.[100] В какой-то момент администрация столовой может решить переставить столики и поменять дверь. Некоторое время я по-прежнему буду пытаться толкать дверь, которая теперь открывается наружу, но рано или поздно карта в моем мозгу будет автоматически подправлена.

Взяв свой обед, я сажусь за столик, и вскоре оказывается, как ни странно, что я сижу рядом с профессором английского языка и пытаюсь убедить ее, что все эти новые данные о том, как мозг познаёт окружающий мир, интересны и важны. Я говорю ей, что для нашего мозга окружающая действительность выглядит не какой-то звенящей разноцветной путаницей, а картой, на которой обозначены открытые перед нами возможности. И что эта карта открытых возможностей обеспечивает нашу глубокую связь с непосредственно окружающим нас миром. Стоит мне только увидеть вон ту кружку, как мой мозг уже начинает играть мышцами и сгибать мои пальцы на случай, если я захочу взять ее в руку.

Я объясняю ей, что именно так наше сознание и встраивается в материальный мир. Именно так наш