отрезать первое сообщение от остальных трудно. Но мы уже умеем искать отдельно по форумам и отдельно по блогам (это появится в ближайшей версии). Они у нас не в одной куче, это только так кажется.

Форумы и блоги отделены от «большого робота», потому что важный признак, объединяющий форумы и блоги и четко отделяющий их от всего остального, – это время. Даже выдача на запрос по умолчанию сортируется по времени.

– Вот эта временная шкала совершенно перестраивает мозги, – продолжает Илья, – это не алгоритм PageRank, а совершенно иная мера.

– Неслучайно мы по умолчанию выдаем результаты, отсортированные по времени, – замечает Андрей Себрант. – Трехлетней давности сообщение в форуме представляет скорее исторический интерес, каким бы релевантным оно ни казалось.

Несмотря на всю полезность поиска по блогам он явно не дотягивает до зарубежных аналогов и в первую очередь – до Technorati. Аркадий Волож с такой оценкой не согласен, но даже если и так, отмечает он, сервис не заброшен, работа над ним ведется очень активно. Илья Сегалович идет еще дальше.

– Technorati – лишь первый шаг в нужном направлении. Там есть задел, но нужно двигаться вперед. В блогах часто попадается ценная информация, но как ее оттуда извлечь? Мы уже решили похожую проблему с новостями, создав полностью автоматизированный сервис (руками только добавляются сами ресурсы). Ни один редактор не пострадал. Такой должности, как журналист, в «Яндексе» нет. Вот.

В голосе Ильи слышится такая неподдельная радость, что оба редактора нервно поправляют свои розовые кофточки, ожидая в следующую минуту услышать классическое «А теперь встали и вышли отсюда».

– Что касается блогов, – продолжает суровый директор по технологиям, – то есть чудовищный соблазн сделать что-то интересное. Прошлый год уже показал, что в блогосфере есть настоящие жемчужины, которые нужно доносить до внимания общественности. Они перетекают в новости в полуразмытом виде, и нужно научиться их находить и выделять. Вопрос – как это сделать. Технически это очень нетривиально.

Место действия: большая переговорная в старом офисе «Яндекса».

Действующие лица те же.

Волож: Я против разговоров о том, что Google придет в Россию. Черная рука идет по улице, черная рука стучится в ваш подъезд…

Сегалович: (перебивает) Черный ящик на семи колесиках…

Волож: Ну хорошо. В разных лагерях рассказывали по-разному. Google приходит в Россию? Да он в 2001 году сюда пришел, как только открыл Google.ru! И посмотрите статистику – что-то принципиально изменилось? Они в прошлом году потрясающе выросли, кстати. С пяти до шести процентов. Без шуток – это 20-процентный рост.

Сегалович: Точно так же, как «Яндекс» пугают приходом Google, Google пугали Microsoft. Мол, придет страшный черный ящик на семи колесиках и всех раздавит, как клопов. MSN в прошлом году сделал свой поиск. И что? Пять лет кричали о том, что Microsoft сделает лучший в мире поиск, Microsoft перетащила себе большую команду из Китая, разработала, выпустила – и в результате доля MSN в поиске упала с пятнадцати процентов до семи.

«КТ»: А кстати, как вы «отвоевали» Mail.ru у Google?

Волож: Ничего про это не знаю. Они сами к нам пришли. И это был большой подарок судьбы. А почему? Видимо, им понравилось, сколько денег мы собираем.

«КТ»: Просто немного странно. Они же к движку Google серьезно относились, даже морфологию русскую прикрутили.

Сегалович: О, тут как раз ничего странного нет. Алексей Сокирко, который делал русскую морфологию в Mail.ru для движка Google, теперь работает у нас.

«КТ»: А насколько качество поиска коррелирует с популярностью поискового сервиса?

Себрант: Ни насколько.

Волож: Да нет, если наш поиск долго будет хуже гугловского или рамблеровского, то люди начнут уходить.

Себрант: Но не наоборот. Если предположить, что гугловский поиск будет на два процента лучше, то… Во-первых, что значат эти два процента? Во-вторых, что значит «лучше»?

Волож: Неизвестно, как устроена эта материя. Почему пользователи приходят туда, а не сюда – никто не знает.

Сегалович: Ну нет, я знаю.

Волож: У тебя теории. У всех свои гипотезы. Я вот считаю, что просто не надо вредить. Надо стараться делать хорошо.

Сегалович: В конце 2004 года у нас был небольшой кризис, из которого мы вышли, и в течение всего 2005 года последовательно улучшали робота. Робот у нас очень приличный. По скорости занесения в базу мы опережаем конкурентов от нескольких часов до суток.

«КТ»: А в среднем прямое занесение в базу сколько времени занимает? Сколько времени проходит от момента, когда веб-мастер сообщает вам URL своего ресурса, до начала индексации?

Сегалович: Прямое занесение, то есть механизм «Добавить URL», играет не очень большую роль. А вот если на вас сослались из какого-нибудь интересного места, это дело, скажем, нескольких часов.

«КТ»: А почему при обновлении индекса из «Яндекса» частенько пропадают сайты?

Сегалович: Это стандартная беда всех веб-мастеров и всех роботов…

«КТ»: Но ругаются-то обычно именно на «Яндекс».

Себрант: Потому что когда перестает приходить трафик с «Яндекса» – это заметно, а если, допустим, с Google – то не очень.

Сегалович: Это, конечно, тоже играет роль. Но дело еще и в том, что у нас база обновляется очень часто, трижды в неделю. И если какой-то сайт почему-то не ответил, мы его сразу же убираем. А у того же Google месячный период обхода плюс быстрый робот, который обслуживает далеко не всех. И если уж я попал в Google со своей страничкой, то так в нем и живу. А «Яндекс» может меня выкинуть, потому что сайт в тот момент, когда ткнулся робот, лежал. И всё. На три дня меня в базе нет. То есть сама наша живость – это, безусловно, плюс, но у нее есть и неприятный побочный эффект.

Себрант: Нужно учесть, что когда мы случайно выкинули какой-то сайт, качество ответа практически не изменилось.

Волож: Зато увеличилась живость всей базы.

«КТ»: Веб-мастера жалко.

Себрант: Жалко. Но одним из проявлений кризиса, о котором говорит Илья, были мертвые ссылки в первой десятке выдачи. Люди переходили по ссылке, а ничего не открывалось. И это было страшно раздражающим фактором.

Волож: Не будет пользователей, веб-мастерам еще хуже станет со временем.

– У нас есть скрипт, собирающий и сравнивающий ответы поисковых систем по редким запросам, – поясняет Илья Сегалович, – и мы постоянно себя измеряем. Так вот, моя теория, в которую Аркаша и Андрей не верят, говорит, что рост популярности «Яндекса» коррелирует с состоянием базы. Не 87 процентов стала чистота, а 92 процента. Не 91 процент небитых ссылок, а 94, и так далее.

– Под «не верю» нужно понимать, что я не верю в абсолютизацию базы, – поправляет Себрант.

Перенос фокуса на базу позволяет нам вытащить домашнюю заготовку и спросить, как «Яндекс» относится к метапоисковым машинам, использующим для формирования результатов в том числе и выдачу «Яндекса».

– Выдачу у нас, кстати, можно купить, – замечает Волож.

Сегалович к паразитизму относится плохо, и в перспективность такого подхода – независимо от его