цикл продажи данного спектра продуктов составлял три месяца. То есть увеличение продуктивности вполне могло быть вызвано тем, что истекло время, необходимое новому отделению, чтобы набрать темп, а также отсроченным окончанием трехмесячного цикла продажи. Наше «доказательство» вновь лопнуло как мыльный пузырь.
Наше досье пестрит подобными примерами оценочных исследований, которые выглядят вполне убедительными, но не выдерживают тщательной проверки. Вот еще один случай, подтверждающий это (рис. А. 3). Крупная компания, занимавшаяся оргтехникой, решила оценить методы СПИН на сезонном рынке, где февраль – самый прибыльный месяц.
Дабы компенсировать воздействие сезонности и рынка, компания в качестве контрольных групп взяла каждое отделение, работавшее на том же рынке. Отслеживалось количество заказов у каждого отделения до и после тренинга в экспериментальном отделении, прошедшего в начале января. Как вы видите, отделение, обученное технике СПИН, показало великолепный рост продуктивности по сравнению с остальными. На этот раз все пять отделений открылись достаточно давно, так что проблемы с циклом продаж или с кривой обучения отсутствовали. Может ли это служить доказательством, которое мы искали? К сожалению, нет.
В ноябре в филиале сменился управляющий. Как мы можем быть уверены, что резкое повышение продуктивности было вызвано использованием модели СПИН, а не новой системой управления продажами, внедренной в декабре? Риторический вопрос. Тем не менее компания попыталась ответить на него, проведя опрос среди всех участвовавших в тренинге продавцов. Каждого из них просили оценить, в какой мере изменения были обусловлены обучением СПИН и насколько – другими причинами. Хотя каждый продавец дал свою оценку, тот факт, что большинство ответов гласили: «На 50 % благодаря СПИН», вызвал у меня подозрение. Я больше склонен считать, что респонденты затруднялись с ответом.
Провал за провалом
Невозможно в ходе эксперимента полностью устранить воздействие прочих организационных и рыночных факторов, и это означает необычайную сложность получения убедительных доказательств для любой модели продаж. Мы старались как могли: нашли организацию, согласившуюся не менять продукты, управление или продавцов в течение всех шести месяцев проведения теста. Какое-то время мы были убеждены, что осуществим оценочное исследование, способное выдержать самую жесткую проверку. Затем, в начале третьего месяца проведения эксперимента, презренная конкуренция сбила цены на 15 %. Наш клиент, вынужденный быстро реагировать, изменил цены, сменил людей и продукты. Еще один провалившийся тест!
Мы думали, что наконец можем контролировать необходимые факторы в одной высокотехнологичной компании. Тестовое отделение отлично функционировало – с результатом на 73 % выше, чем в контрольных отделениях, – и мы были уверены, что на этот раз победим. Однако в середине пути мы пали жертвой управляющего одного из отделений контрольной группы. До начала теста его отделение было лучшим и потому являлось предметом его гордости. Теперь же, видя, что показатели экспериментального отделения намного превосходят таковые его отделения, он решил принять меры. Глубокой ночью он поднял архивы учебного отдела и скопировал все материалы о программе, использованные нами в экспериментальном отделении. Взяв со своих сотрудников клятву хранить тайну, он начал самостоятельно обучать их по украденным материалам.
Это погубило наш тест. В тот момент я был взбешен поступком честолюбивого наглеца, но теперь готов признать, что результат этого исследования был самым убедительным доказательством эффективности модели СПИН: чтобы украсть наши разработки, менеджер по продажам проехал за ночь 600 миль.
Возможно ли получить доказательство?
В 1970 году совместно с Петером Уарром и Майком Бердом я написал книгу об обучении оценке. Один из выводов в нашей книге гласил: сложности управления факторами реальной жизни делают практически невозможным получение доказательства роста продуктивности в результате обучения. В процессе работы над книгой мы обсуждали «идеальное» оценочное исследование. Майк Берд и я сидели в офисе и часами размышляли о том, как бы разработать идеальную оценку. Майк нарисовал на доске схему (рис. А. 4) и сказал: «Смотри, большинство людей именно так проводят оценку. Однако, – добавил он, – взгляни на все это множество переменных.
Как ты можешь доказать, что какое-то изменение произошло только под воздействием обучения?» Он быстро схематически показал влияние некоторых других факторов (рис. А. 5).
Подобные разговоры вгоняли меня в депрессию, особенно потому, что как раз в это время я читал книгу Карла Поппера, философа, известного своим утверждением о невозможности доказать вообще что- либо. Поппер предположил, что единственный способ доказать что-то в науке – снова и снова безуспешно пытаться это опровергнуть. «Можем ли мы воспользоваться таким подходом? – поинтересовался я. – Просто предположим, что, вместо того чтобы пытаться доказать, что обучение повышает продуктивность, мы подойдем к вопросу с обратной стороны и попробуем опровергнуть какое-либо воздействие на продуктивность. Может, так будет лучше?»
Разговор не имел продолжения, но спустя годы, борясь с проблемами тестирования эффективности работы подхода СПИН, я вдруг вспомнил наш разговор с Майком. Стоит ли нам забыть о доказательстве и вместо этого взяться опровергнуть предположение, что описанные в этой книге навыки увеличивают продажи?
Доказательство или опровержение – важно ли это?
Вы можете счесть, что моя исследовательская одержимость доказательством или опровержением – академичный способ загубить дело. В собственную защиту могу сказать, что ежегодно миллиарды долларов впустую тратятся на обучение методам продаж, причем без малейшего доказательства эффективности или неэффективности последних. Ни одна другая сфера бизнеса не проявляет подобную небрежность в вопросах тестирования своих продуктов или методов. Цивилизованное общество рухнет, если производственные разработчики будут так же безразлично относиться к эффективности продукта, как большинство организаций по разработке учебных программ. Сложность измерения эффективности того или иного подхода к продажам не является поводом не предпринимать подобных попыток, – скорее, наоборот, трудности делают измерение еще более необходимым. Оставив всякие попытки как можно точнее измерить эффективность обучения продажам, мы по-прежнему будем терять миллиарды долларов, которые можно было бы потратить на повышение продуктивности в какой-либо другой сфере. Меня не особенно волнует, будет это доказательство или опровержение, но я страстно поддерживаю все, что предоставит лучшее измерение и проверку, потому что без подобных тестов моя профессия – обыкновенная профанация. Если вы простите мне сию недолгую проповедь, то, надеюсь, поймете, что моя забота о тщательной и скрупулезной оценке – в ваших интересах.
Причина, по которой мы проводим все эти измерения и тесты, в том, что нам необходимо убедиться в
