А/В-тестирования:
А/В
Первоначально в каждом разделе сайта использовалась версия А. А/В-тест провели следующим образом: версия В появилась лишь в книжном разделе: были убраны некоторые слова в скобках и текст на кнопках. Неизвестно, почему организаторы теста решили так поступить; мы всегда рекомендуем подкреплять уверенность покупателей в точке действия. Но тут важен сам подход к А/В-тестированию. Оба варианта оформления страницы довольно долго сосуществовали в разных разделах сайта.
А вот еще один пример. На сайте Ice.com А/В-тестирование проводилось с использованием программы Visual Sciences tool. Целью тестирования было найти оптимальный вариант продающего текста для каждого из продуктов, представленных на домашней странице сайта. Для тестов выбрали три варианта продающего текста, а эталоном для измерения стало изображение продукта, под которым вообще не было ни слова описания. Посмотрим на эти четыре версии.
Как вы думаете, какая из них оказалась лучшей? Часто бывает, что нам нравится один из вариантов, и мы очень хотим, чтобы он победил.
А/В-тестирование дает ответы, основанные на реальных данных и не зависящие от нашего мнения. В ходе измерений быстро выяснилось, что вариант D намного лучше остальных. Тестирование принесло сайту тысячи долларов прибыли.
Как правильно провести тестирование
Теперь вы видите, насколько полезными могут быть тесты. Положим, вы решили применить свои знания на практике, но не до конца в себе уверены. Например, как вы докажете остальным, что результаты тестирования являются верными? При проведении любых тестов обязательно учитывайте такие факторы, как сезон и даже время суток. Лучше запускать проверку двух версий одновременно и отслеживать результаты на протяжении двух недель. Убедитесь, что размер выбранной контрольной группы достаточно большой, а разница между результатами является статистически значимой.
Майк Сэк, исполнительный директор и главный инженер компании Inceptor, дает несколько советов по проведению А/В-тестирования:
В первую очередь решите, в каких пропорциях будете делить своих посетителей на группы: 50/50, 90/10 или 80/20. Вы можете сформировать группы по какому-либо признаку, например по времени суток или даже по поисковой системе, из которой пришли посетители (пользователи Google увидят вариант А, а пользователи Yahoo! – вариант В). Во-вторых, определите стабильность теста. Другими словами, если посетитель ушел с сайта и зашел на него вновь, увидит ли он тот же самый вариант, что и раньше? Вы можете сохранять версию тестовой страницы в течение одной сессии или устанавливать для посетителя соответствующий вариант страницы с помощью cookies. Желательно, чтобы тестируемая страница не менялась хотя бы в течение сессии, хотя cookies, конечно, дают больше возможностей, поскольку позволяют отследить покупку, совершенную через какое-то время.
Как правильно выбрать размер контрольной группы и установить критерии успеха?
Чтобы определиться с размером контрольной группы, проведите «нулевое» А/В-тестирование. Оно, по сути, представляет собой А/А-тестирование: вы предлагаете обеим группам одинаковые страницы сайта и смотрите, насколько различаются между собой полученные результаты. Обычно погрешность составляет не более 0,05 %, хотя это вам решать. Размер контрольных групп, при котором результаты измерений примерно одинаковы, будет оптимальным.
Критерием успеха можно сделать определенное количество продаж за период времени, скажем, за две недели. Определите, какая разница в показателях эффективности будет считаться достаточной для того, чтобы выявить победителя. Существует негласное правило: результат считается лучшим, если превосходит другой результат в три раза (например, если при А показатель эффективности равен 5, а при В – 15, то вариант В будет лучшим).
А/В-тестирование – очень мощное средство оптимизации. Вот несколько советов по его проведению:
– используйте недорогие скрипты;
– поместите варианты тестируемой страницы на разные серверы, тогда каждый участник тестирования попадет на соответствующий сервер;
– используйте программное обеспечение, позволяющее проводить А/В-тестирование: Inceptor, Optimost, OfferMatica и Visual Sciences.
С помощью соответствующего ПО[25] можно изучить тысячи разных факторов, но помните, что значимую роль в работе сайта играют лишь некоторые из них. Хотя специальные программы и позволяют отследить влияние тех или иных показателей, они не помогут вам в поиске данных для измерения и не дадут знаний и опыта, необходимых для успешного А/В- тестирования. Здесь уже все зависит от вас.
Что нужно тестировать? Легче, пожалуй, составить список того, о чем можно не беспокоиться, – это будет чистый лист бумаги. Но мы все-таки перечислим элементы, заслуживающие особого внимания. Вот что следует тестировать в первую очередь:
– рекламную рассылку: подарки, купоны, текст сообщений, гарантии, слова в поле «От:», призывы к действию, приветствие, шрифт, расположение элементов на странице, графические изображения;
– сайт: целевые страницы, продающий текст (заголовки, содержание, призывы к действию, аргументы, подкрепляющие уверенность), цветовое решение, расположение элементов, настроение, создаваемое сайтом, и ссылки.
А/В-тестирование – это вовсе не высшая математика, и, конечно, существуют более сложные методы исследования эффективности сайта. Но именно в простоте и заключается главное преимущество А/В- тестирования. Проведя необходимые тесты, вы сможете, не колеблясь, принимать серьезные решения. Ведь, кроме интуиции, в вашем распоряжении будут реальные цифры.
Веб-аналитика для интернет-магазина
Наши клиенты часто спрашивают, правильную ли систему веб-аналитики они выбрали. Владельцам интернет-магазинов мы рекомендуем вначале найти для этой цели правильного специалиста, а уже потом инвестировать деньги в соответствующее программное обеспечение.
В 2004 г. компания Jupiter Research провела исследование, в ходе которого выяснилось, что лишь у 27 % владельцев онлайн-бизнеса, участвующих в опросе, имелся в штате специалист по веб-аналитике. В ходе исследования руководителям задавали вопрос: «С какими трудностями при управлении сайтом вы сталкиваетесь чаще всего?» Почти все респонденты ответили, что им сложно собирать нужные данные, правильно их интерпретировать и использовать в работе.
А ведь в этом и заключается задача веб-анализа. Сначала настройте систему веб-аналитики, чтобы она формировала отчеты, содержащие требуемые сведения. Будет ли при расчете тех или иных показателей учитываться активность поисковых роботов? Если пользователь обновит страницу, увеличится ли от этого счетчик просмотров?
Какие данные вы хотите получить от системы веб-аналитики? Если вы сами толком не знаете, что вам нужно, не просите специалистов настроить отчеты за вас или поставить режим «по умолчанию», как поступает большинство пользователей.
К сожалению, у многих владельцев интернет-магазинов нет соответствующих инструментов или работников, которые бы помогли им извлечь пользу из системы веб-аналитики. Между тем успех в электронной коммерции напрямую зависит от последовательно проводимых тестов и регулярно вносимых исправлений.
При ведении бизнеса в Интернете необходимо опираться на цифры. Представитель консалтинговой компании e-Tailing Group inc. отметил: «Чаще всего в тестировании используются показатели эффективности продаж и отчеты о посещаемости сайта и пользовательской активности. Получить их в большинстве случаев не представляет никакого труда».
Ключевые показатели эффективности
Прежде всего определите ключевые показатели эффективности (KPI). Это основа основ оптимизации сайта. Отчеты по исполнению этих показателей являются единственным связующим звеном между текущими результатами работы сайта и вашими коммерческими целями. Эрик Петерсон, аналитик
