Пусть последовательность X = {X(T), T = T0, T0 + 1…, TN} содержит серию измерений капитала или логарифма капитала на интервале прогонки τ. Через крайние точки этой последовательности проходит прямая линия: Мера отклонения исходной последовательности от нее может быть задана как сумма квадратов:
Чем меньше значение этого показателя, тем ближе вид кривой капитала стратегии к идеальному.
5.5.3. Пример бэктестинга опционной стратегии
Рассмотрим в качестве примера результаты бэктестинга стратегии, основанной на продажах опционов на SPY и хеджировании позиции покупкой опционов на VIX. Стратегия использует следующий алгоритм: в заданный день до экспирации продается стрэнгл на SPY и покупается колл на VIX следующей серии в объемах, определяемых заложенным в стратегию алгоритмом управления капиталом. Короткая позиция выкупается в заданный день перед экспирацией. Длинный опцион на VIX сохраняется до экспирации. Параметры стратегии:
• день открытия позиции относительно ближайшей экспирации;
• день выкупа коротких опционов;
• соотношение объемов стрэнглов на SPY и коллов на VIX;
• доля капитала в текущей позиции;
• параметр, определяющий расстояние между страйками.
Визуальный анализ
Как правило, анализ результатов бэктестинга начинается с визуализации базовых показателей на графиках в виде кривых, изменяющихся во времени в процессе прогонки по интервалу τ. Наиболее информативным является график капитала. На рис. 5.5.1 показан график, полученный в результате бэктестинга одного из вариантов стратегии. Мы выбрали один из лучших вариантов, дающий достаточно ровный и устойчивый рост капитала. Визуальный анализ графика указывает на то, что рассматриваемый вариант стратегии приемлем и заслуживает дальнейшего более детального изучения.
Обычно график капитала строится с ежедневными оценками (как показано на рис. 5.5.1). Это позволяет оценить внутримесячные колебания и просадки. Однако в случае опционных стратегий часто возникает необходимость представить доходность с привязкой к стандартным моментам экспирации. В таких случаях удобной формой представления является график, показывающий ежемесячные прибыли и убытки (если элементарный период времени составляет один месяц). На рис. 5.5.2 показан график для стратегии, использованной в нашем примере. Такое представление доходности позволяет сразу увидеть, что из 31 месяца, охваченного периодом бэктестинга, большинство были прибыльными и только два месяца принесли существенный убыток. Хотя эти два сильно убыточных месяца пришлись на начальный период тестирования, они не привели к разорению стратегии, что является серьезным показателем ее высокой эффективности.
Анализ расчетных показателей
Ниже приведены расчеты различных показателей для линейного варианта стратегии (с постоянной суммой инвестируемого капитала). Некоторые показатели рассчитаны сразу для двух временных интервалов: месяцев (что соответствует экспирационным циклам) и дней (поскольку день приходится рассматривать как элемент времени, на котором необходима достаточная устойчивость к негативным рыночным событиям).
Период тестирования стратегии: 01.01.2009–31.07.2011 г.
Стартовый капитал: E0 = 1 000 000.
Число календарных дней: d = 938.
Число торговых дней: t = 648.
Число месяцев: m = 31.
Суммарная прибыль: P = 1 953 594 – 1 000 000 = 953 594.
Среднеквадратичное отклонение месячных прибылей:
Коэффициент Шарпа для месячных данных:
Среднеквадратичное отклонение дневных прибылей:
Коэффициент Шарпа для дневных данных:
Максимальная просадка состоялась 18.03.2009, когда текущий максимум капитала 1 157 537, установленный 11.03.2009, снизился до 818 733. Величина просадки составила 338 803.
Длительность максимальной просадки (то есть длина периода до установления нового максимального значения капитала) составила 78 дней. Она оказалась самой продолжительной на всем периоде тестирования.
Доля прибыльных сделок (сделкой считается совокупность всех торговых операций, относящихся к определенной комбинации, и выполненных в течении одного дня): 53,6 %.
Доля прибыльных месяцев: 76,6 %.
Максимальное число прибыльных месяцев, следующих подряд: девять месяцев.
Максимальное число убыточных месяцев, следующих подряд: два месяца.
Среднее число прибыльных месяцев, следующих подряд: 3,3 месяца.
Среднее число убыточных месяцев, следующих подряд: 1,2 месяца.
Суммарный доход прибыльных сделок: grossprofit = 2 684 032.
Суммарный убыток убыточных сделок: grossloss = 1 730 438.
Profit/Loss-фактор, рассчитанный по отдельным сделкам: grossprofit / grossloss =1,55.
В данной стратегии, как и во многих других опционных стратегиях, Profit/Loss-фактор, рассчитанный по отдельным сделкам, не является полностью корректным (см. объяснения в разделе 5.5.2). Поэтому более информативным будет аналогичное отношение, рассчитываемое для прибылей и убытков отдельных месяцев. Сам алгоритм стратегии предусматривает подобный подход, поскольку динамически наращиваемая позиция от первого дня торговли каждого месяца до закрытия коротких позиций перед экспирацией, является логичным единичным событием, подобно отдельной сделке в стратегиях с линейными инструментами (акциями, фьючерсами). Profit/Loss-фактор, рассчитанный на основании месячных данных, оказался значительно выше, чем тот же показатель, рассчитанный по отдельным сделкам: 1 176 797 / 223 203 = 5,3.
5.6. Построение эффективной системы бэктестинга: вызовы и компромиссы
Первый вызов, с которым сталкивается разработчик при тестировании торговой системы, это необходимость поддержания базы исторических данных, содержащей максимально полную информацию для торгуемых стратегий и инструментов. Эта информация должна быть надежной, без неточностей и ошибок. Два требования к базе данных – полнота информации и надежность – в определенной степени противоречат друг другу. При стремлении включить в базу данных максимум информации, разработчик неизбежно сталкивается с проблемой контроля ее надежности. Соответственно, чем больше разнотипной информации подлежит накоплению, тем выше вероятность попадания в базу ошибочных и неточных данных. Поэтому при создании базы данных стремление к максимальной полноте накапливаемой информации должно регулироваться возможностями ее верификации.
Фильтрация нежелательных сигналов, производимая на основе различных индикаторов, является продуктом компромисса между стремлением к максимальной строгости фильтрации, с одной стороны, и стремлением не отбросить потенциально прибыльные торговые варианты, с другой стороны. Чем строже фильтрация, тем выше вероятность отказа от потенциальных торговых возможностей. Моделирование цены и объема исполнения сигналов также основано на компромиссе. Чем более консервативный подход используется при моделировании (объемы и цены исполнения хуже, чем те, которые использовались при генерировании сигналов), тем ниже оценочная эффективность стратегии и тем выше вероятность того, что результаты реальной торговли не окажутся хуже результатов бэктестинга.
Одним из самых трудноразрешимых компромиссов при создании системы бэктестинга является распределение исторического периода, покрываемого базой данных, между in-sample и out-of-sample периодами. Чем больше in-sample период, тем меньше данных остается для out-of-sample периода (и наоборот). В общем виде можно утверждать, что разработчик должен стремиться к максимально возможному увеличению протяженности out-of-sample периода. Это позволяет протестировать стратегию в разных фазах рынка, используя данные, незадействованные при оптимизации стратегии. Однако удлинение out-of-sample периода неизбежно ведет к сокращению in-sample периода. Это чревато тем, что оптимизация стратегии будет недостаточно надежной, поскольку in-sample период не будет включать все возможные типы рыночной динамики.
Главный вызов, стоящий перед разработчиком, заключается в опасности заоптимизировать стратегию. Эта проблема обостряется тем больше, чем больше параметров используется при создании стратегии. Соответственно, уменьшить вероятность заоптимизированности можно путем
