Стратегическое, часть 2

[ny_quant]

Начало здесь: http://ny-quant.livejournal.com/635136.html

Ответ на основной вопрос получен: спать я лучше не стал. Оказывается, придумав стратегию, дальше невольно начинаешь себя спрашивать а веришь ли ты в неё на самом деле и насколько? Ведь если верить всерьёз и всей душой, то логично было бы вбухать туда все имеющиеся бабки, да ещё и подзанять где только возможно. Однако же, здравый смысл и скромный жизненный опыт подсказывают, что всегда есть вероятность ошибки, что будущее может радикально отличаться от прошлого, ну и наконец overfitting тоже исключить полностью нельзя. Фолклор изобилует такими историями, причем у профессионалов.

Короче, в попытках убедить самого себя, я опять много думал ™ и в итоге родил ещё одну ценную мысль, а потом, когда она не помогла, то и ещё одну. Тесты показали, что теперь можно оставить всего два параметра, а вся стратегия приобрела четкий смысл: покупать надо если expectedGain/risk>1. Как ни странно основные показатели изменились мало, кроме того что max drawdown всего лишь -14% (причем без всяких усилий этого достичь, просто побочный эффект), ну и Шарп на годовом масштабе слегка перевалил за 1. Хочется сказать, что возникло чувство глубокого удовлетворение ™ но это было неправдой. Глубокого точно нет. Риск представляет собой очень простую, но всё же произвольно придуманную из головы функцию двух калибруемых параметров, и сделать с этим ничего нельзя, кроме как придумать другую функцию, но я уже знаю, что одним параметром не обойтись.

Вопросы о степени доверия к полученным результатам остаются и видимо никуда не денутся, даже если всё будет очень хорошо. Зато если будет плохо, то можно будет просто совсем перестать об этом думать и спать гораздо лучше.

Comments

[ny-quant.livejournal.com]

Предсказываются гром и молния по наблюдаемой облачности, это пока всегда. Легкая облачность не предсказывается вообще. Свинцовые тучи только вероятностно.

[nefedor.livejournal.com]

Понятно, то есть плохие периоды отсеиваются по вероятности. Значит, рано или поздно, залёт случится.

[ny-quant.livejournal.com]

В зависимости от определения залёта, но в том или ином смысле - несомненно. Можно сказать, что наблюдавшийся в backtest -20% это залёт. И уже тем более -45% из предыдущей версии.

Мой вопрос, почему мы так на этом концентрируемся? Если бы залёт мог выразиться в полном кирдыке а ля LTCM, то я бы понял. Но речь идёт о потере О(50%) once in a blue moon и О(20%) раз в несколько лет. Если бы речь шла о том, чтобы, скажем, удвоить, стандартный индексный доход, то перспектива таких потерь могла бы выглядеть пугающе.

Но если (ЕСЛИ!) стратегия удваивается каждые два года, то какое мне до этого дело?

[nefedor.livejournal.com]

Народная мудрость в том, что лучше мало, но стабильно, чем много, но волатильно. Если Вы немного недооцените распределение рисков и у Вас случится O(75%), то даже при удваивании в два года, это пять лет в трубу чтобы просто догнать S&P.
Но кроме всего, я говорю о дродаунах так как ими можно измерять риск. В обычных случаях риск, измеряемый STDEV пропорционален дродаунам, так что при неизвестных и косых распределениях доходностей удобно сравнивать риски по дродаунам.

[ny-quant.livejournal.com]

Да, неправильная оценка рисков приведёт к другому распределению доходов. Но если мой горизонт О(10 лет), то даже такая катастрофа как -75% на следущий день после начала работы всё ещё оставляет мне достаточно времени для более чем привлекательных возвратов в конце. В конце концов, единственное что matters это распределение на финише или так далеко, когда придется вынимать деньги из-за проблем с ликвидностью из-за большого роста капитала (хотел бы я иметь дело с последней проблемой).

В моём случае, как ни странно, риск довольно слабо связан с мах drawdown. Это только одно число, ИМХО недостаточное ни для чего. Лучше бы смотреть на распределение top 10 drawdowns & time under water.

[nefedor.livejournal.com]

>> даже такая катастрофа как -75% на следущий день после начала работы всё ещё оставляет мне достаточно времени для более чем привлекательных возвратов в конце

Это и есть выражение Вашей risk tolerаnce, если это только серьезно, а не фигура речи. Ну и смотрите от какой части пенсионного портфеля Вы готовы потерять 75% :)

>> единственное что matters это распределение на финише

Его никто не знает, в отличие от рынков акций и облигаций.

>> риск довольно слабо связан с мах drawdown

А что такое для Вас риск?
Обычно это уровень потерь, когда инвестор начинает нервничать и вынимать оставшиеся деньги. То есть, именно мах drawdown.
Наверное, в сочетании с длительностью тоже.

[ny-quant.livejournal.com]

// Ну и смотрите от какой части пенсионного портфеля Вы готовы потерять 75% :)

Это, к сожалению, функция того, насколько я верю в свою стратегию. Если б я действительно верил, что она будет удваиваться каждые два года, то хоть на все.

Риск - я в данном случае имел стандарное уклонение. В реальности, я бы интересовался хвостом своего распределения через скажем 10 лет. Типа, среднее значение в левых 5%. Я бы это мог попробовать рассчитать в backtest, но это не очень интересно, т.к. понятно, что получится "хорошо". Интересно если что-то пойдет не так.

Слишком большой drawdown по сравнению с backtest наверное сигнализирует о том, что что-то пошло не так. Ваша мысли о фиксации лосей, пожалуй, была правильная.

[nefedor.livejournal.com]

>> Риск - я в данном случае имел стандарное уклонение

Stdev - это мера риска. А что такое само понятие риска для Вас, не мера, а риск сам по себе? Риск чего?

>> Слишком большой drawdown по сравнению с backtest наверное сигнализирует о том, что что-то пошло не так

Тут еще может быть так, что вместо резкого DD может наступить плавное сползание которого не было в модели и остановиться можно будет раньше, чем когда уже возник большой DD. Это я конечно, гтпотетически пишу, но может быть можно отследить такое состояние, которое не соответствует backtest data и моделям?

[ny-quant.livejournal.com]

Есть много разных типов риска, но риск это всегда неопределенность чего-то. В конечном счете мне хочется выйти из этой игры с максимальным (ожидаемым) количеством денег и наименьшей вероятностью потерять неприемлемо много. Т.е. мы говорим о риске не заработать ожидаемое и риске потерь. То и другое функция последовательности случайных возвратов между сегодня и потом. Даже если эти возвратов это выборка из некого стационарного и известного распределения, конечный результат все равно неопределенный, так что риск. Я же не уверен, что и распределение существует, может быть оно все время меняется, это еще один риск.

Но риск, который меня беспокоит больше всего, это model risk, т.е.что модель не сможет отражать происшедшие изменения.

Про последнее я как раз и думаю. Пока что есть мысль ввести понятие integral drawdown, т.е.

d(t) = min(0, St / Smax - 1)

D(t) = Sum over the last year {d(t)}

Или за квартал, или оба. Дальше можно сравнивать с историческим поселением этих величин. Для начала хоть на глаз, потому что никакие конкретные критерии, по которым надо было бы фиксировать лосей, пока что в голову не приходят. Но могут прийти позже, из опыта рассмотрения графиков.

Я Вам не надоел?

[nefedor.livejournal.com]

Понятно что типов риска много, но это все уже конкретизация путей откуда может прийти засада. Но мне кажется, в сумме все сводится к одному - не выполнить план по доходности и мера этого - насколько невыполнить. В этом смысле риск не заработать ожидаемое и риск потерять - это одно и то же, просто отклонение вниз от ожидаемого. Ну и порог отсечения неприемлемого.

Соответственно, почему люди боятся дродаунов - им там кажется, что вероятность достижения ожидаемого пониженная, а вероятность получить значение ниже порога - повышенная. По-моему так.

Интеграл под high water mark это интересная идея, не думал над этим. Надо подумать.

Но я скорее думал про проверку работы модели как обычное тестирование статистических гипотез: типа Вы предполагаете некоторое распределение в модели и тестируете какое-то окно прошлых данных на соответствие этому распределению, как только достоверность ниже порога - фиксить лосей. Как-то так.

Мне интересно обсуждать такие темы. Наоборот, я боюсь что это я Вам надоел...

[ny-quant.livejournal.com]

Психологически мне понятно почему люди боятся дродаунов, но мне это кажется нерациональным. Если по тестам ожидается, что правый хвост намного толще правого, то дродаун - когда он случается - это запланированная (хоть и не на конкретное время) временная неприятность.

Интеграл под high water mark (вернее среднее по интервалу времени, чтобы можно было одновременно смотреть на квартальные и годовые данные) ничего хорошего не дал. Т.е. in sample вроде было интересно: значения колебались от -3 до -15%, в среднем около -7%, кажется. Но out of sample, когда дошло до кризиса, стратегия упала в яму и немедленно отключилась, просидев в минусе примерно 2.5 года. Если бы я на тот момент торговал, то наверное счел бы такое поведение «out of model» и бросил бы это дело. Тогда как после кризиса, стратегия росла как на дрожжах и я был бы дурак. Совершенно очевидно, что обычное тестирование статистических гипотез мне бы тут никак не помогло, т.к. ничего даже отдаленно похожего in sample не было.

Значит, теперь я знаю, что бывает и так, что надо быть надежным и упрямым ... Зато, я не знаю как оно ещё может быть, что-то похуже этого кризиса, чего я еще не видел. Однако ситуация с кризисом как будто бы иллюстрирует тот факт, что даже поход ранее невиданного и неожиданного ужаса не означает, что надо всё навсегда бросать. Вполне вероятно, стратегия в итоге will take care of itself. Но гарантий тому никаких нет. Как узнать, что она сломалась насовсем непонятно. Full circle.

[nefedor.livejournal.com]

>> мне это кажется нерациональным. Если по тестам ожидается, что правый хвост намного толще

Когда ходят слухи о том, что вот сейчас вообще вся финансовая система навернется и будет апокалипсис с непонятными последствиями - Вам кажется, это так просто думать не об этом, а о тестах и хвостах?

>> Совершенно очевидно, что обычное тестирование статистических гипотез мне бы тут никак не помогло

Это на самом деле плохо. Это значит, что Ваша стратегия может перестать работать на долгий период (годы) и Вы не будете знать нормально это или это конец и пора закрывать лавочку.
То есть, Вы модете и не получить какого-то минуса, а просто сидеть на нуле неопределенно долго, наблюдая как растет S&P.

>> Значит, теперь я знаю, что бывает и так, что надо быть надежным и упрямым

Нет, Вы знаете, что в том случае надо было быть надежным и упрямым. Каким надо будет быть в следующий раз - Вы не знаете.

Bottom line: я согласен, что невозможно найти критерий того, что стратегия сломалась совем. Значит, надо найти критерий, при котором Вы должны будете закрыть на все глаза и фиксить лосей неспотря на возможное дальнейшее восстановление. То есть, критерий должен исходить не из поведения рынка, а из Вашей ситуации.

[ny-quant.livejournal.com]

Я уверен, что это не просто, но это было бы рационально.

// не получить какого-то минуса, а просто сидеть на нуле неопределенно долго, наблюдая как растет S&P

Минус в начале кризиса был, но я бы не потерял 90% как потерял бы stumari, который держит позицию в XIV. S&P в данном случае большей частью падал, так что сидеть на нуле было бы очень даже хорошо. Но Вы правы, что в другой раз может быть будет расти, а я буду сидеть в стороне и кусать ногти. На этот случай, я о нем уже думал, у меня есть мысль переключаться из стратегии не в ноль, а в S&P. В тестах мне это ощутимой пользы не приносит, но так можно избежать риска пропустить next market rally.

//невозможно найти критерий того, что стратегия сломалась совем

Сколько ни думаю, пока что нахожу этот вывод неизбежным.

// критерий должен исходить не из поведения рынка, а из Вашей ситуации

Это не очень понятно. Это ведь опять сведётся к тем или иным статистическим тестам, нет? Или Вы имеете в виду не более чем Х% дродаун? Или общее состояние торговых счетов?

[nefedor.livejournal.com]

Не очень понял, что значит "переключиться на ноль/S&P"?

К чему это сведётся - неоднозначно. Можно в виде отсечки лосей в случае дродауна Х%, можно выделить сумму, которую Вы готовы потерять независимо ни от чего, можно пробовать предсказывать корреляцию с S&P и рассматривать как компоненту портфеля. Но суть в том, что мы ставим стоп не по поведению рынка, а по своим представлениям о рисках.

[ny-quant.livejournal.com]

Сейчас у стратегии есть два состояния: купить этот ETF или уйти в кэш, это я и назвал нулём. Вместо ухода в кэш можно покупать S&P. Тогда, если вдруг стратегия опять встанет на пару лет на ноль, я не буду сидет всё это время в кэше. Хотя, если считать, что у меня и так и сяк не меньше половины денег будет вложена в обычные стоки-бонды, особенного смысла в этом может и нет.

Да, можно в принципе задаться теми или иными критериями, но это будет субъективно и скорее всего неоптимально.

[nefedor.livejournal.com]

А, понятно.
Но тогда риск в том, что стратегия будет все время то заставлять Вас покупать, то выходить, и толку от этого будет ноль, а S&P в это время будет расти (в то чремя как стратегия будет вгонять Вас в ETF).

[ny-quant.livejournal.com]

В принципе этого исключить нельзя. Нельзя даже исключить того, что в результате будет не ноль а медленная, скажем 2-3% в месяц потеря денег. Или даже больше. Но объективный критерий выхода из игры отсюда пока что не прослеживается. А вдруг она после нескольких месяцев потерь опять начнёт хорошо зарабатывать. Такое ощущение, что ничего лучше каких-то эвристических правил не придумаешь и получится market timing of the strategy itself: use it when it works (in some arbitrary but well defined sense) and don't use it otherwise. Which is not that different from what the strategy itself is doing.