Machine Learning
Aug. 24th, 2018 03:32 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
ny_quantВоспользовавшись передышкой в работе, решил попробовать применить Machine Learning (конкретно TreeNet если кому интересно) к своей любимой задаче о нахождении trading strategy.
Напомню, что Efficient Market Theory говорит, что ничего такого быть не может потому что не может быть никогда, тогда как впс при помощи веревочной петли и палки некоторого упорства и огромного умища, научился предсказывать будущее на 1 день вперед с вероятностью в 59.7% out of sample.
Имплементация от вендора с хорошей репутацией, основной код от отцов-основателей, в общём всё очень круто. Значит, применил. Результаты, прямо скажем, не оправдали ожиданий. Ряд расходится (или сходится куда-то не туда), а лучший результат пока он не успел разойтись 53.7%. А если начать в борьбе за счастье теребенькать установки, то очень легко получить и меньше 50%.
Так вперед к новым победам искуственного интеллекта! Вот уж он нам решит все нерешенные задачи.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2018-08-25 12:05 am (UTC)А если серьезно, если я правильно помню, у Вас исходные данные - дневные за несколько десятков лет, это очень мало примеров для классических МЛ алгоритмов, мне кажется.
no subject
Date: 2018-08-25 01:12 am (UTC)Может быть дело в этом. Хотя игрушечные базы данных на которых нам показывали работу программы не намного больше, максимум на порядок.
no subject
Date: 2018-08-25 02:36 am (UTC)Но это же именно то что нужно! Меняем знак и легко получаем больше 50%.
no subject
Date: 2018-08-25 05:01 am (UTC)Это идея!
no subject
Date: 2018-08-26 08:04 pm (UTC)Если бы оно давало СТАБИЛЬНО меньше 50%, то да. Но ведь наверняка нет.
Хотя, конечно, игра против роботов/алгоритмов имеет некий смысл...
no subject
Date: 2018-08-26 08:34 pm (UTC)no subject
Date: 2018-08-27 06:44 am (UTC):)
no subject
Date: 2018-08-27 07:33 am (UTC)no subject
Date: 2018-08-25 03:01 am (UTC)Если в изучаемой системе есть "невидимые параметры", то предсказывать поведение системы по "видимым параметрам" довольно сложно. А иногда - и в принципе невозможно, т.е. точность будет неприемлемо плохой.
В производственной сфере - ещё можно что-то предсказывать. Но в спекулятивной сфере типа биржевой торговли - я полагаю, предсказывать невозможно именно потому, что "невидимые параметры" типа настроения ключевых людей непредсказуемы.
no subject
Date: 2018-08-25 04:19 am (UTC)И как же я научился предсказывать с почти 60% точностью?
no subject
Date: 2018-08-25 04:50 am (UTC)Естественно, можно найти корреляцию между видимыми параметрами и результатом - независимо от количества невидимых параметров. Проблема - при низкой корреляции слишком велик риск уйти в ноль с невозможностью продолжать игру.
Я предлагал студентам сыграть в "орла и решку" на их квартиру. Я ставлю со своей стороны квартиру в полтора раза дороже и даю им монету с вероятностью выигрыша 60%.
Разумеется, это я предлагал не серьёзно, а для иллюстрации к теме "QoS и RealTime".
no subject
Date: 2018-08-25 05:05 am (UTC)Это стабильный результат. Играю iRL вот уже два года. Результаты менее положительные чем «на бумаге» потому что у меня ограничения на частоту транзакций из-за работы, но тем не менее.
no subject
Date: 2018-08-25 05:30 pm (UTC)no subject
Date: 2018-08-25 06:44 pm (UTC)Maximum drawdown is -19% if that's what you mean.
no subject
Date: 2018-08-31 01:36 am (UTC)то может автоматизировать?
no subject
Date: 2018-08-31 04:45 am (UTC)no subject
Date: 2018-09-01 04:57 pm (UTC)--
Коган-варвар
no subject
Date: 2018-09-01 06:35 pm (UTC)no subject
Date: 2018-08-25 12:32 pm (UTC)no subject
Date: 2018-08-25 06:27 pm (UTC)Все те же, что я использовал до того вручную.
no subject
Date: 2018-08-25 05:10 pm (UTC)no subject
Date: 2018-08-25 06:25 pm (UTC)Classification. Regression тоже попробовал но получил отрицательное R2.
no subject
Date: 2018-08-25 10:25 pm (UTC)no subject
Date: 2018-08-25 10:38 pm (UTC)Logistic regression
no subject
Date: 2018-08-25 10:44 pm (UTC)I am not terribly surprised that for very noisy data, such as your, linear methods perform better.
Have you tried linear regression (square loss) as a classifier? Sometimes that works surprisingly well.
no subject
Date: 2018-08-25 11:27 pm (UTC)Yes, that's how I got negative R2. I mean, linear regression on each step of TreeNet. But optimal number of trees was very small, like 5 or so.
no subject
Date: 2018-08-26 05:54 am (UTC)no subject
Date: 2018-08-26 05:02 pm (UTC)TreeNet is stochastic gradient boosting.
я не особый какой специалист
Date: 2018-08-31 01:34 am (UTC)no subject
Date: 2018-08-26 08:09 pm (UTC)Недавно в Блумберге была лекция на тему почему на рынке не работает МЛ. Я не ходил, но название запомнил. Кажется что-то на тему оверфитинга.
no subject
Date: 2018-08-26 08:36 pm (UTC)очень интересно
Date: 2018-08-29 09:53 pm (UTC)Re: очень интересно
Date: 2018-08-29 10:49 pm (UTC)крута!
Date: 2018-08-31 01:29 am (UTC)простой водопроводчикклассический механик по образованию, но своё мнение у меня имеется:Efficient Market Theory (в отличии от Второго Начала Термодинамики или Закона Всемирного Тяготения) не является фундаментальным законом природы. Парадокс Efficient Market Theory состоит в том, что его достаточно трудно опровергнуть, но ещё тяжелее подтвердить. Добавим сюда человеческий фактор (субъекты рынка, это слабые духом, не совсем рациональные, слишком жадные и боящиеся потерять бесшерстные бесхвостые приматы (homo sapiens)). И можно предположить, что рынок эффективен дааалеко не всегда. Например, рынок совсем не эффективен, если определённые субъекты рынка обладают большей информацией (но это ж не про нас). Другое дело, когда информация появляется на рынке в виде пресс релизов, рынок вроде как effiecient, но ясный перец, что тута возникает переходный процесс, который более предсказуемый? Возможно (наверняка (совершенно точно)) можно отыскать разные классы of assets на рынке, которые (в определенное время) идут не совсем в ногу с этим elusive efficient market. Можно разработать простые (с минимальным набором параметров) более эффективные (с более высокой вероятностью успеха и меньшим процентом of drawdown) trading strategies для этих классов of assets. Но нужно ж уметь находить и классифицировать assets. И эту важную задачу классификации этих самых assets можно доверить машинному обучению. Пускай нейронная сеть какая-нибудь дает нам ответ, есть ли у нас в заготовке trading strategy, которую можно использовать для этого stock в данный момент или нет. Вот!
RE: крута!
Date: 2018-08-31 04:47 am (UTC)no subject
Date: 2018-08-31 04:42 pm (UTC)вопрос
Date: 2018-09-04 03:58 am (UTC)мне почему то кажется, что если научиться предсказывать SPX на час вперед с большой вероятностью, то можно ж начать печатать деньги.
хотя мне очень непонятно, что делать когда наступает жоппа (с двумя П)? как контролировать риск в этой крайне неприятной ситуации?
how to be prepared for three standard deviations move?
Re: вопрос
Date: 2018-09-04 06:08 am (UTC)Никакой move не происходит моментально. Такие модели должны выходить в кэш или даже менять знак позиции во время этого move. Таким образом сразу понятно что есть ограничение на размер капитала. Очень крупные игроки в критический момент могут не успеть развернуться.