Data mining - дорога в ад

[ny_quant]

Поскольку содержательные идеи у меня кончились, решил порыть вслепую. Стал резать данные на куски и смотреть где какие видны аномалии. Для одного почти бессмысленного ratio of 2 parameters в некотором интервале обнаружилась некоторая странность. ОК, быстренько запрограммировал и проверил на модели. Трах-тибидох! Результаты такие, что можно завтра увольняться и больше вообще никогда о деньгах не заботиться.

If it's too good to be true it probably is. Проверил out of sample, а там в некотором смысле только хуже стало. Ну чо, облизнулся? Однако, обидно мне стало такую жырную идею сразу выкидывать. Дай думаю, попробую не весь интервал, а только его подмножество, типа ещё одно линейное ограничение добавить. Ну и оказалось, что если правильно провести эту линию, то получается не такое огромное как в начале, но вполне заметное улучшение результатов в обоих data sets.

Только теперь у меня больше нет никаких out of sample tests и всем этим достижениям цена ровно ноль. Придётся выбросить.

Comments

[tandem-bike.livejournal.com]

нихуя не поняла но "отрезонировала" - похоже на фишинг. когда анализируешь дата без гипотезы. шит ин, шит аут..

может это не к месту, я же говорю не поняла :-)

[ny-quant.livejournal.com]

В общем - к месту. Но сейчас такой machine learning бывает, что гипотезы нет, а результат всё равно есть. Вернее, есть семейство гипотез, а алгоритм из них выбирает лучшую.

[misha-b.livejournal.com]

Everybody looks at test set in any case. Who knows how valid the published results actually are. Not a new thing though, it has always been like that.

[aron-turgenev.livejournal.com]

Как говорил один финансовый математик, у меня есть идея, если пройдет - разбогатею, если нет - напишу книгу.

[ny-quant.livejournal.com]

Вот. Сразу видно, что умный человек. Кто такой, если не секрет?

[aron-turgenev.livejournal.com]

Фамилии я не помню (честно). Помню в каком университете он работал перед переходом на Уолл-Стрит.

[ny-quant.livejournal.com]

Думаю

[ny-quant.livejournal.com]

Sorry, глупость сказал, от усталости.

[nefedor.livejournal.com]

Это Ваша модель или по работе?

[ny-quant.livejournal.com]

Моя