![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Entry tags:
Data mining - дорога в ад
Поскольку содержательные идеи у меня кончились, решил порыть вслепую. Стал резать данные на куски и смотреть где какие видны аномалии. Для одного почти бессмысленного ratio of 2 parameters в некотором интервале обнаружилась некоторая странность. ОК, быстренько запрограммировал и проверил на модели. Трах-тибидох! Результаты такие, что можно завтра увольняться и больше вообще никогда о деньгах не заботиться.
If it's too good to be true it probably is. Проверил out of sample, а там в некотором смысле только хуже стало. Ну чо, облизнулся? Однако, обидно мне стало такую жырную идею сразу выкидывать. Дай думаю, попробую не весь интервал, а только его подмножество, типа ещё одно линейное ограничение добавить. Ну и оказалось, что если правильно провести эту линию, то получается не такое огромное как в начале, но вполне заметное улучшение результатов в обоих data sets.
Только теперь у меня больше нет никаких out of sample tests и всем этим достижениям цена ровно ноль. Придётся выбросить.
If it's too good to be true it probably is. Проверил out of sample, а там в некотором смысле только хуже стало. Ну чо, облизнулся? Однако, обидно мне стало такую жырную идею сразу выкидывать. Дай думаю, попробую не весь интервал, а только его подмножество, типа ещё одно линейное ограничение добавить. Ну и оказалось, что если правильно провести эту линию, то получается не такое огромное как в начале, но вполне заметное улучшение результатов в обоих data sets.
Только теперь у меня больше нет никаких out of sample tests и всем этим достижениям цена ровно ноль. Придётся выбросить.
no subject
может это не к месту, я же говорю не поняла :-)
no subject
no subject
no subject
no subject
Вот. Сразу видно, что умный человек. Кто такой, если не секрет?
no subject
no subject
no subject
Sorry, глупость сказал, от усталости.
no subject
no subject