Помощь зала
Jun. 29th, 2022 06:13 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
ny_quantБудь проклят тот день, когда я сел за баранку этого пылесоса! (с)
Я уже не буду говорить по сотому разу про семантику питона, индентацию и неудобный дебаггер. Самая феноменальная черта питона это непредсказуемое поведение, когда буквально один и тот же (скопипащенный) код в одном месте работает, а в другом нет, и понять в чем дело нельзя от слова никак. Сегодня у меня выдался особенно интересный день, в том смысле, что удалось наступить на одни и те же грабли дважды. Причем второй раз обошлось даже без копипасты, а прямо в одном и том же месте в цикле. Жил да был один dataframe, никого не трогал, починял примус. В одном месте к нему применялась операция groupby. И все шло хорошо пока я не поменял один из параметров, которые контролируют процесс наполнения этого dataframe. И вдруг ни с того ни с сего привет из черного ящика:
File "C:\Users\...\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\core\groupby\groupby.py", line 747, in get_group
raise KeyError(name)
Что-то где-то пошло не так, очевидно гораздо раньше, чем случилась ошибка. Дай думаю выведу данные на экран - может пойму в чем дело. Код выглядел так:
print(pos)
positions = pos.groupby(by='sign')
print(positions)
longs = positions.get_group(1)
Цикл этот проработал очень много раз без проблем. На предыдущей перед обломом итерации напечаталось:
... ......exdate ......strike. sign
619 20170616.0 2200.0 1.0
620 20170616.0 2200.0 1.0
<много похожих строк>
792 20170421.0 2475.0 -1.0
793 20170421.0 2475.0 -1.0
pandas.core.groupby.generic.DataFrameGroupBy object at 0x000001DB90D0A760
(Точки я добавил в тело поста, чтобы подравнять заголовки колонок.) А в последний раз вот что:
... ......exdate ......strike. sign
619 20170616.0 2200.0 1.0
620 20170616.0 2200.0 1.0
<много похожих строк>
817 20170616.0 2445.0 -1.0
818 20170616.0 2445.0 -1.0
Empty DataFrame
Columns: [exdate, strike, sign]
Index: []
Empty DataFrame, вон оно как! Понятно теперь почему оттуда ничего нельзя вынуть и оно ломается. Но почему оно пустое??!! Колонка 'sign' есть? Есть. Числа в ней есть? Есть, причем в каждой строчке. Так какого же черта??? И что вообще люди делают в таких случаях? Идти дебаггером в библиотеку и искать почему оно ломается в groupby.py?
Пока что я схитрил и вместо
positions = pos.groupby(by='sign')
longs = positions.get_group(1)
написал
longs = pos[pos['sign'] > 0]
Это отлично сработало, причем для тех параметров, при которых groupby() работал без аварии, результаты получились идентичные. Это, конечно, хорошо, но не покидает ощущение, что ходишь по минному полю как ночью по тайге. Хотелось бы все же по ходу чему-то научиться и что-то понять. Особенно как искать черную кошку в темной комнате.
В комментарии особенно приглашается добродетельный юзер![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif)
laoxia, который научил меня первым шагам с dataframe, а также все кто умеет питонить, особенно nefedor. Также я думаю, что скорее всего разбираются в теме misha_b и kobak. Извините если отвлек от важных дел.
Я уже не буду говорить по сотому разу про семантику питона, индентацию и неудобный дебаггер. Самая феноменальная черта питона это непредсказуемое поведение, когда буквально один и тот же (скопипащенный) код в одном месте работает, а в другом нет, и понять в чем дело нельзя от слова никак. Сегодня у меня выдался особенно интересный день, в том смысле, что удалось наступить на одни и те же грабли дважды. Причем второй раз обошлось даже без копипасты, а прямо в одном и том же месте в цикле. Жил да был один dataframe, никого не трогал, починял примус. В одном месте к нему применялась операция groupby. И все шло хорошо пока я не поменял один из параметров, которые контролируют процесс наполнения этого dataframe. И вдруг ни с того ни с сего привет из черного ящика:
File "C:\Users\...\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\core\groupby\groupby.py", line 747, in get_group
raise KeyError(name)
Что-то где-то пошло не так, очевидно гораздо раньше, чем случилась ошибка. Дай думаю выведу данные на экран - может пойму в чем дело. Код выглядел так:
print(pos)
positions = pos.groupby(by='sign')
print(positions)
longs = positions.get_group(1)
Цикл этот проработал очень много раз без проблем. На предыдущей перед обломом итерации напечаталось:
... ......exdate ......strike. sign
619 20170616.0 2200.0 1.0
620 20170616.0 2200.0 1.0
<много похожих строк>
792 20170421.0 2475.0 -1.0
793 20170421.0 2475.0 -1.0
pandas.core.groupby.generic.DataFrameGroupBy object at 0x000001DB90D0A760
(Точки я добавил в тело поста, чтобы подравнять заголовки колонок.) А в последний раз вот что:
... ......exdate ......strike. sign
619 20170616.0 2200.0 1.0
620 20170616.0 2200.0 1.0
<много похожих строк>
817 20170616.0 2445.0 -1.0
818 20170616.0 2445.0 -1.0
Empty DataFrame
Columns: [exdate, strike, sign]
Index: []
Empty DataFrame, вон оно как! Понятно теперь почему оттуда ничего нельзя вынуть и оно ломается. Но почему оно пустое??!! Колонка 'sign' есть? Есть. Числа в ней есть? Есть, причем в каждой строчке. Так какого же черта??? И что вообще люди делают в таких случаях? Идти дебаггером в библиотеку и искать почему оно ломается в groupby.py?
Пока что я схитрил и вместо
positions = pos.groupby(by='sign')
longs = positions.get_group(1)
написал
longs = pos[pos['sign'] > 0]
Это отлично сработало, причем для тех параметров, при которых groupby() работал без аварии, результаты получились идентичные. Это, конечно, хорошо, но не покидает ощущение, что ходишь по минному полю как ночью по тайге. Хотелось бы все же по ходу чему-то научиться и что-то понять. Особенно как искать черную кошку в темной комнате.
В комментарии особенно приглашается добродетельный юзер
laoxia, который научил меня первым шагам с dataframe, а также все кто умеет питонить, особенно nefedor. Также я думаю, что скорее всего разбираются в теме misha_b и kobak. Извините если отвлек от важных дел.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2022-06-30 06:21 pm (UTC)Если действовать по принципу "на охоту идти - собак кормить", скверность будет преследовать упорно. Осваивать еще одну профессию, тоже перспектива так себе. Лучше поискать лично приемлемый компромисс и преодолеть порог вхождения малой кровью.
Могу порекомендовать книгу Fluent Python, by Luciano Ramalho. Текст не просто содержательный - элегантный, я бы сказал. Редкость для учебника. Уровень не нулевой, но что-то мне подсказывает - подойдет как раз.
Если окажется out of print, или еще что, найдем способ переслать pdf.
И еще: без гита (гитхаба) в наши дни писать программу длиннее пятнадцати строк не рекомендуется. Освоить надо непременно. Это без питона жизнь есть, без гита - уже нет. Можно еще иметь в виду, что гит архиполезен при работе с любой plain text информацией, не только с текстами программ, где он нынче незаменим.
no subject
Date: 2022-06-30 09:20 pm (UTC)That was the idea.
Книжку украл, спасибо. Правда не знаю когда буду читать.
Git я как бы пользую по работе, но поскольку он нужен примерно раз в квартал, то от раза к разу забываю что к чему, так что только по шпаргалке.
Дома тоже как-то раз ставил, использовал для одного проекта, и не помню чтоб сносил, но по факту его нет. Чудеса. Но надо будет и правда поставить, хотя я всё же привык к SVN и переучиваться на старости лет мне лень.
no subject
Date: 2022-07-01 05:44 am (UTC)В шезлонге у бассейна, не?
>> Git я как бы пользую по работе, но поскольку он нужен примерно раз в квартал, то от раза к разу забываю что к чему, так что только по шпаргалке.
О, для начала вполне достаточно! Одной проблемой меньше. Уровень лучше, чем по шпаргалке, требуется, когда дело до совместной работы доходит. Но это же не прям завтра? SVN не надо бы, там сегодня пустыня и голодные стервятники вокруг скелета саблезубого тигра.
no subject
Date: 2022-07-01 01:47 pm (UTC)То то на работе заставили на git перейти.
Напрягать голову у бассейна не хочется даже если это нужно по работе, но посмотрим как пойдет.
no subject
Date: 2022-07-01 02:31 pm (UTC)Fluent Python какого года издания нашелся?
no subject
Date: 2022-07-01 02:48 pm (UTC)2015
no subject
Date: 2022-07-01 03:00 pm (UTC)