ИИ против физики
Nov. 16th, 2023 01:28 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
ny_quantВ журнале Nature опубликовали статью где сообщается, что DeepMind AI предсказывает погоду быстрее и лучше чем традиционные модели.
The model, called GraphCast, can run from a desktop computer and makes more accurate predictions than conventional models in minutes rather than hours.
AI models run 1,000 to 10,000 times faster than conventional numerical weather prediction (NWP) models
GraphCast, developed by Google’s AI company DeepMind in London, outperforms conventional and AI-based approaches at most global weather-forecasting tasks. Researchers first trained the model using estimates of past global weather made from 1979 to 2017 by physical models. This allowed GraphCast to learn links between weather variables such as air pressure, wind, temperature and humidity.
The trained model uses the ‘current’ state of global weather and weather estimates from 6 hours earlier to predict the weather 6 hours ahead. Earlier predictions are fed back into the model, enabling it to make estimates further into the future. DeepMind researchers found that GraphCast could use global weather estimates from 2018 to make forecasts up to 10 days ahead in less than a minute, and the predictions were more accurate than the ECMWF’s High RESolution forecasting system (HRES) — one version of its NWP — which takes hours to forecast.
Более подробная публикация в журнале Science.
GraphCast is implemented as a neural network architecture, based on GNNs in an “encode-process-decode” configuration, with a total of 36.7 million parameters
The multi-mesh contains the 40,962 nodes from the highest resolution mesh (which is roughly 1/25 the number of latitude/longitude grid points at 0.25°), and the union of all the edges created in the intermediate graphs, forming a flat hierarchy of edges with varying lengths.
Не помню кто мне рассказал как работали синоптики до внедрения ЭВМ. Они листали старые метеорологические карты чтобы найти ситуацию похожую на текущую, смотрели что было дальше и делали на основании этого прогноз.
The model, called GraphCast, can run from a desktop computer and makes more accurate predictions than conventional models in minutes rather than hours.
AI models run 1,000 to 10,000 times faster than conventional numerical weather prediction (NWP) models
GraphCast, developed by Google’s AI company DeepMind in London, outperforms conventional and AI-based approaches at most global weather-forecasting tasks. Researchers first trained the model using estimates of past global weather made from 1979 to 2017 by physical models. This allowed GraphCast to learn links between weather variables such as air pressure, wind, temperature and humidity.
The trained model uses the ‘current’ state of global weather and weather estimates from 6 hours earlier to predict the weather 6 hours ahead. Earlier predictions are fed back into the model, enabling it to make estimates further into the future. DeepMind researchers found that GraphCast could use global weather estimates from 2018 to make forecasts up to 10 days ahead in less than a minute, and the predictions were more accurate than the ECMWF’s High RESolution forecasting system (HRES) — one version of its NWP — which takes hours to forecast.
Более подробная публикация в журнале Science.
GraphCast is implemented as a neural network architecture, based on GNNs in an “encode-process-decode” configuration, with a total of 36.7 million parameters
The multi-mesh contains the 40,962 nodes from the highest resolution mesh (which is roughly 1/25 the number of latitude/longitude grid points at 0.25°), and the union of all the edges created in the intermediate graphs, forming a flat hierarchy of edges with varying lengths.
Не помню кто мне рассказал как работали синоптики до внедрения ЭВМ. Они листали старые метеорологические карты чтобы найти ситуацию похожую на текущую, смотрели что было дальше и делали на основании этого прогноз.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2023-11-16 07:14 pm (UTC)no subject
Date: 2023-11-16 08:36 pm (UTC)Они брали несколько карт и смотрели, что куда движется и с какой скоростью (что — барические образования). И пытались экстраполировать.
Это в первом приближении. Еще были всяческие местные статистики (видимо, это и имелось в виду в вашем рассказе).
В принципе могу представить, что статистика бьет модель — в модели по определению учтены не все факторы, коэффициенты определены с некоторым приближением и т. д. Но объем данных для этого должен быть неимоверно большим. Слабо верится, что десктоп потянет.
no subject
Date: 2023-11-16 09:00 pm (UTC)Думаю, и то и другое. Для краткосрочного прогноза (на день-два) как вы говорите. А на неделю вперед как я рассказал. Или я за давностию лет перепутал, тоже может быть.
Вот ещё какая история. На одной из прошлых работ, где среди прочего торговали электричеством, у нас был штатный метеоролог. Немного больной на голову, но это сейчас неважно. Его метод был "use the models to beat the models". Он занимался тем, что выискивал систематические ошибки в коммерческих моделях прогноза погоды и использовал их для внесения соответствующих поправок. Если верить его записям, его прогнозы были более точными.
Но это ладно. Однажды я планировал большой день рождения, а июньская погода в наших краях крайне ненадежна. Приглашения хотелось разослать заранее, но прогноз на 7-10 дней - сами понимаете. И тогда я решил поговорить с этим парнем. Он открыл на экране метеокарту и, возя по ней толстым пальцем, рассказал мне как будут по его мнению двигаться воздушные массы. Погоду на день праздника предсказал гнилую, и оказался прав. Sample of one, I know. Компьютерные модели, кстати, предсказывали примерно то же.
Я, пожалуй, тоже могу представитьчто статистика бьет модель. Данных накопилось охренительно много.
Учитывая то какие гигантские вычислительные мощности задействованы в больших метеоцентрах, даже в 10,000 раз быстрее может быть недостаточно чтобы работать на десктопе, согласен что сомнительно.
no subject
Date: 2023-11-16 09:12 pm (UTC)no subject
Date: 2023-11-16 11:00 pm (UTC)no subject
Date: 2023-11-17 08:16 am (UTC)Да, "в наших краях" — это очень существенный момент. Две большие разницы — предсказывать погоду в Израиле летом или в Питере осенью (да и в любое время года).
Но кому нужны предсказания погоды? То, что она портится, уже само по себе достаточно скверно; зачем же еще отравлять себе жизнь, узнавая об этом заранее?
А в целом эта история помогает (по крайней мере, мне) понять, как, собственно, работает ИИ.
no subject
Date: 2023-11-17 09:36 am (UTC)Про диплом таки да. Строго спросила: если не здесь он пригодится, то где же?
no subject
Date: 2023-11-17 06:10 pm (UTC)Я еще про климат часто пишу, мне не хватает знающих комментаторов. А тут френды скрывают свои таланты, ай-яй-яй! :)
no subject
Date: 2023-11-18 09:40 am (UTC)Заглянул на всякий случай в Вики — оказывается, уже все не так. Интересно, исследовал кто-нибудь связь объемов финансирования исследований изменений климата с результатами этих исследований?
no subject
Date: 2023-11-18 03:37 pm (UTC)как говорил, кажется, Паркинсон, "и этот метод тоже давал неплохие результаты"
no subject
Date: 2023-11-18 04:08 pm (UTC)no subject
Date: 2023-11-18 05:08 pm (UTC)Полистал ваш журнал — вроде не заметил приверженности алармизму, или как там это называется.
С пионером Будыко работал много лет в одном институте. Он был начальником отдела изменений климата, а я с ребятами из его отдела ездил в подшефный совхоз.
До того он много лет работал в ГГО (и даже руководил ею), но потом его вместе с отделом пристроили в Гидрологический институт (а как же, климат — он и на речной сток влияет, и на что только не). Я думал (или мне объясняли) — какие-то личные разборки, но вполне возможно — научные разногласия.
no subject
Date: 2023-11-19 04:28 pm (UTC)А заканчивали гидромет по гидрологии?
no subject
Date: 2023-11-19 05:41 pm (UTC)Пришлось переквалифицироваться в гидрологи, легко.
no subject
Date: 2023-11-19 05:51 pm (UTC)no subject
Date: 2023-11-19 06:09 pm (UTC)no subject
Date: 2023-11-20 03:35 am (UTC)В нашей группе был такой Жорик Семенов, отличный парень. Но наверное не вашего выпуска, ему сейчас уже под 70.
no subject
Date: 2023-11-21 06:59 am (UTC)