ny_quant

My opinion is that she is wrong on both counts.

1. Energy is not a major limiting factor because current models are hugely inefficient.

2. There are lots of data in the world (e.g., billions of hours of youtube videos). Even the data we have is being used inefficiently.

From:

1. How do we know that models will become more efficient? Particularly on the time scale of a few years that this kid is talking about?

2. What's the evidence that anything useful can be made of youtube videos?

From:

1. Things are developing very quickly. For example, just a year ago quadratic scaling in the context length seemed like a big limitation and now, models have 1 million+ contexts. There are already relatively tiny models (e.g., Phi from Microsoft) which match much larger models in performance. I suspect 2-3 orders of magnitude in terms of compute can be easily shaven off by these improvements. You would still need a lot of energy, but nothing so unreasonable. After all, crypto currently uses a whole lot of energy and barely anyone notices.

2. There has been a strong shift toward multi-modality recently.
We will see how it goes, but people are multimodal, why would not the models be?

She is very knowledgeable but I think she is not taking in the history and current developments fully.

From:

You may be right about energy unless they go exponential as the kid predicts. Even if the models improve, I doubt the progress will be exponential. Do you agree with his analysis and expect another breakthrough in a few years?

I don’t know what you mean by multi modal. What I am trying to say is that even a bazillion hours of videos won’t help anyone or anything, human or silicon, to solve a Hilbert problem or quantum gravity.

From:

It is hard to predict breakthroughs, but given the pace of recent developments, I would not be surprised if the models improve radically in the next few years.

I don't have any opinion about quantum gravity. The current models are nowhere close, obviously, but then again just a few years ago the current capabilities (e.g., coding) seemed impossibly out of reach. Whether youtube helps, I have no idea but it would not shock me if it does.

From:

Как вы сами часто говорите, предсказание будущего – тяжёлое дело. :)

Насчёт электричества у меня тоже сомнения, что всё так плохо. Вдобавок к оптимизации моделей, возможно что переход на ядерную энергию будет ускоряться. Не только из-за AI, но и благодаря провалу зелёных технологий. Люди не хотят мириться с откатом в бедность.

Я думаю, что основной ограничивающий фактор AI будут сами люди. Мы уже сегодня видим, что далеко не на все темы AI позволено рассуждать. Чем выше будут способности машин, тем больше будет ограничений и запретных тем.

Вдобавок, если AI станет умнее человека, то как мы об этом узнаем? Скорее всего, люди просто подумают что он сломался и несёт чушь.

From:

Сейчас нет даже попыткок перейти на ядерную энергию. Старые реакторы закрываются, новые не строят.

Будет постепенно расширяться круг задач, которые ИИ решает лучше и быстрее человека. Так постепенно и узнаем.

From:

У меня предчувствие что мы на пороге очередного взлёта ядерной энергетики. Та ситуация когда gradually, then suddenly. Общественно мнение (за исключением группы зелёных фанатиков) склоняется в пользу ядерной энергии, политики не преминут последовать. Технологии постройки реакторов совершенствуются.

При этом, Азия строит ядерные реакторы. Если Запад хочет оставаться конкурентноспособным, то придётся решать проблему с дороговизной энергии. А альтернативы ядерной энергии пока никакой нет.

Edited Date: 2024-06-17 12:45 am (UTC)

From:

В Азии нет таких проблем с регуляциями и с liability.

Альтернатива всегда была, есть и будет: газ и уголь. В итоге, money talks bullshit walks: зеленым придется заткнуться, one way or another.

В то же время, возможности солнечной энергетики далеко не исчерпаны. И ветра тоже. Их вклад в производство энергии продолжает расти.

From:

Неточно выразился. Я имел в виду альтернативы, которые более-менее environment friendly. Газ, вроде, самый оптимальный по выбросам, но не его добыча. Уголь дешёвый, но добыча и утилизация отходов — грязные. У renewables, кроме непосредственно момента выработки электричества, с экологией всё очень плохо.

Я считаю, что бесполезно искать одну формулу для всех. Для каждой страны и области разные расклады. Например, в Австралии огромные залежи дешёвого угля, который можно добывать карьерным способом. Сам бог велел производить дешёвое эл-во из угля, что всю историю страны и делали. Я лично готов заплатить больше, чтобы эти деньги пошли на восстановление карьеров и state of the art угольные станции с очень низким уровнем отходов, переработкой золы и пр.. Но я не хочу платить в 4-5 раз больше за солнце/ветер, терпеть регулярные blackouts, и видеть как умирает промышленность вокруг из-за дороговизны энергии.

From:

Вот, кстати, попалась на глаза новость. Может быть я излишне пессимистичен, но по-моему так и будет расширяться круг задач, которые ИИ решает лучше и быстрее человека (NOT!): Meta says European regulators are ruining its AI bot (https://www.theverge.com/2024/6/14/24178591/meta-ai-assistant-europe-ireland-privacy-objections)

From:

Ну вот, например:

https://mi3ch.livejournal.com/5885920.html

From:

Там уже в комментах ответили (https://mi3ch.livejournal.com/5885920.html?thread=653941216#t653941216) миниатюрой из Жванецкого. Не могу ничего к этому добавить. :)

From:

То-то и оно, что ничем кроме юмора и сарказма уже и не ответить.

From:

Если отбросить юмор, то можно ответить так: Никогда люди не согласятся отдать контроль машинам над чем-то хоть сколько-нибудь важным. Качество работы машины тут никакой роли не играет.

From:

На вопрос, который вы задали в начале этой ветки

> если AI станет умнее человека, то как мы об этом узнаем?

так ответить нельзя. Но это может быть ответом на вопрос о том почему машинам не удастся уничтожить человеков.

From:

> благодаря провалу зелёных технологий.

What do you mean? Solar/wind are huge here in California:
"Nonhydroelectric renewable resources, mainly solar and wind energy, provided 41% of California's total in-state electricity generation in 2023"
https://www.eia.gov/state/analysis.php?sid=CA

From:

Порадуемся за Калифорнию. В сторону заметим, что там одни из самых высоких цен на эл-во в стране. Но я уже не знаю это из-за renewables или какие-то чисто калифорнийские регуляции/налоги.

В Европе стали закрывать реакторы и переходить на renewables. Результаты мы знаем.

В Австралии за последние несколько лет сумели довести цены на эл-во до европейских. В некоторых штатах blackouts стали нормой. Действовали по той же схеме: переход на renewables.

Это всё не проходит бесследно, люди начинают голосовать против renewables.

From:

Цены может и высокие, но они не имеют никакого значения для тех, кто их не платит, потому что 100% живут за счет своих солнечных панелей + батареи.

From:

Весь этот движ за renewables начался с того, что давайте беречь природу. Я двумя руками за, природу надо беречь! Теперь в Калифорнии берегут природу, в то время как в Китае и других азиатских странах производят солнечные панели и батареи. Очень удобно!

From:

Совсем бесплатно не получилось. Что наносит природе и человеку больший вред - уголь или панели - я точно не знаю, но подозреваю что все-таки уголь.

Edited Date: 2024-06-17 06:26 pm (UTC)

From:

Я тоже не знаю от чего больший вред. Очень много сопутствующих факторов. Пишут, что для панелей надо много редкоземельных металлов. А это рабский детский труд в Африке. Утилизация старых панелей тоже очень вредная.

Но панели и ветряки автоматически требуют батареи. А с батареями пока всё плохо.

From:

С другой стороны, некоторые скажут, что если бы не рабский труд, то эти дети могли бы просто умереть от голода.

From:

It is nice to have your own energy particularly when the prices are high :)

From:

I don't know about Europe, Germany seems not ideal for solar, but in the South of US solar is becoming very cheap.

From:

The main problems with solar (and wind) are: a) electricity produced far from the places where it is consumed, and b) the bulk of the electricity produced not at the time when it's needed.

It means that we have to solve the problem of transportation (expensive, wasteful) and storage (very expensive, harms environment). At the same time, we have to maintain parallel infrastructure for the "legacy" power plants (coal, gas, nuclear) as a backup and keep these plants operational to fill the gaps.

The maintenance of such system quickly becomes a nightmare and not practical.

From:

Не то чтоб очень уж быстро. Этой движухе уже десятилетия от роду, а никакого кошмара так и не наступило. Может быть когда-нибудь.

From:

Кошмар потихоньку наступает. Цены неуклонно растут и перебои становятся привычным делом. И это при том, что renewables занимают малый процент от всего электричества.

From:

Arguably, цены растут потому что рост населения и желание оного хорошо жить превосходят темп введения в производство новых мощностей. Я не думаю, что renewables имеют к этому прямое отношение. Во всяком случае, не главный фактор.

From: