Предсказания сбываются

[ny_quant]

Почти год назад ВПС сказал:

Когда кончатся данные придется делать более умные модели, как когда-то и собирались.

Многие, в том числе и специалисты, не будем показывать пальцем, тогда не согласились, что данные скоро кончатся. Fast forward to this week:


Подъехал первый серьезный тревожный звоночек о том, что потолок нынешней парадигмы создания ИИ уже очень близко. На предыдущие, несерьезные, от «вечных» ИИ-скептиков, можно было не обращать внимания. Но свежая статья в ”The Information” описывает обстановку внутри лидера индустрии: ”OpenAI”.

1. Готовящаяся модель следующего поколения, под кодовым названием ”Orion”, превзошла по своим способностям нынешнюю GPT-4. Однако скачок в способностях оказался гораздо меньше, чем при переходе от GPT-3 к GPT-4. Судя по всему, это стало неприятным сюрпризом для команды.

2. Некоторые исследователи, работающие над моделью, предполагают, что ”Orion” НЕ даёт надежных улучшений по сравнению с GPT-4 в отдельных областях. Улучшения наблюдаются в языковых задачах. Но не в программировании — критически важной сфере для практического внедрения языковых моделей.

3. Стоимость работы “Orion” выше, чем GPT-4 – что явно указывает на то, что размеры “Orion” больше (см. ИИ-экспоненту №1).

4. Дефицит высококачественных данных для обучения моделей потребовал создания в ”OpenAI” отдельной команды для работы над этой проблемой.

Следущее поколение БЯМ вполне может стать последним, в крайнем случае предпоследним. Дальше будет что-то другое. Или отказ от амбиций разработать настоящий ИИ с переходом на "малые" специализированные модели типа "доктор" или "программист". Или таки придется делать умные модели. В конечном счете все равно придется.

Comments

[misha-b.livejournal.com]

I am quite skeptical about this narrative. Current DL is highly sub-optimal, there is no reason to think progress would slow down significantly in the next few years.

[ny-quant.livejournal.com]

What do you mean sub-optimal? Architecture or optimization?

That the progress already slowed down looks more like a fact than a conjecture. See also recent article on BBG:

https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai

[misha-b.livejournal.com]

Both are suboptimal -- there even are no principled ways of choosing learning rates, for example. Architecture and compute are being chosen based on "scaling laws" which are heuristics based on a few data points. Etc, etc.

I think progress last few years has been miraculous. Even if a few big model runs by OpenAI/Antropic failed, so what?

[ny-quant.livejournal.com]

If they are both so highly suboptimal, how come the best minds can't materially improve it? How do you even know that they are suboptimal? Just b/c people found some ways to success heuristically, feeling their ways in the darkness, doesn't necessarily mean much better ways exist.

Of course the progress has been miraculous. And maybe they hit the wall now, or close to it. We'll see soon enough.

[misha-b.livejournal.com]

Of course I do not _know_ it is sub-optimal. It is an educated guess. It would be a true miracle if systems so complex and so recent were somehow optimal. Right now everyone is using roughly the same methods for training these models based on the scaling "laws", it made sense when gains were easy to obtain that way. But probably some more insights are needed now.

Either way a few months pause is nothing special. Of course, as a company, one would hate to waste $100mil and several months training a useless model, but in the large scheme of things it is nothing.

If there is no progress in the next 2-3 years, we can discuss :)

[ny-quant.livejournal.com]

My prediction is that exponential progress will change to linear to log, and then what I wrote in the post.

[misha-b.livejournal.com]

It is not clear how AI progress can be measure precisely enough for this to be testable.

[ny-quant.livejournal.com]

Maybe not precisely. But I'm sure you'd agree that the progress has been exponential. Same way you will eventually concede that it is no longer.

[misha-b.livejournal.com]

To me the AI progress in recent years has not been exponential but rather a sharp transition. It could not do certain things (for example, programming) and then it suddenly could.

[turbo-gum.livejournal.com]

>>с переходом на "малые" специализированные модели типа "доктор" или "программист"

Вот что я вижу — сейчас даже хорошо настроенная модель может выдавать совсем небольшую порцию нормального кода за раз. Так что, мне кажется, будут микро модели вроде "генератор функций доступа к данным на языке SQL" или что то подобное. И это неплохо, значит работы по созданию, настройке и интеграции таких моделей будет много.

[ticklish-frog.livejournal.com]

Это оттого, что у attention transformer конечное окно. И увеличение окна стоит нелинейно дороже. Можно поставить трамплин, который разбирает промпт, скармливает части и потом склеивает результаты, но это именно и есть настройка и интеграция .

[prof-bormental.livejournal.com]

А какие новости на фондовом рынке? Как там поживают бонды, уже начали верить в лучшее будущее?

[ny-quant.livejournal.com]

Вас что ли в интернете забанили?

Рынок акций на этой неделе падал, на сей раз Trump rally продолжалось ровно 2 дня. Бонды обратно не выросли.

[prof-bormental.livejournal.com]

Я в этом не понимаю. А вы - специалист, к тому же мы уже с вами обсуждали это неделю назад. Видел только, что биржа выросла, Доу Джонс перед началом голосования - 5755, потом - 6025, на данный момент - 5876, а особенно Биткоин. Кстати, как рост Биткоина объясняется? Неверие в обеспеченность мировых валют? Так если глобальная экономика рухнет и всё вернётся к натуральному обмену, кому нахер эти коды на серверах пригодятся?

[ivanoff272.livejournal.com]

what? u r trolling, right?
bitok != gold, if my memory doesn't trick on me)

[prof-bormental.livejournal.com]

Каким боком - золото? Это - код на харддиске. Отключи интернет или электричество - пиздец вашим сбережениям.

[shur-ik.livejournal.com]

...и, главное: в отличие от бумажного нала — цифровой след и возможность блокировки. Что бы там ни утверждали апологеты. Для правительств (всех правительств) это лакомый кусочек.

[ticklish-frog.livejournal.com]

Ну так уже и сейчас берется основной LLM, и делается fine-tuning на какую-то область (медицина или кодинг), и диспетчер перенаправляет на разные настроенные модели. я не думаю, что у них единая модель работает в чистом виде.

[prof-bormental.livejournal.com]

В продолжение темы Гитлера -

On Saturday’s broadcast of the Fox News Channel’s “Cavuto Live,” Rep. James Clyburn (D-SC) said that the country is seeing another Hitler with President-Elect Donald Trump.
Host Neil Cavuto then cut in to ask how that’s possible when Trump hasn’t become president yet and “Are you envisioning another Hitler? Is that what you’re saying?”
Clyburn responded, “That’s exactly what I’m saying.
https://video.foxnews.com/v/video-embed.html?video_id=6364798081112&loc=breitbart.com

[ny-quant.livejournal.com]

Видео не смотрел, верю на слово, считается.

[rdia.livejournal.com]

Сама по себе постановка задачи "Сделать программу - замену программиста" выглядит несколько странной. Что такое программа? Это в крайнем случае преобразователь текста в текст. В случае ChatGpt - интерактивный.

Но программист не является преобразователем из текста в текст.