Предсказания сбываются
Nov. 15th, 2024 02:37 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
ny_quantПочти год назад ВПС сказал:
Когда кончатся данные придется делать более умные модели, как когда-то и собирались.
Многие, в том числе и специалисты, не будем показывать пальцем, тогда не согласились, что данные скоро кончатся. Fast forward to this week:
Подъехал первый серьезный тревожный звоночек о том, что потолок нынешней парадигмы создания ИИ уже очень близко. На предыдущие, несерьезные, от «вечных» ИИ-скептиков, можно было не обращать внимания. Но свежая статья в ”The Information” описывает обстановку внутри лидера индустрии: ”OpenAI”.
1. Готовящаяся модель следующего поколения, под кодовым названием ”Orion”, превзошла по своим способностям нынешнюю GPT-4. Однако скачок в способностях оказался гораздо меньше, чем при переходе от GPT-3 к GPT-4. Судя по всему, это стало неприятным сюрпризом для команды.
2. Некоторые исследователи, работающие над моделью, предполагают, что ”Orion” НЕ даёт надежных улучшений по сравнению с GPT-4 в отдельных областях. Улучшения наблюдаются в языковых задачах. Но не в программировании — критически важной сфере для практического внедрения языковых моделей.
3. Стоимость работы “Orion” выше, чем GPT-4 – что явно указывает на то, что размеры “Orion” больше (см. ИИ-экспоненту №1).
4. Дефицит высококачественных данных для обучения моделей потребовал создания в ”OpenAI” отдельной команды для работы над этой проблемой.
Следущее поколение БЯМ вполне может стать последним, в крайнем случае предпоследним. Дальше будет что-то другое. Или отказ от амбиций разработать настоящий ИИ с переходом на "малые" специализированные модели типа "доктор" или "программист". Или таки придется делать умные модели. В конечном счете все равно придется.
Когда кончатся данные придется делать более умные модели, как когда-то и собирались.
Многие, в том числе и специалисты, не будем показывать пальцем, тогда не согласились, что данные скоро кончатся. Fast forward to this week:
Подъехал первый серьезный тревожный звоночек о том, что потолок нынешней парадигмы создания ИИ уже очень близко. На предыдущие, несерьезные, от «вечных» ИИ-скептиков, можно было не обращать внимания. Но свежая статья в ”The Information” описывает обстановку внутри лидера индустрии: ”OpenAI”.
1. Готовящаяся модель следующего поколения, под кодовым названием ”Orion”, превзошла по своим способностям нынешнюю GPT-4. Однако скачок в способностях оказался гораздо меньше, чем при переходе от GPT-3 к GPT-4. Судя по всему, это стало неприятным сюрпризом для команды.
2. Некоторые исследователи, работающие над моделью, предполагают, что ”Orion” НЕ даёт надежных улучшений по сравнению с GPT-4 в отдельных областях. Улучшения наблюдаются в языковых задачах. Но не в программировании — критически важной сфере для практического внедрения языковых моделей.
3. Стоимость работы “Orion” выше, чем GPT-4 – что явно указывает на то, что размеры “Orion” больше (см. ИИ-экспоненту №1).
4. Дефицит высококачественных данных для обучения моделей потребовал создания в ”OpenAI” отдельной команды для работы над этой проблемой.
Следущее поколение БЯМ вполне может стать последним, в крайнем случае предпоследним. Дальше будет что-то другое. Или отказ от амбиций разработать настоящий ИИ с переходом на "малые" специализированные модели типа "доктор" или "программист". Или таки придется делать умные модели. В конечном счете все равно придется.
