И последствия могут быть катастрофическими.
Около шести месяцев назад я опубликовал статью под названием «Искусственный интеллект сталкивается с непреодолимым потолком». В ней я предсказал предстоящую стагнацию в области искусственного интеллекта, в частности генеративного ИИ. Для того чтобы эти модели продолжали улучшаться такими же темпами, многочисленные исследования и эксперты в области ИИ указывали на необходимость экспоненциального увеличения объема данных для обучения, вычислительных мощностей и энергопотребления. Но это просто невозможно, и даже в апреле OpenAI и другие компании, занимающиеся генеративным ИИ, уже, казалось, сталкивались с жесткими ограничениями в этих областях. Однако недавние отчеты, интервью и исследования теперь официально подтвердили то, что я и многие другие предсказывали. Последствия для индустрии ИИ и экономики в целом могут быть ужасающими.
Эти отчеты были опубликованы изданиями The Information и Reuters. The Information опубликовало статью, в которой говорилось, что их следующая модель текстового ИИ, кодовое имя Orion, лишь незначительно превосходит текущую модель Chat GPT-4, несмотря на использование значительно большего объема данных для обучения. В публикации отмечалось, что «некоторые исследователи в компании считают, что Orion не всегда превосходит своего предшественника в выполнении определенных задач» и что «Orion лучше справляется с языковыми задачами, но может не превосходить предыдущие модели в таких задачах, как программирование».
Согласно данным The Information, модель Orion достигла уровня GPT-4 по возможностям после обучения на всего лишь 20% обучающих данных, но практически не улучшилась после этого. Учитывая, что методы обучения ИИ в последние годы достигли тупика, можно предположить, что объем данных для обучения Orion был в пять раз больше, чем у GPT-4, но модель при этом не стала заметно лучше. Это наглядно демонстрирует и подтверждает проблему убывающей отдачи.
Чтобы подчеркнуть эту проблему еще сильнее, Reuters взяло интервью у недавно уволенного соучредителя OpenAI Ильи Сутскевера. В интервью Сутскевер заявил, что недавние попытки компании масштабировать свои модели показывают, что эти усилия зашли в тупик. По его мнению, искусственный интеллект не может становиться лучше просто за счет увеличения объема данных.
Недавние исследования также подтверждают слова Сутскевера и объясняют, почему Orion оказался таким слабым. Одно из этих исследований показало, что по мере увеличения объема данных и размера моделей ИИ они не становятся универсально лучше, а улучшаются только в определенных задачах, теряя при этом свои широкие возможности. Это можно увидеть на примере модели OpenAI o1, которая крупнее GPT-4 и лучше решает математические задачи, но менее эффективно справляется с написанием текста. Аналогичная ситуация с Tesla FSD: по мере улучшения программного обеспечения в решении сложных проблем с движением оно, по сообщениям, начало терять базовые навыки вождения и стало задевать бордюры.
Еще одна компания обнаружила, что при текущих темпах компании, занимающиеся генеративным ИИ, такие как OpenAI, к 2026 году исчерпают запасы качественных свежих данных для развития своих моделей. Таким образом, улучшение ИИ просто за счет увеличения размера моделей вскоре станет нецелесообразным. Некоторые предполагают, что причина проблем Orion заключается в том, что OpenAI не может собрать достаточно данных, чтобы сделать его лучше GPT-4.
Так или иначе, это показывает, что прогнозы о внезапной стагнации генеративного ИИ стали реальностью.
Существуют потенциальные решения этой проблемы, такие как оптимизация построения моделей ИИ для снижения потребности в обучающих данных, использование нескольких моделей ИИ одновременно или внедрение новой вычислительной архитектуры для повышения эффективности инфраструктуры ИИ. Однако все эти решения находятся на ранних стадиях и будут готовы только через несколько лет. Более того, эти решения лишь откладывают проблему, так как они делают ИИ лишь немного более эффективным в плане использования энергии и данных, но не решают вопрос о том, где брать больше свежих и качественных данных в будущем.
Почему это важно?
Дело в том, что крупные технологические компании вложили миллиарды долларов в ИИ, основываясь на обещаниях его экспоненциального развития и огромной прибыльности в будущем. Увы, теперь мы знаем, что этого не произойдет.
Возьмем, к примеру, OpenAI. Несколько месяцев назад прогнозировалось, что компания понесет годовые убытки в размере 5 миллиардов долларов и может столкнуться с банкротством. Что еще хуже, даже выпущенные ими модели ИИ не приносят прибыли, несмотря на сотни миллионов пользователей. Так что, даже если OpenAI прекратит тратить деньги на разработку новых моделей, компания все равно окажется на грани краха. И все же, несмотря на это, OpenAI удалось привлечь несколько миллиардов долларов кредитов и еще 6,6 миллиарда долларов в виде нового финансирования, что дало компании невероятную оценку в 157 миллиардов долларов и спасло ее от гибели. Однако при текущем уровне убытков и затрат на разработку этих средств хватит всего на год.
Это, в сочетании с официально подтвержденной проблемой резко уменьшающейся отдачи, означает, что некоторые из крупнейших и наиболее влиятельных отраслей и инвестиционных фондов мира поддерживают по сути неисправный продукт. Последний раз, когда наша экономика столкнулась с подобной ситуацией, это привело к одному из худших финансовых кризисов в современной истории — кризису 2008 года.
Если вам нравится читать статьи на нашем канале и вы хотите помочь в его развитии, вы можете поддержать канал донатом:
https://www.donationalerts.com/r/blessedmma