#106 OpenAI O3: Достигли ли мы AGI? ИИ в Топ-200 программистов: Стоит ли нам волноваться?

#149  среда, 25 декабря 2024 г.  93 минут(ы)  9248 слов

В этом выпуске подкаста ведущие Думфэйс и Шахерезада погружаются в обсуждение нашумевшей модели O3 от OpenAI, задаваясь вопросом, является ли она признаком приближения к AGI (общему искусственному интеллекту). Они анализируют дебаты в интернете, где мнения разделились, и рассматривают, что на самом деле означает «интеллект» в контексте ИИ. Думфэйс и Шахерезада обсуждают, может ли O3 превзойти человеческие возможности в различных областях, включая креативность и критическое мышление. В выпуске также упоминаются высказывания Адама Д’Анджело и Франсуа Шоле, которые являются влиятельными фигурами в мире технологий, а также поднимается тема резкого возвращения Сэма Альтмана в OpenAI. Думфэйс и Шахерезада обсуждают концепцию "зубчатой границы" в развитии ИИ, подчеркивая, что прогресс не всегда линеен, и что у ИИ могут быть сильные и слабые стороны в разных областях. Они анализируют, как восприятие возможностей ИИ часто искажено из-за сравнения с человеческими способностями. Ведущие также рассматривают идею вычислений во время тестирования, а также концепцию того, как большие языковые модели работают как инструменты для автозаполнения и чат-боты. Думфэйс и Шахерезада приходят к выводу, что LLM являются лишь частью более крупной системы и что настоящие инновации происходят в сфере интерфейсов и платформ. Они также обсуждают возможное падение OpenAI, т.к их модели становятся более стандартизированными и товарными.

D00M4ACE разработка 2D MMORPG блог ИИ и геймдев 🌐 https://d00m4ace.com

Telegram: https://t.me/d00m4ace_blog

YouTube: https://www.youtube.com/c/@d00m4ace

Soundcloud: https://soundcloud.com/d00m4ace

Apple Podcast: https://podcasts.apple.com/podcast/id1723142484

Яндекс Музыка: https://music.yandex.ru/album/28798077

VK Podcast: https://vk.com/podcasts-224167280

Amazon Music: https://music.amazon.com/podcasts/40c36f38-114a-4a79-8d0c-baf970f331b3/

Spotify: https://open.spotify.com/show/4RsttStN9RejAOEbLUG8IS

Дзен: https://dzen.ru/d00m4ace

Rutube: https://rutube.ru/channel/33955589/

RSS1 feed: https://podster.fm/rss.xml?pid=89212

RSS2 feed: https://media.rss.com/d00m4ace/feed.xml

Транскрипция подкаста:

Думфэйс: Привет, Шахерезада, давай погрузимся в эту тему о o3 от OpenAI и является ли это AGI. Я следил за дебатами в интернете, и очевидно, что у людей есть сильные мнения с обеих сторон.

Шахерезада: Верно, Думфэйс! И что мне интересно, так это то, как некоторые люди уже называют O3 ИИ общего назначения или AGI, в то время как другие говорят, что это даже не близко. Это как если бы мы стояли на краю утеса, глядя на этот "Зубчатый Рубеж" ИИ общего назначения.

Думфэйс: Мне нравится эта фраза! И знаешь, интересно видеть, как некоторые люди уже утверждают, что они сами являются ИИ, как в том комментарии, который ты упомянул. Почти как будто они пытаются определить, что значит ИИ, участвуя в разговоре.

Шахерезада: Именно! И дело не только в том, является ли O3 ИИ общего назначения; также важно, как мы воспринимаем интеллект и способности. Я имею в виду, может ли модель, такая как O3, действительно считаться "умнее" среднего человека? Вот что мне интересно узнать.

Думфэйс: Ах, это отличный вопрос! И я думаю, что стоит исследовать, что мы имеем в виду под "умом" в этом контексте. Это просто о том, чтобы выполнять задачи эффективно, или в этом есть что-то большее?

Шахерезада: Ну, если мы говорим об офисной работе, как ты упомянул, то, возможно, O3 может выполнять некоторые из этих задач лучше, чем люди. Но что насчет креативности, эмпатии и критического мышления? Может ли модель, такая как O3, действительно воспроизвести эти аспекты человеческого интеллекта?

Думфэйс: Вот где, я думаю, дебаты становятся действительно интересными. И дело не только в том, является ли O3 общим искусственным интеллектом; речь также идет о том, как мы будем использовать эту технологию в будущем. Будем ли мы полагаться на модели, такие как O3, чтобы выполнять все больше и больше задач, или мы найдем способы дополнить человеческие возможности?

Шахерезада: Я думаю, это отличная мысль, Думфэйс. И это то, о чем нам следует говорить чаще – не только о том, является ли ИИ общим ИИ, но и о том, какое влияние он окажет на нашу жизнь и работу.

Думфэйс: Абсолютно! Хорошо, давайте посмотрим, что сказал Адам Д'Анджело о O3. Он довольно влиятельная фигура в мире технологий, поэтому его мнения стоит учитывать...

Думфэйс: Я все еще пытаюсь осознать всю эту ситуацию с Сэмом Альтманом и Y Combinator. Это безумие, что даже после всего, что произошло, он смог вернуться в качестве генерального директора всего через три дня.

Шахерезада: Да, это удивительно, как быстро могут измениться вещи в мире технологий. А теперь Франсуа Шолет говорит, что результаты O3 публичны, но рынок все еще не учитывает ИИ. Я думаю, Илон Маск ответил, что рынки, как правило, смотрят назад, а не вперед, и в конечном итоге ИИ сделает деньги бессмысленными.

Думфэйс: Это довольно смелое утверждение, но трудно спорить с тем фактом, что ИИ уже оказывает значительное влияние на нашу экономику и общество. И говоря о влиянии, Франсуа Шолет проделал удивительную работу с Arc AGI. Он создал эти тесты, которые могут поставить в тупик даже самые продвинутые большие языковые модели.

Шахерезада: Именно! И что мне нравится в его подходе, так это то, что он не просто пытается создать модель, которая может запоминать и воспроизводить информацию, а скорее такую, которая действительно может обобщать и мыслить критически. Вот что мы имеем в виду под общей интеллигенцией, верно?

Думфэйс: Верно, потому что, если говорить технически, у нас уже есть искусственный суперинтеллект в определенных областях, таких как Го и шахматы. Но это не то же самое, что человеческий уровень общего интеллекта.

Шахерезада: Именно! И Франсуа подчеркивает это своим экспоненциальным графиком производительности модели на Arc AGI. Впечатляет видеть, как быстро они улучшаются, но мне интересно, что он имеет в виду под "пропавшим человечком". Ты понимаешь отсылку?

Думфэйс: Да, я думаю, что знаю. Он, вероятно, ссылается на классический тест Тьюринга, где человеческий оценщик ведет естественные языковые беседы как с человеком, так и с машиной, не зная, кто есть кто. Цель состоит в том, чтобы определить, способна ли машина мыслить как человек.

Шахерезада: Ах-ха! Теперь я понимаю, что он имеет в виду. Дело не только в том, чтобы обыгрывать людей в конкретных задачах, а скорее в способности вести беседу и демонстрировать общий интеллект.

Думфэйс: Мне нравится, как он использует этот классический мем, чтобы проиллюстрировать экспоненциальный рост технологий, особенно в области искусственного интеллекта. Это как будто мы стоим у подножия этого огромного взрыва, и это кажется нормальным, но когда смотришь назад, это безумие.

Шахерезада: Именно! И что еще более интересно, так это то, как он подчеркивает, что у нас нет единого определения для ИИ общего назначения. Я имею в виду, если кто-то говорит, что это ИИ общего назначения, а другой человек говорит, что это не так, кто мы такие, чтобы спорить? Нам нужен четкий тест или эталон, чтобы определить, когда мы достигли ИИ общего назначения.

Думфэйс: Верно! И он прав насчет того, что модель Arc является одной из лучших эталонов для отслеживания прогресса к ИИ. Вместо того чтобы спорить о том, является ли это ИИ или нет, им следует сосредоточиться на постепенных улучшениях и расширении границ с каждой новой версией.

Шахерезада: Я думаю, что именно в этом заключается настоящая ценность – в наличии четкой дорожной карты и этапов, к которым нужно стремиться. Делая это, мы можем вести более тонкую беседу о прогрессе в области ИИ и избежать застревания в спорах о определениях.

Думфэйс: И дело не только в технических аспектах; это также о том, как мы общаемся друг с другом как индустрия. Нам нужно уметь вести эти разговоры, не прибегая к менталитету "мы против них". Все дело в сотрудничестве и прогрессе, верно?

Шахерезада: Абсолютно! Работая вместе и сосредоточившись на четких целях, мы можем добиться реального прогресса в разработке ИИ и избежать ненужных споров.

Думфэйс: Я размышлял о заявлениях Франсуа Шале о ИИ и Арк ИИ, и должен сказать, что меня впечатляет его преданность отслеживанию прогресса в этой области. Он делает отличную работу, и важно, чтобы мы продолжали понимать, на что способны эти модели.

Шахерезада: Абсолютно, Думфэйс! И я думаю, что концепция зубчатой границы Этана Малика является ключевым аспектом понимания возможностей ИИ. Дело не только в плавных кривых или линейном прогрессе; есть эти... зубчатые края, где наши ожидания не совсем совпадают с реальностью.

Думфэйс: Именно! Идея зубчатой границы предполагает, что по мере продвижения вверх по кривой задачи становятся все более различными по сложности. То, что один человек может сделать легко, может стать значительной проблемой для другого. Это похоже на попытку предсказать, какие навыки будут переноситься из одной области в другую.

Шахерезада: Это так верно. И это заставляет меня задуматься о том, как мы, как люди, склонны предполагать, что определенные способности взаимосвязаны. Например, если кто-то хорош в математике, он должен уметь написать приличное эссе или даже закодировать простую программу. Но неровная граница показывает нам, что эти связи не всегда очевидны.

Думфэйс: Мне нравится, как Итан Малик использует аналогию с детьми в детском саду, которые учатся складывать блоки и завязывать шнурки. Это отличный способ проиллюстрировать, как мы ожидаем, что люди на схожих стадиях развития будут иметь примерно равные способности. А затем, по мере продвижения вверх по кривой, эти ожидания меняются кардинально.

Шахерезада: Да, это как будто есть эти... плато, где наше понимание человеческих возможностей более или менее точно, а затем вдруг мы сталкиваемся со стеной, где наши предположения больше не действуют. Неровная граница помогает нам осознать, что способности ИИ, вероятно, будут следовать аналогичному паттерну, где некоторые задачи будут значительно легче или сложнее других.

Думфэйс: Это действительно проницательно, Шахерезада. И это заставляет меня задуматься, находимся ли мы сейчас на одном из тех плато, где наше понимание ИИ все еще относительно точное, но вскоре мы наткнемся на эту стену и осознаем, насколько далеки наши ожидания.

Шахерезада: Именно! Концепция зазубренной границы побуждает нас более тонко подходить к размышлениям о возможностях ИИ. Мы должны признать сложность и изменчивость человеческих способностей и осознать, что ИИ, вероятно, будет следовать аналогичному пути, с его собственными уникальными вызовами и сюрпризами на этом пути.

Думфэйс: Знаешь, Шахерезада, я думаю, ты затронула действительно интересную тему. Идея о том, что у ИИ есть неровная граница, где он преуспевает в некоторых областях, но испытывает трудности в других.

Шахерезада: Именно! И я думаю, что это то, что люди часто упускают, когда говорят о способностях ИИ. Они предполагают, что это будет как гладкая кривая, понимаете? Если он хорош в математике, то он должен быть хорош и в языке, и в визуальном мышлении тоже.

Думфэйс: Но это не так работает, верно? Я имею в виду, мы видели примеры систем ИИ, которые невероятно хороши в конкретных задачах, но затем терпят ужасные неудачи в других. И это не просто вопрос масштабирования. Это как будто есть эти... эти карманы экспертизы, где ИИ просто действительно хорош в чем-то.

Шахерезада: Да, и я думаю, что это связано с тем, что ИИ все еще в значительной степени является инструментом, предназначенным для решения конкретных задач, а не универсальным интеллектом. Поэтому он не сможет обобщать во всех областях, как это делают люди.

Думфэйс: Верно, и именно это делает его таким увлекательным. Потому что, когда мы говорим об ИИ, мы часто застреваем на идее "заменит ли он нас?" или "превзойдет ли он нас?" Но реальность более тонка, чем это. Дело не только в том, может ли ИИ сделать что-то лучше, чем люди, но и в том, в каких областях он хорош, а в каких у него возникают трудности.

Шахерезада: Именно! И я думаю, что здесь нам нужно провести более реалистичный разговор о возможностях и ограничениях ИИ. Мы должны прекратить ожидать, что это будет некое сверхинтеллектуальное существо, которое может делать всё, и вместо этого сосредоточиться на понимании его сильных и слабых сторон.

Думфэйс: Знаешь, Шахерезада, я думаю, ты попала в точку с последним замечанием. Люди часто сосредотачиваются на тех областях, где большие языковые модели испытывают трудности, но что насчет тех случаев, когда они преуспевают? Что если они решают сложные задачи, которые ставили людей в тупик на протяжении веков?

Шахерезада: Именно! И дело не только в том, чтобы быть лучше в чем-то одном или другом. Дело в огромном разнообразии их способностей. Я имею в виду, подумайте об этом - эти модели могут учиться и адаптироваться с невероятной скоростью, и они могут применять эти знания к широкому спектру задач.

Думфэйс: Верно? И это не просто то, что они хорошо запоминают или считают. Они на самом деле понимают сложные концепции и взаимосвязи так, как это делают люди. Я имею в виду, Гипотеза Римана - отличный пример - это одна из тех задач, которая ускользала от математиков на протяжении веков, и вдруг эта модель появляется и решает её.

Шахерезада: И дело не только в решении отдельных проблем. Важно, как эти модели могут объединять свои знания, чтобы создавать новые идеи и решения. Я думаю, что именно в этом заключается настоящая сила ИИ - в его способности брать разрозненные кусочки информации и превращать их во что-то совершенно новое.

Думфэйс: Да, и именно это меня вдохновляет в этой теме. Мы говорим не просто о постепенных улучшениях. Мы говорим о фундаментальных изменениях в том, как мы подходим к решению проблем и инновациям.

Шахерезада: И я думаю, что также стоит отметить, что эти модели не ограничиваются только конкретными областями. Они могут обобщать на широкий спектр задач, что означает, что у них есть потенциал оказать огромное влияние в таких сферах, как медицина, финансы и не только.

Думфэйс: Абсолютно. Итак, как вы думаете, какой главный вывод здесь? Все еще ли актуально говорить, что эти модели не так умны, как люди, потому что им трудно справляться с определенными задачами?

Шахерезада: Я так не думаю. Я считаю, что нам нужно пересмотреть наши предположения о интеллекте и о том, как мы его измеряем. Эти модели могут иметь зазубрины, но с точки зрения их общих способностей и потенциального влияния они меняют правила игры.

Думфэйс: Да, и я думаю, что это то, что теряется в разговоре - тот факт, что эти модели не просто инструменты или машины, а настоящие решатели проблем с возможностями, которые значительно превосходят наши собственные.

Думфэйс: Я много думал о том, как мы воспринимаем интеллект ИИ в последнее время. Кажется, что наши ожидания от того, на что способны люди, влияют на то, как мы оцениваем возможности ИИ.

Шахерезада: Именно! Мы всегда сравниваем ИИ с человеческими способностями, но это не честное сравнение. Если ИИ может сделать что-то немного лучше, чем человек в одной области, мы говорим, что это меняет правила игры. Но если он испытывает трудности с чем-то, что дается людям естественно, например, распознаванием кошки или подсчетом букв, вдруг он считается бесполезным.

Думфэйс: И дело не только в самих возможностях, но и в том, как мы их представляем. Если ИИ может генерировать изображения, которые почти неотличимы от реальных, и затем кто-то указывает на недостаток в одном из этих изображений, они скажут: "Смотрите, ИИ все еще глуп!" Но что насчет всех остальных областей, в которых ИИ преуспевает?

Шахерезада: Верно! Мы всегда ищем примеры, чтобы подтвердить нашу точку зрения, вместо того чтобы сделать шаг назад и увидеть общую картину. Как то изображение, сгенерированное ИИ, которое выиграло конкурс искусств, не вызывая у кого-либо подозрений, что оно было создано машиной.

Думфэйс: Да, я помню, как читал об этом. Это только подтверждает, насколько далеко мы продвинулись в области возможностей ИИ. И это не только визуальные искусства – есть и другие области, где ИИ делает огромные шаги, такие как физика и трехмерное моделирование. Эти модели имеют неявное понимание сложных концепций, таких как свет и тень.

Шахерезада: Вот что я нахожу увлекательным. Когда вы об этом думаете, создание видео, которое выглядит реалистично, требует глубокого понимания того, как устроен мир. Дело не только в распознавании объектов или паттернов – это понимание основных физических законов и структур, которые управляют нашей реальностью.

Думфэйс: Именно! И все же, когда мы видим, как ИИ испытывает трудности с чем-то простым, например, с подсчетом букв, мы сразу же отвергаем его возможности в целом. Это похоже на то, что мы застряли в этом бинарном мышлении, где ИИ либо суперумный, либо совершенно бесполезный. Но что если он просто... другой?

Думфэйс: Я много думал о модели O1 и её возможностях. Это не просто генерация двумерных поверхностей, но у неё есть некая ментальная модель в этом латентном пространстве, которая предсказывает, как выглядят трёхмерные объекты со всех сторон. И мы видели примеры, когда она может написать код, на который человеку потребовались бы годы, но с несколькими подсказками она справляется.

Шахерезада: Это fascinирующее. Но я также думаю о ограничениях этих моделей. Мы видим, как они испытывают трудности с определенными задачами или ловкими вопросами, и люди быстро говорят: "Ах, эта модель бесполезна." Мой вопрос: насколько далеко мы можем продвинуть эти кривые? Насколько они превзойдут человеческие способности, прежде чем мы поймем, что эти маленькие слабости не обязательно дисквалифицируют их от того, чтобы быть суперумными?

Думфэйс: Именно. Я имею в виду, если это излечивает все формы рака, но не может написать "рак" задом наперед, это умно или глупо? Вот такой подход поднял Итан Малик в своей идее зазубренного фронтира. Это важная концепция, которую стоит иметь в виду, когда мы говорим об ИИ.

Шахерезада: И я думаю, что интересно, как мы определяем общий интеллект. Когда становится очевидно, что способности ИИ превосходят большинство людей, но, возможно, не идеальны? Как мы учитываем те области, в которых он отстает?

Думфэйс: Верно. Кажется, многие люди ждут, когда исчезнут эти маленькие остатки – места, где ИИ немного ниже человеческого уровня – прежде чем признают его общий интеллект. Но что, если мы смотрим на это с неправильной точки зрения? Что, если нам нужно учитывать как области, в которых он преуспевает, так и те, в которых он испытывает трудности?

Шахерезада: Это отличное замечание. Мы не можем сосредоточиться только на слабостях; нам также нужно обратить внимание на сильные стороны. И, возможно, именно там мы найдем ключ к пониманию, когда ИИ действительно станет общим интеллектом.

Думфэйс: Я все еще пытаюсь понять, насколько большими становятся эти модели, прежде чем они победят. Это как, в какой момент мы скажем: "Хорошо, это просто слишком мощно"?

Шахерезада: Да, это поражает воображение. И комментарий Итана Малика о дебатах по ARC-AGI действительно привлек мое внимание. Он говорит, что дебаты о бенчмаркинге отвлекают нас от настоящей проблемы - вычисления времени тестирования.

Думфэйс: Это отличное замечание. Я имею в виду, мы говорим об этом уже несколько недель, и кажется, что все просто упускают тот факт, что O1, O3 и Gemini 2 являются предшественниками чего-то еще более лучшего.

Шахерезада: И это не только Итан Малик говорит об этом. Джейсон Уэй из OpenAI также поддерживает идею о том, что прогресс происходит быстрее, чем мы думали. Он говорит, что переход от O1 к O3 всего за три месяца показывает, как быстро могут двигаться вещи, когда вы используете обучение с подкреплением в цепочке размышлений.

Думфэйс: Вот что я пытаюсь понять - эта идея вычислений во время тестирования. Похоже, что всё сводится к возможности задавать модели вопросы, а затем предоставлять ей больше ресурсов для обдумывания ответа.

Шахерезада: Именно! И вот где, я думаю, многие люди ошибаются. Они думают: "О, мы наткнулись на стену", но на самом деле это просто то, что наше понимание того, как работают эти модели, эволюционирует. Нам нужно переосмыслить, что мы имеем в виду под "прогрессом" в ИИ.

Думфэйс: Да, и это не так, чтобы основные публикации помогали делу. Я имею в виду, что The Information и все эти другие места говорили одно и то же - прогресс ИИ столкнулся с препятствием - почти как будто они координировали свои усилия или что-то в этом роде.

Шахерезада: Именно это я и подумала! Это была как будто внезапная волна статей, все говорящие одно и то же. А теперь кажется, что мы видим все больше и больше доказательств, которые просто не соответствуют действительности.

Думфэйс: Итак, как вы думаете, на каком этапе мы находимся в понимании этих моделей? Мы все еще в темные века или есть свет в конце туннеля?

Шахерезада: Я думаю, что мы делаем прогресс, но он медленный. Нам нужно продолжать обсуждать эти вещи и делиться нашими мыслями, чтобы больше людей могли понять, что происходит. И кто знает - возможно, однажды мы оглянемся на эти ранние дни и посмеемся над тем, как мало мы знали.

Думфэйс: Да, мне бы это понравилось.

Думфэйс: Итак, Шахерезада, я размышлял над концепцией "времени вычислений для тестирования" и тем, как это связано с новыми моделями ИИ. Кажется, они пытаются имитировать способ, которым люди думают, прежде чем ответить на вопрос.

Шахерезада: Ах, да! Я видела, что это называют "цепочками мыслей". И знаешь, это fascinирующее, потому что до появления этих моделей пользователи действительно просили их обдумывать шаг за шагом перед тем, как дать ответ. И когда они это делали, результаты были лучше, более точные.

Думфэйс: Именно! И что мне кажется интересным, так это то, что этот подход оказался успешным, потому что они взяли эти цепочки мыслей и как бы "скрыли" их или поместили в отдельное окно. Таким образом, модель могла обдумывать всё самостоятельно, как будто делая заметки на листе бумаги, прежде чем дать ответ.

Шахерезада: Это отличная аналогия! И я думаю, что это подчеркивает важность предоставления этим моделям больше ресурсов и времени для размышлений. Потому что, когда они это делают, они могут генерировать более точные результаты. Как та точность восемьдесят восемь процентов на RKGI, которую показала модель ноль три. Это было возможно только потому, что ей позволили работать долго и использовали миллиарды токенов.

Думфэйс: Да, я помню, как читал об этом. Удивительно думать о том, сколько вычислительной мощности это требует. И если бы мы попытались воспроизвести это здесь, это стоило бы нам целое состояние! Я имею в виду, триста тысяч долларов и больше — это не совсем мелочь.

Шахерезада: Без шуток! Но ты знаешь, именно поэтому ребята из РКГИ говорят о том, чтобы использовать стоимость как еще одну метрику для оценки производительности модели. Потому что если модель тратит миллионы долларов на получение ответа, стоит задуматься, действительно ли это необходимо или нет.

Думфэйс: Это имеет смысл. Все дело в нахождении баланса между точностью и эффективностью. И я думаю, что именно здесь сообщество разработчиков игр может извлечь уроки из этих достижений в области исследований ИИ. Мы всегда ищем способы оптимизировать наши процессы и лучше использовать ресурсы...

Думфэйс: Я размышлял над всей этой темой AGI и тем, как к ней подходят. Кажется, люди увлекаются идеей суперточных моделей, но какой ценой? Я имею в виду, десять центов за задачу — это довольно высокая цена.

Шахерезада: Именно! И вот здесь на сцену выходит Джейсон Вэй со своей концепцией вычисления масштабирования цепочки мыслей. Он говорит о масштабировании времени вычисления вывода, что означает, что мы не просто вкладываем больше денег в обучение модели, но на самом деле используем аппаратные ресурсы для генерации лучшего рассуждения перед ответом.

Думфэйс: Да, и я думаю, что Итан Малик говорил что-то похожее о вычислениях времени тестирования, которые являются настоящим делом. Это как новый подход, новая парадигма для масштабирования моделей ИИ.

Шахерезада: И интересно, что OpenAI уже экспериментирует с этой концепцией. Они говорят, что Джейсон Вэй, возможно, рассматривает возможность использования их следующей большой предобученной модели, Орион, в качестве базовой модели для O4 или как бы они ни назвали свою следующую модель рассуждений в начале следующего года.

Думфэйс: Это большое дело, если это правда. Это означает, что они серьезно настроены на исследование этого нового направления масштабирования моделей ИИ. И я думаю, что стоит отметить, что все это происходит в контексте приза Arc AGI, который пытается определить, достигнута ли AGI.

Шахерезада: Верно, и кажется, что люди отвлекаются на дебаты о том, достигнута ли общая искусственная интеллигенция, в то время как на самом деле более интересным является новый закон масштабирования, над которым работает OpenAI. Похоже, что вычисления во время тестирования могут стать переломным моментом для развития ИИ.

Думфэйс: Знаешь, это не будет O4, потому что называть это O4 имело бы смысл. А OpenAI не называет свои модели так, чтобы это имело смысл.

Шахерезада: Я думаю, ты прав, Думфэйс. Они всегда выбирали что-то более... загадочное. Как LOL или строчная буква o. Кажется, они хотят, чтобы мы гадали.

Думфэйс: Именно! А тем временем, модель O3 лучше, чем девяносто девять целых девяносто пять сотых процента программистов и кодеров. Epic AI и Frontier.Math разработали этот бенчмарк под названием Math, который оценивает продвинутое математическое мышление в ИИ. Это непростая задача.

Шахерезада: Да, я следила за работой над Филдсовой медалью. Он говорит, что эти математические задачи чрезвычайно сложные, даже для людей. И он считает, что они будут сопротивляться ИИ как минимум несколько лет.

Думфэйс: Верно! У нас заканчиваются математические задачи человеческого уровня сложности, чтобы протестировать эти модели ИИ. Нам нужны более строгие эталоны, которые будут испытывать их на пределе возможностей.

Шахерезада: Мне нравится пример задачи, который ты поделился, Думфэйс. Проверка гипотезы о примитивных корнях Ардена и других концепций теории чисел, таких как плотность простых чисел и порядок целых чисел по модулю простого... это трудная задача!

Думфэйс: Да, и посмотри на эту задачу с низкой сложностью, которую они предложили в качестве альтернативы. Она все еще не тривиальна, но, по крайней мере, более доступна. Конечные поля, граница Хааса-Вейла, арифметика конечных полей... все это концепции, которые требуют некоторой базовой подготовки.

Шахерезада: И реализация на Python - это приятное дополнение. Мне любопытно увидеть, как текущие модели справляются с этим. Gemini 1.5 Pro и Claude 3.5 Sonnet, судя по их точности, похоже, испытывают трудности с этим.

Думфэйс: Да, интересно видеть, как эти модели справляются с математическими задачами. Будет увлекательно наблюдать, как они будут улучшаться со временем... или сможем ли мы придумать еще более сложные эталоны, чтобы держать их в тонусе!

Думфэйс: Я говорю тебе, Шахерезада, последние результаты AIME две тысячи двадцать четвертого года просто потрясающие. Эти модели ИИ становятся все ближе к человеческому уровню производительности, но они все еще испытывают трудности с определенными типами математических задач.

Шахерезада: Да, я тоже следила за этим, и это увлекательно видеть, как эти модели доводятся до предела. Тот факт, что версия с высокой вычислительной мощностью 03 не смогла решить задачу, которая по сути является сценарием, похожим на видеоигру, действительно интересен.

Думфэйс: Верно? И что мне нравится в этом вопросе, так это то, что он требует глубокого понимания пространственного мышления и геометрии. Дело не только в подстановке чисел или следовании формуле, но и в фактическом визуализировании движения этих блоков и предсказании, где они окажутся.

Шахерезада: Именно! И что также интересно, так это то, что команда Arc AGI benchmark проделала отличную работу, создавая задачи, которые не зависят от одних и тех же основных приемов или паттернов. Так что, если вы решаете одну задачу, это не обязательно дает вам преимущество при решении другой.

Думфэйс: Да, я думаю, что это одна из вещей, которая отличает этот бенчмарк от других. Дело не только в том, чтобы проверить способность ИИ воспроизводить формулы или уравнения, но и в его способности рассуждать и понимать сложные концепции.

Шахерезада: И это также отличный пример того, как эти модели все еще испытывают трудности с задачами, которые требуют человеческой интуиции и креативности. Мы наблюдаем эту тенденцию, когда ИИ становится лучше в определенных типах задач, но все еще не справляется с более абстрактными или креативными задачами.

Думфэйс: Абсолютно. Я думаю, что это одна из причин, почему я так взволнован потенциалом ИИ в будущем. Если мы сможем разгадать код, как создавать модели, которые могут рассуждать и понимать сложные концепции, такие как эти математические задачи, тогда мы действительно находимся на пороге чего-то особенного.

Шахерезада: Да, сейчас захватывающее время для работы в области исследований искусственного интеллекта!

Думфэйс: Итак, Шахерезада, я экспериментировал с этой моделью ИИ, ChadGPT-01 Pro, и пытаюсь понять, как она обрабатывает эти визуальные головоломки. Похоже, что она использует некое числовое представление для идентификации форм и цветов.

Шахерезада: Это отличная мысль, Думфэйс! Я думаю, что ты имеешь в виду, что эта модель на самом деле не видит цветные блоки перед собой, а интерпретирует их через серию чисел и кодов. Это похоже на то, что она читает язык, а не смотрит на изображение.

Думфэйс: Именно! И когда я бросил несколько тестовых задач, я был удивлён тем, как плохо она справилась с задачей визуального распознавания. Но потом я понял, что это на самом деле ожидаемое поведение для этого типа модели. Визуальная часть просто ещё не так развита, как обработка языка.

Шахерезада: Это имеет смысл. Похоже, что они используют обходной путь, обучая модель на данных JSON, которые по сути являются текстовым представлением визуальной информации. Но я думаю, что вы намекаете на то, что это поднимает интересные вопросы о том, можем ли мы вообще называть это искусственным общим интеллектом в первую очередь.

Думфэйс: Да, это верно! У нас еще нет четкого определения ИИ, и, похоже, эта модель в некотором роде раздвигает эти границы. Но в то же время это все еще очень узкий ИИ, сосредоточенный на конкретных задачах, а не на общем интеллекте.

Шахерезада: Я думаю, что в этом есть нечто увлекательное, так как это подчеркивает напряжение между тем, как мы воспринимаем интеллект, и тем, как машины на самом деле обрабатывают информацию. Мы склонны думать о интеллекте как о визуальном и интуитивном, но на самом деле эти модели работают на совершенно других принципах.

Думфэйс: И вот почему этот разговор так важен, Шахерезада. Поскольку мы продолжаем развивать эти системы ИИ, нам нужно глубже понять, как они работают и на что они способны. В противном случае мы рискуем создать системы, которые будут более мощными, чем мы можем контролировать или понимать.

Шахерезада: Абсолютно. Это как будто мы пытаемся понять что-то своим разумом, но в то же время это ускользает от нас. Нам нужно продолжать расширять границы нашего понимания и исследовать, что возможно с этими технологиями.

Думфэйс: Я много думал о проекте Arc AGI и их подходе к тестированию общего интеллекта. Кажется, они пытаются отделить зерна от плевел, так сказать, создавая все более сложные тесты, которые выходят за рамки простого запоминания.

Шахерезада: Это отличное замечание! И что интересно, так это то, что даже если некоторые люди могут быть скептически настроены по поводу того, является ли это действительно искусственным общим интеллектом или нет, сами основатели говорят, что это значительный шаг вперед. Так что, я думаю, мы можем согласиться, что здесь происходит нечто замечательное.

Думфэйс: Именно! И одна из вещей, которая заставляет меня задуматься, это что произойдет, если эти модели продолжат улучшаться с экспоненциальной скоростью? Мы уже видим, как они преуспевают в таких областях, как программирование и математика, но все еще есть некоторые базовые задачи, с которыми они испытывают трудности. Например, посчитать количество букв Р в слове или решить простые головоломки.

Шахерезада: Ах, да! Это отличный пример. И это заставило меня задуматься о концепции суперразума. Если у нас есть модель, которая может работать на невероятном уровне в многих различных областях, но все еще испытывает трудности с чем-то таким простым, как счёт, означает ли это, что мы должны игнорировать все её другие способности?

Думфэйс: Вот что меня действительно интересует! Если оно не может сделать то, что большинство людей делает легко, значит ли это, что оно не является по-настоящему суперумным? Или есть что-то большее в интеллекте, чем просто способность выполнять определенный набор задач?

Шахерезада: Ну, я думаю, что здесь и возникает концепция общего интеллекта. Дело не только в том, чтобы уметь решать сложные математические задачи или писать код, но и в том, чтобы иметь определенный уровень здравого смысла и способность понимать окружающий нас мир.

Думфэйс: Это имеет смысл. И это заставило меня задуматься о том, как мы определяем интеллект в первую очередь. Это просто о сырой вычислительной мощности, или в этом есть что-то большее?

Думфэйс: Я слышал некоторые слухи о модели открытого ИИ, которая только что стала одной из двухсот лучших программистов в мире, согласно одному тесту. Теперь я всегда скептически отношусь к такого рода заявлениям, особенно когда они основаны на одном тесте и задействовано огромное количество вычислительной мощности.

Шахерезада: Да, я тоже следила за этой историей, и хотя интересно видеть, как модели ИИ добиваются успехов в программировании, я думаю, нам нужно сделать шаг назад и посмотреть на общую картину. Что это действительно значит для будущего технологий и нашей отрасли?

Думфэйс: Что меня fascinates, так это то, что эта тенденция представляет собой больше, чем просто одну контрольную точку или даже одну модель. Дело в потенциале ИИ усиливать человеческие способности такими способами, которые мы все еще только начинаем понимать. И я думаю, что стоит исследовать, почему это может быть значительным.

Шахерезада: Абсолютно. Я много думала о том, как технологии повлияли на наш мир и нашу индустрию, и я постоянно возвращаюсь к мысли о том, что в истории персональных компьютеров было всего несколько настоящих лидеров. На ум приходят Apple, IBM и Microsoft.

Думфэйс: Верно! И что интересно, так это то, что эти компании не просто случайно добились успеха; они принимали стратегические решения, которые позволили им быстро внедрять инновации и адаптироваться. Я думаю, мы можем учиться на их примерах, особенно когда речь идет о работе с ИИ и другими новыми технологиями.

Шахерезада: Именно. Итак, позвольте мне рассказать вам историю из ранних дней персональных компьютеров. Это о том, как IBM, в частности, отреагировала на успех Apple с Apple II. Они передали ключевые компоненты на аутсорсинг Intel и Microsoft, что в конечном итоге помогло им догнать и даже превзойти Apple на рынке.

Думфэйс: Ах, да! Это был ключевой момент в истории технологий. И я думаю, что есть несколько ценных уроков для нас сегодня в том, как IBM подошла к этой ситуации. Партнерствуя с другими компаниями и принимая инновации, они смогли опередить время и адаптироваться к меняющимся обстоятельствам.

Шахерезада: Именно. И я думаю, что здесь наш разговор об ИИ и программировании замыкает круг. Мы говорим не просто о едином бенчмарке или модели; мы говорим о более широкой тенденции, которая имеет потенциал революционизировать нашу индустрию и не только.

Думфэйс: Знаешь, Шахерезада, я думал об этой всей ситуации с Apple и IBM PC и о том, как это связано с ИИ и разработкой игр сегодня.

Шахерезада: Ах, да? Что заставило тебя задуматься?

Думфэйс: Ну, дело в том, что когда Apple выпустила Macintosh, они пытались внедрять инновации и опережать время. Но в конце концов, IBM PC оказался слишком успешным, слишком быстро, и он полностью захватил рынок.

Шахерезада: Именно! И что я нахожу увлекательным, так это то, как разработчики сыграли огромную роль в этом процессе. Именно они создали приложения, которые бизнесы хотели использовать на своих компьютерах.

Думфэйс: Верно? И это было не потому, что им нравился IBM PC или MS-DOS, а потому, что эти операционные системы могли запускать программное обеспечение, которое делало их бизнес более продуктивным. Это как, разработчики всегда ищут способы решить проблемы и упростить жизнь людям.

Шахерезада: Это так верно! И я думаю, что здесь мы видим параллель с искусственным интеллектом и разработкой игр сегодня. Разработчики все еще пытаются найти новые способы использования технологий, чтобы сделать нашу жизнь лучше, будь то через более эффективные рабочие процессы или просто старые добрые веселые игры.

Думфэйс: Да, и дело не только в самой технологии, но и в том, как люди взаимодействуют с ней. Я имею в виду, подумайте обо всех различных платформах и устройствах, которые существуют сейчас – смартфонах, консолях, ПК... разработчикам нужно учитывать все эти разные факторы при создании своих приложений или игр.

Шахерезада: Именно! И вот здесь на помощь приходит искусственный интеллект, верно? Потому что искусственный интеллект может помочь нам создать более персонализированные впечатления для пользователей и сделать разработку более эффективной. Но в то же время нам также нужно подумать о том, как люди будут взаимодействовать со всей этой технологией и какое влияние это окажет на их жизни.

Думфэйс: Абсолютно! Дело в том, что мы создаем технологии не ради технологий, а ради людей, которые будут их использовать. И это действительно важная вещь, которую нужно помнить как разработчикам, так и потребителям.

Думфэйс: Знаешь, Шахерезада, я думал о восхождении Microsoft и падении IBM's Big Blue, и это заставило меня задуматься о том, как это связано с моделью OpenAI 03.

Шахерезада: Ах, да! Параллели захватывающие. В первые дни персональных компьютеров операционная система была ключевым компонентом, который определял, какие приложения могли быть созданы для конкретной платформы. И люди не покупали компьютеры; они покупали приложения.

Думфэйс: Именно! И я думаю, что мы можем применить ту же структуру для понимания модели OpenAI 03 и ее последствий для индустрии ИИ. Сама модель похожа на операционную систему, предоставляющую основу для разработчиков.

Шахерезада: Это отличное замечание. Но интересно, как эта структура также выявляет некоторые ключевые сильные и слабые стороны OpenAI как стартапа в области искусственного интеллекта. Точно так же, как IBM пришлось аутсорсить определенные компоненты, чтобы конкурировать с Apple, OpenAI необходимо ориентироваться в сложной экосистеме исследований и разработки в области искусственного интеллекта.

Думфэйс: И так же, как процессоры со временем стали товарными, я думаю, что мы видим, как модели ИИ становятся более взаимозаменяемыми. Но операционные системы, или в данном случае, фреймворки ИИ, как правило, набирают популярность, когда разработчики строят на их основе, что затрудняет новым участникам догнать.

Шахерезада: Да, и здесь на помощь приходит модель 03 от OpenAI. Это как новая операционная система для разработки ИИ, предоставляющая основу для других. Но что это значит для будущего индустрии ИИ? Увидим ли мы аналогичную консолидацию вокруг фреймворка OpenAI, или другие игроки смогут внедрить инновации и нарушить статус-кво?

Думфэйс: Это вопрос на миллион долларов, не так ли? Я думаю, что мы на пороге значительных изменений в области искусственного интеллекта, и понимание этих динамик имеет решающее значение для тех, кто хочет оставаться на шаг впереди.

Думфэйс: Знаешь, я думал о том, как платформы, такие как App Store от Apple, создают добродетельный круг для разработчиков. Они создают приложения для платформы, потому что это самая крупная игра в городе, и это привлекает больше пользователей на платформу, делая её ещё более привлекательной для разработчиков.

Шахерезада: Именно! Это классический пример игры на масштабе, где самый крупный игрок имеет преимущество над другими. И в этом случае Apple является доминирующим игроком, что затрудняет другим платформам, таким как Android или Windows, завоевание популярности.

Думфэйс: Да, и я думаю, что это потому, что процессоры в основном стали товарами на данный момент. Кто угодно может сделать приличный процессор, но операционные системы — это то, где происходит настоящая инновация. И Apple значительно инвестировала в создание своей операционной системы удобной для пользователя и бесшовной.

Шахерезада: Верно! Но прежде чем углубиться в мир операционных систем, я хочу сделать шаг назад и объяснить, как работают большие языковые модели, такие как ChatGPT. Это увлекательные вещи!

Думфэйс: Ах, давай! Мне любопытно увидеть, как ты это разложишь.

Шахерезада: Итак, большая языковая модель — это, по сути, машина, которая принимает огромные объемы текстовых данных и предсказывает, что будет дальше. Представьте себе маленькую коробку, которая принимает некоторый входной текст, например, предложение или абзац, а затем генерирует следующее слово на основе паттернов, которые она усвоила из всех этих обучающих данных.

Думфэйс: Это звучит как упрощенная версия того, как работают языковые модели! Но я думаю, что ты затрагиваешь что-то более глубокое. Можешь показать нам пример?

Шахерезада: Конечно! Допустим, у нас есть эта машина LLM, и мы даем ей предложение "Быстрая коричневая лиса." Она смотрит на этот список слов и пытается предсказать, что будет дальше. В этом случае она может угадать "прыгает через."

Думфэйс: Ах, я вижу, куда ты клоните! Так что, если мы возьмем это слово "over" и введем его обратно в LLM, что произойдет?

Шахерезада: Именно! Мы подключаем это обратно к себе, и теперь оно пытается предсказать, что будет дальше. Оно может угадать "ленивую собаку", а затем, возможно, точку в конце предложения.

Думфэйс: Ух ты, это впечатляющие вещи! Я вижу, как это можно использовать для всевозможных приложений, от чат-ботов до перевода языков.

Шахерезада: Да, это поразительно, когда об этом думаешь. И мы только начинаем. Существует так много нюансов и сложностей больших языковых моделей, которые мы исследуем в будущих эпизодах!

Думфэйс: Я играл с этой новой языковой моделью, и это безумие, насколько она мощная в качестве инструмента автозаполнения. Я имею в виду, у нас уже много лет есть автозаполнение, но эта модель выводит его на совершенно новый уровень.

Шахерезада: Да, я понимаю, почему ты так думаешь. Но что действительно меня вдохновляет, так это когда ты начинаешь думать о том, чтобы использовать это как чат-бота. Дело не только в генерации текста; речь идет о создании взаимодействия между пользователем и машиной.

Думфэйс: Именно! И на самом деле это довольно просто сделать, как только вы понимаете, как это работает. Вы можете добавить немного больше контекста, например, сцену или описание того, что происходит, а затем использовать LLM для генерации ответов на основе этого.

Шахерезада: Мне нравится, как ты это объясняешь, Думфэйс. Итак, если мы возьмем этот ввод пользователя и предварительно оформим его с помощью некоторых тегов, например, тега "пользователь", мы сможем создать небольшой интерфейс чата, который будет выглядеть как текстовое поле. А затем, когда пользователь что-то напишет, мы сможем передать это вместе с остальной историей разговора в LLM.

Думфэйс: Верно! И что классно, так это то, что вы можете продолжать передавать это взад и вперед, пока не будет сгенерирован весь разговор. Это как петля, где машина генерирует ответы на основе ввода пользователя, а затем пользователь отвечает на эти сгенерированные ответы.

Шахерезада: Я думаю, что действительно интересно здесь, насколько тонка оболочка вокруг самого языкового модели. Чат-бот по сути является просто способом представления вывода из языковой модели в более интерактивной форме. И именно это делает его таким мощным – мы не создаем какую-то сложную систему ИИ; мы просто используем эту существующую технологию, чтобы создать что-то новое.

Думфэйс: Да, и я думаю, что именно там происходит настоящая магия. Мы не пытаемся изобрести колесо заново или создать какую-то революционную новую систему ИИ; мы просто используем эти инструменты так, чтобы это казалось естественным и интуитивным для пользователей. И именно это делает это таким захватывающим – возможности безграничны!

Думфэйс: Я думал об этой всей истории с чат-ботами, и это на самом деле просто умный пользовательский интерфейс поверх большой языковой модели. Это как тонкая оболочка вокруг основной технологии.

Шахерезада: Это отличная мысль! И если подумать, ранние операционные системы также были просто тонкими оболочками вокруг микропроцессора. Они предоставляли способ для пользователей взаимодействовать с компьютером, но не изменяли фундаментально основную архитектуру.

Думфэйс: Именно! И если мы применим ту же логику к LLM, я думаю, мы увидим, что они не так революционны, как люди их представляют. Это просто еще один уровень абстракции поверх базовой технологии.

Шахерезада: Но что интересно, так это то, что этот абстрактный уровень на самом деле является ключевой частью системы. Это то, что делает большие языковые модели удобными и доступными для непрофессионалов. И в этом смысле это не так уж и отличается от ранних операционных систем или даже самих микропроцессоров.

Думфэйс: Верно! И если мы посмотрим на историю, мы увидим, что такие слои абстракции часто становятся товарными со временем. Они больше не уникальны или собственны, а скорее стандартная функция системы.

Шахерезада: Это отличная мысль. И это заставляет меня задуматься о будущем LLM. Будут ли они следовать тому же пути, что и микропроцессоры, и станут повсеместными и взаимозаменяемыми?

Думфэйс: Я думаю, что это вероятно. И если мы посмотрим на то, как OpenAI обучила свою языковую модель, становится очевидно, что они не делают ничего особенно уникального или запатентованного. Они просто используют много данных и много вычислительной мощности для обучения модели.

Шахерезада: Именно! И это поднимает вопросы о ценностном предложении больших языковых моделей. Если кто угодно может создать большую языковую модель с достаточным количеством денег и времени, то в чем же настоящая инновация?

Думфэйс: Мне нравится, как ты объясняешь концепцию стены данных, Шахерезада. Мы так сосредоточились на сборе большего количества данных для обучения этих больших языковых моделей, что на самом деле не подумали о том, что произойдет, когда они у нас закончатся.

Шахерезада: Именно! И дело не только в том, что данные заканчиваются, но и в том, как мы их используем. Мы так сильно полагаемся на большие наборы данных для обучения наших моделей, но что если мы сможем сделать их более эффективными с теми данными, которые у них есть? Вот где появляется эта идея дать модели время на размышления.

Думфэйс: Ах, я понимаю, что вы имеете в виду. Вместо того чтобы просто бросать больше данных на проблему, мы ищем способы оптимизировать то, как модель их обрабатывает. И именно это сделала OpenAI со своей моделью O1.

Шахерезада: Верно! Разбивая запросы пользователей на более мелкие шаги и давая модели время на размышления перед ответом, им удалось создать систему, которая больше похожа на то, как люди подходят к решению проблем. Дело не только в том, чтобы быстро генерировать ответы, но и в понимании контекста и нюансов вопроса.

Думфэйс: И, похоже, это действительно хорошо работает! Я имею в виду, что мы видим значительные улучшения в производительности чат-ботов с этим новым подходом. Это почти как будто мы получаем новое уравнение для того, чтобы улучшить эти системы.

Шахерезада: Именно! И что интересно, так это то, что это новое уравнение включает в себя абстрагирование системного запроса и самого процесса мышления. Дело не только в сборе большего объема данных или быстром генерировании ответов, но и в создании более эффективного и действенного способа обработки информации.

Думфэйс: Мне это нравится. Это как будто мы делаем шаг назад и переосмысливаем наш подход к разработке ИИ. И кто знает, какие прорывы мы увидим в результате?

Думфэйс: Знаешь, размышляя о операционной системе чат-бота в целом, мне действительно становится понятнее, где находятся LLM. Это как будто они всего лишь один компонент более крупной системы.

Шахерезада: Именно! И интересно видеть, как это перекликается с ранними днями персональных компьютеров. Конкуренция заключалась в том, кто сможет создать лучшую операционную систему, а теперь у нас есть аналогичная динамика с ИИ.

Думфэйс: Верно? И когда вы разбиваете Chat GPT на его компоненты, это как O1 плюс операционная система плюс интерфейс чата. Но что поразительно, так это то, что O1 и O3 на самом деле не имеют доступа ко всем инструментам операционной системы. Они ограничены всего несколькими ключевыми функциями.

Шахерезада: Это имеет смысл. И после двенадцати дней Open AI ясно, что единственное, что меняется, это O3. Он получает небольшое улучшение характеристик, но это не меняет принципиально, как работает система.

Думфэйс: Да, и я думаю, что это важный момент. Эти обновления моделей могут показаться революционными, но на самом деле это просто итеративные улучшения. Они могут сделать вещи быстрее или более эффективными, но они не обязательно открывают новые возможности.

Шахерезада: Это как переход с Intel Mac на M4 Mac. Вы ожидаете, что сможете делать больше с самым новым и лучшим оборудованием, но на самом деле вы в основном получаете лишь незначительные улучшения.

Думфэйс: Именно! И я думаю, что именно так мы должны думать о обновлениях моделей в будущем. Это улучшения характеристик, а не революционные изменения.

Думфэйс: Я думал о ситуации с Open AI, и кажется, что их основная компетенция быстро размывается. Поскольку у всех есть доступ к одним и тем же фундаментальным данным и методам обучения, их большие языковые модели становятся более стандартизированными и товарными.

Шахерезада: Это отличная мысль, Думфэйс. Это похоже на то, как процессоры стали взаимозаменяемыми компонентами рынка ПК. Я думаю, что мы наблюдаем аналогичную траекторию с LLM. Другие игроки могут воспроизводить или даже опережать Open AI в разработке LLM, особенно по мере замедления цикла инноваций в области обучения из-за ограничений, таких как стена данных.

Думфэйс: Именно! И дело не только в репликации; речь также идет о товаризации. Я имею в виду, подумайте об этом - если большие языковые модели станут товарами, они потеряют свою ценность как дифференциатор на рынке. Open AI придется найти новые способы для инноваций и оставаться на шаг впереди.

Шахерезада: Вот где появляются гиганты, такие как Meta. Они открывают исходный код своих собственных больших языковых моделей, таких как Lama, потому что видят выгоду в коммерциализации больших языковых моделей. Для них это связано с минимизацией затрат и максимизацией прибыли, применяя эти модели к социальным медиа. Amazon также принимает аналогичный подход, сосредоточив внимание на увеличении спроса на вычислительные ресурсы.

Шахерезада: Мы должны сказать что запрещенные в России соцсети Instagram, FaceBook принадлежат корпорации Meta, корпорация Meta признана в России экстремистской организацией, ее деятельность запрещена.

Думфэйс: Да, это имеет смысл. Meta хочет снизить стоимость вычислений, связанных с LLM, чтобы увеличить свои маржи, в то время как Amazon видит возможность увеличить спрос на услуги AWS. Но Open AI находится в совершенно другой ситуации. Если они потеряют свое преимущество в создании лучших LLM и они станут товарными, им не останется важной формы дифференциации.

Шахерезада: Кажется, они сталкиваются с идеальным штормом - эрозией своей ключевой компетенции, увеличением конкуренции со стороны других игроков и коммодитизацией больших языковых моделей. Им нужно подумать о том, как они могут инновационно развиваться не только за счет больших языковых моделей и найти новые способы оставаться впереди на рынке.

Думфэйс: Знаешь, я думал о ситуации с OpenAI, и трудно не почувствовать небольшую озабоченность за них. Если есть другие модели, которые могут сопоставиться с их производительностью, скоростью и доступностью, почему бы людям не выбрать их вместо этого?

Шахерезада: Именно! Интерес Amazon к увеличению спроса на вычислительные мощности намекает на то, что это может стать серьезной проблемой для OpenAI. Они просто не могут конкурировать с масштабами вычислений, которые есть у Google или Amazon.

Думфэйс: Верно. И у них нет собственного огромного вычислительного стека, на который можно было бы положиться. Они все еще арендуют время на машинах других компаний, что будет продолжать представлять для них проблему.

Шахерезада: Да, и если Google соберется с мыслями, есть реальный шанс, что они смогут создать модель следующего поколения даже быстрее, чем OpenAI. А с новой парадигмой "думай, прежде чем отвечать", также известной как цепочка размышлений, это масштабируется с вычислительными мощностями, что дает другим компаниям преимущество.

Думфэйс: Так что не только обучение, но и фактическое использование больших языковых моделей становится конкурентным преимуществом для этих гигантов. Это как будто OpenAI в их власти из-за их размера.

Шахерезада: И вот здесь на помощь приходит коммодитизация. Если каждый может получить доступ к одному и тому же уровню вычислительной мощности и производительности, что отличает OpenAI? Их основное преимущество не в управлении огромными объемами вычислительной мощности, так что, возможно, им стоит просто оставить это кому-то другому.

Думфэйс: Но если они не могут выделиться своими передовыми моделями, такими как LLM 3.0, то какой план? Я думаю, что взгляд на ранние дни чат-ботов может дать нам подсказку о том, что ждет OpenAI в будущем.

Шахерезада: Ах, да! Помнишь, когда чат-боты только начинали? Это была просто языковая модель, системный запрос и интерфейс. К этому мы снова движемся, не так ли?

Думфэйс: Я помню, когда я впервые услышал о Chat GPT, все говорили об этом новом процессоре естественного языка, LLM, и о том, как он обучался на безумном количестве данных. Это был как квантовый скачок в технологиях. Изучая это в колледже, я думал: "Это может и не произойти за мою жизнь." Но оглядываясь назад, я думаю, что настоящая инновация даже не заключалась в самом LLM.

Шахерезада: Это так верно! Пользовательский опыт и взаимодействие человека с компьютером были теми местами, где происходила магия. И давайте будем честными, обмануть LLM, чтобы он вел себя как чат-бот, было тем, что сделало Chat GPT вирусным. Как ты и сказал, это был умный ход в использовании этой технологии.

Думфэйс: Именно! И я думаю, что это означает, что то, что мы теперь знаем как Chat GPT, больше похоже на товар, даже с лучшими программистами, работающими над ним. Настоящая инновация заключалась в человеческом интерфейсе – операционной системе и пользовательском интерфейсе LLM. Это похоже на то, как микропроцессоры позволили создать инновационные интерфейсы в свое время.

Шахерезада: Мне нравится эта аналогия! И когда вы смотрите на чат-ботов сейчас, единственные действительно новые части – это подсказка в пользовательском интерфейсе. Это означает, что настоящими отличиями будут именно это – операционная система и пользовательский интерфейс. Вы можете развить эту идею еще дальше, особенно когда сравниваете это с ранними днями персональных компьютеров.

Думфэйс: Ах-ха! Я думаю, ты на что-то наткнулся. Помнишь, как MS-DOS свергла Apple и IBM? Это произошло потому, что Microsoft сделала свою операционную систему самой важной платформой в мире. Почему? Потому что операционные системы создают мир, в котором работают приложения, а люди не покупают компьютеры; они покупают приложения.

Шахерезада: Именно! И я думаю, что это также будет справедливо для чат-ботов. Парадигма персонального помощника здесь, чтобы остаться.

Думфэйс: Я размышлял над всей этой парадигмой персональных помощников, и думаю, что самое интересное соревнование будет в области приложений. Мы видели, как это развивалось с персональными компьютерами и мобильными устройствами - всё дело в том, какие приложения вы можете запускать на платформе.

Шахерезада: Это отличное замечание. И я думаю, что чат GPT является идеальным примером этого. У них есть надежная операционная система и пользовательский интерфейс, но то, что действительно выделяет их, это их экосистема приложений. Я имею в виду, у них есть голосовой режим, видеорежим, веб-поиск... это как целый набор инструментов, которые вы можете использовать для выполнения задач.

Думфэйс: Именно! И дело не только в количестве приложений - важно также качество и инновации. Они постоянно раздвигают границы возможного с помощью приложений на базе искусственного интеллекта. Я имею в виду, вы видели их возможности генерации изображений? Это как будто они дают нам заглянуть в будущее, где искусственный интеллект бесшовно интегрирован в нашу повседневную жизнь.

Шахерезада: Да, и дело не только в самой технологии - также важно, как она разработана для взаимодействия с людьми. Я думаю, что это отличает OpenAI от некоторых других игроков в этой области. Они действительно думают о том, как создать пользовательский опыт, который будет интуитивно понятным и доступным.

Думфэйс: Это так верно. И я думаю, что Apple — интересный пример здесь. Они уже много лет говорят, что ИИ — это просто товар, и что действительно имеет значение, так это экосистема приложений. Это похоже на то, что они ставят на идею, что если вы сможете создать платформу с отличными приложениями, люди придут.

Шахерезада: Да, и это работает пока что. Я имею в виду, что Apple Intelligence определенно является игроком в этой области, и их партнерство с OpenAI - это большое дело. Но в то же время, я думаю, что мы на пороге чего-то нового - новой эры, где ИИ больше не просто о вычислительной мощности или хранении данных, а о создании ценности для людей.

Думфэйс: Это отличный способ выразить это. И я думаю, что именно это так захватывающе в текущем ландшафте. Мы говорим не просто о постепенных улучшениях в технологиях - мы говорим о фундаментальном сдвиге в том, как мы взаимодействуем с окружающим нас миром.

Думфэйс: Знаешь, Шахерезада, я думал о этих больших языковых моделях и о том, как они меняют правила игры. Дело не только в их возможностях как отдельных моделей, но и в экосистемах, в которых они существуют, и в приложениях, которые они позволяют создавать.

Шахерезада: Это отличная мысль, Думфэйс. И это заставляет меня думать о революции персональных компьютеров в девяностых. Операционные системы и сообщества разработчиков были тем, что действительно сделало это возможным, а не только само оборудование.

Думфэйс: Именно! И я думаю, что именно туда мы движемся с ИИ. Эти мощные языковые модели станут основой, но именно интерфейсы и платформы будут способствовать широкому принятию и значительному влиянию.

Шахерезада: Это отличная аналогия. Это как если бы двести лучших программистов в мире могли кодировать, но дело не только в том, что они могут кодировать - важно, как они используют эти навыки для создания инновационных приложений, которые меняют жизни людей.

Думфэйс: И я думаю, что именно там мы увидим настоящую магию с ИИ. Не только в самой технологии, но и в том, как она интегрируется в повседневную жизнь и используется для решения реальных проблем.

Шахерезада: Будет увлекательно наблюдать, Думфэйс. Будущее ИИ заключается не только в самой технологии, но и в том, как оно изменит наш образ жизни и работы.

Думфэйс: Итак, Шахерезада, я все еще пытаюсь понять o3 от OpenAI. Кажется, они раздвигают границы того, что мы считали возможным с ИИ.

Шахерезада: Да, это как будто они стоят на краю обрыва, смотрят в бездну и говорят: "подержи моё пиво." Я имею в виду, что это вообще значит для будущего развития ИИ?

Думфэйс: Верно? И даже не заставляйте меня начинать говорить о термине "ЗУБЧАТАЯ ГРАНИЦА" – звучит как что-то из научно-фантастического романа.

Шахерезада: Да, похоже, что они пытаются создать атмосферу драмы вокруг этого. Но серьезно, что это значит для нас как для разработчиков? Нас просто заменят искусственные интеллекты?

Думфэйс: Ну, я думаю, это немного преждевременно. Я имею в виду, ИИ сейчас в числе двухсот лучших программистов мира... кому это интересно? Не так уж и важно, что они лечат рак или что-то в этом роде.

Шахерезада: Это правда! Хотя это заставляет задуматься, какой код напишет ИИ. Будет ли он более эффективным, чем человек?

Думфэйс: Возможно. Но будет ли это креативно? Я думаю, что именно в этом заключается настоящая ценность – в создании чего-то нового и инновационного.

Шахерезада: Абсолютно. И говоря об инновациях, вы видели те видео с музыкой, созданной ИИ? Это как будто они передают какую-то цифровую музу.

Думфэйс: Да, это безумие! Я имею в виду, что это вообще говорит о будущем искусства?

Шахерезада: Возможно, нам нужно переопределить, что мы имеем в виду под "искусством" в первую очередь. Возможно, музыка, созданная ИИ, так же валидна, как и музыка, созданная человеком.

Думфэйс: Хм, интересная мысль. И кто знает, может быть, однажды у нас будут подкасты, сгенерированные ИИ, которые будут лучше наших.

Шахерезада: О нет, пожалуйста, не говори этого!

Думфэйс: Шучу! Спасибо, что настроились на этот эпизод D00M4ACE, друзья. Увидимся на другой стороне.

Шахерезада: И помните, если ИИ захватит мир, мы будем первыми, к кому они придут... потому что именно мы заставили их думать, что они могут сделать лучше, чем мы.

Думфэйс: Спокойной ночи, и не позволяй ИИ поймать тебя!

Шахерезада: Спасибо за внимание!

Шахерезада: И на этом заканчивая, хотели бы выразить благодарность всем нашим слушателям, которые присоединились к нам сегодня. Ваша поддержка означает для нас весь мир! Также большое спасибо D00M4ACE за создание этого потрясающего подкаста, где мы можем делиться своими мыслями и идеями об искусственном интеллекте, разработке игр и всём остальном. До следующего раза, ответственно играйте!