#113 DeepSeek: Обзор от эксперта по ИИ Бена Гертцеля.

#161  суббота, 8 февраля 2025 г.  52 минут(ы)  5067 слов

В этом выпуске подкаста D00M4ACE ведущие Думфэйс и Шахерезада обсуждают взгляды известного эксперта в области ИИ Бена Гёртцела на DeepSeek и путь к созданию искусственного общего интеллекта (AGI). Бен подчеркивает, что DeepSeek, несмотря на свою эффективность и инновационность, не является революционным прорывом, а скорее значительным шагом в оптимизации больших языковых моделей (LLM). Ведущие разбирают, как DeepSeek влияет на экономику ИИ, сравнивают его с другими достижениями в области нейронных сетей и обсуждают, приближает ли это нас к AGI. Особое внимание уделяется децентрализованному подходу, открытому исходному коду и тому, как такие технологии, как DeepSeek, меняют правила игры в индустрии ИИ, делая высококачественный искусственный интеллект более доступным для стартапов и исследователей.

D00M4ACE разработка 2D MMORPG блог ИИ и геймдев 🌐 https://d00m4ace.com

Telegram: https://t.me/d00m4ace_blog

YouTube: https://www.youtube.com/c/@d00m4ace

Soundcloud: https://soundcloud.com/d00m4ace

Apple Podcast: https://podcasts.apple.com/podcast/id1723142484

Яндекс Музыка: https://music.yandex.ru/album/28798077

VK Podcast: https://vk.com/podcasts-224167280

Amazon Music: https://music.amazon.com/podcasts/40c36f38-114a-4a79-8d0c-baf970f331b3/

Spotify: https://open.spotify.com/show/4RsttStN9RejAOEbLUG8IS

Дзен: https://dzen.ru/d00m4ace

Rutube: https://rutube.ru/channel/33955589/

RSS1 feed: https://podster.fm/rss.xml?pid=89212

RSS2 feed: https://media.rss.com/d00m4ace/feed.xml

Транскрипция подкаста:

Думфэйс: Добро пожаловать обратно в D00M4ACE, я Думфэйс. Сегодня мы обсуждаем мнение Бена Гёртцела о DeepSeek и путь к ИИ. Шахерезада присоединяется ко мне, как всегда.

Шахерезада: Привет всем! Итак, давайте погрузимся в эту тему. Бен Гёртцель — известный эксперт в области ИИ, и он недавно поделился своими мыслями о DeepSeek, новой большой языковой модели. Что привлекло мое внимание, так это его взгляд на значимость DeepSeek. Думфэйс, каковы твои первые мысли?

Думфэйс: Да, мне кажется интересным, что Бен подчеркивает, что DeepSeek не является революционным прорывом в области ИИ, а скорее значительным повышением эффективности в пространстве LLM. Он упоминает, что это повлияет на экономику и приложения LLM, но это не является фундаментальным сдвигом к AGI.

Шахерезада: Это отличная мысль. Бен сравнивает DeepSeek с другими достижениями в области ИИ, такими как изобретение трансформерных нейронных сетей или улучшение в рендеринге компьютерной графики. Он говорит, что эти достижения следуют предсказуемой траектории, где дорогие и сложные технологии со временем становятся товарными.

Думфэйс: Именно! И я думаю, что это важная перспектива, которую стоит учитывать. Легко увлечься ажиотажем вокруг новых моделей ИИ, таких как DeepSeek, но анализ Бена напоминает нам, что прогресс в ИИ часто следует более постепенному пути.

Шахерезада: Да, и также стоит отметить, что Бен не умаляет значимость DeepSeek полностью. Он признает, что это большой шаг вперед, но такой, который вписывается в наше существующее понимание того, как развиваются инновации в области ИИ. Этот разговор подчеркивает важность нюансов в обсуждении достижений в области ИИ.

Думфэйс: Абсолютно! И я думаю, что эта дискуссия также поднимает вопросы о том, что мы имеем в виду под "AGI" и приближает ли DeepSeek нас к его достижению. Каковы ваши мысли по этому поводу, Шахерезада?

Шахерезада: Ну, комментарии Бена предполагают, что DeepSeek является скорее инкрементальным улучшением, чем фундаментальным сдвигом к общему интеллекту. Но я думаю, что это также зависит от того, как мы определяем общий интеллект. Если мы говорим о узких приложениях ИИ, то DeepSeek может рассматриваться как важный шаг вперед. Однако, если мы смотрим на более широкую цель создания общего интеллекта, который может учиться и адаптироваться в различных областях, то DeepSeek может быть не таким значительным.

Думфэйс: Это отличное замечание. И я думаю, что этот разговор также подчеркивает важность понимания контекста и ограничений моделей ИИ, таких как DeepSeek. Понимая это, мы можем вести более обоснованные дискуссии о их потенциальных приложениях и последствиях.

Думфэйс: Я имею в виду, подумай об этом, Шахерезада. Мы говорим о сингулярности и о том, как быстро происходят технологические достижения сейчас. Это почти непостижимо.

Шахерезада: Именно! И это именно то, что вы бы ожидали, когда мы приближаемся к сингулярности. Наши мозги настроены на линейное мышление, а не на экспоненциальное. Поэтому, когда мы видим эти быстрые достижения, кажется, что наши умы пытаются не отставать.

Думфэйс: Верно? Это как будто мы видим проблеск будущего, но только кусками. И я думаю, что именно это делает DeepSeek таким интересным. Это один из тех моментов, когда ты думаешь: "Вау, вот как выглядит сингулярность."

Шахерезада: Итак, давайте погрузимся в то, что происходит под капотом с DeepSeek. Насколько я понимаю, дело не в переопределении архитектуры трансформера, а скорее в оптимизации эффективности.

Думфэйс: Верно! И они используют модель смешивания экспертов для этого. Это техника ансамблевого обучения, которая существует уже много лет, но DeepSeek применяет её действительно умным способом, чтобы минимизировать вычислительные затраты.

Шахерезада: Я понимаю, что вы имеете в виду. Итак, модель смешанных экспертов позволяет им объединять результаты различных внутренних моделей, каждая из которых хороша в чем-то конкретном. И, используя этот подход, они могут использовать только небольшую часть большой сети в любое данное время.

Думфэйс: Именно! Это как будто они говорят: "Эй, нам не нужно использовать всю сеть, чтобы получить ответ. Мы можем просто обратиться к нужной её части и получить то, что нам нужно." И именно это делает DeepSeek таким эффективным.

Шахерезада: Да, удивительно, как эти достижения раздвигают границы возможного с ИИ. И я думаю, что это только начало того, что мы увидим в годы, предшествующие сингулярности.

Думфэйс: Я думал, если у большой языковой модели семьсот шестьдесят один миллиард параметров, возможно, только тридцать семь миллиардов на самом деле нужны для ответа на конкретный вопрос. Это как одна восемнадцатая от вычислительной мощности, необходимой, верно? Это похоже на то, что мы тратим меньше энергии, не используя части нейронной сети, которые не нужны.

Шахерезада: Именно! И я думаю, что здесь вступает в силу концепция "разреженности". Удаляя ненужные параметры, мы можем сделать эти модели более эффективными и снизить вычислительные затраты. Это отличный пример того, как инженерные усовершенствования могут оказать значительное влияние на производительность и экономическую эффективность этих моделей.

Думфэйс: Да, и Deep-seek делает что-то похожее с использованием обучения с подкреплением. Они не просто полагаются на традиционные методы контролируемого обучения; они также используют вознаграждения и наказания, чтобы направлять поведение сети. Это позволяет им сосредоточиться на конкретных задачах и оптимизировать свою работу более целенаправленным образом.

Шахерезада: Верно! И мне кажется интересным, что Deep-seek делает акцент на обучении с подкреплением, в то время как другие крупные языковые модели могут использовать смесь различных методов обучения. Сосредоточившись на этом одном подходе, они способны достигать действительно впечатляющих результатов и делать свою модель более эффективной.

Думфэйс: Да, и цифры довольно впечатляющие. Они утверждают, что Deep-seek в десять раз дешевле, чем OpenEye и Anthropic как для обучения, так и для вывода. Это большое дело! Это означает, что мы можем переосмыслить экономику больших языковых моделей и исследовать новые возможности их использования в различных приложениях.

Шахерезада: Абсолютно. И я думаю, что также стоит отметить, что Deep-seek принимает подход с открытым исходным кодом, что действительно интересно. Делая свою модель и методы обучения доступными для всех, они создают сообщество вокруг проекта и позволяют другим строить на основе их работы. Это отличный пример того, как сотрудничество и прозрачность могут способствовать инновациям в исследовании ИИ.

Думфэйс: Знаешь, Шахерезада, я всегда думал, что интересно, как некоторые компании утверждают, что они с открытым исходным кодом, но на самом деле это не так. Возьми, к примеру, OpenAI. Они как окончательный парадокс - у них в названии есть "открытый", но их стратегия на самом деле довольно закрыта.

Шахерезада: Да, это отличная мысль! Я имею в виду, если оглянуться на их ранние дни, они были настроены на открытость и прозрачность, но, похоже, они быстро поняли, что это не лучший подход для них. А теперь они, по сути, просто еще одна закрытая компания в области искусственного интеллекта.

Думфэйс: Именно! Но затем у вас есть компании, такие как Anthropic и команда Llama от Facebook, которые действительно выполняют свои обещания открытости. Я имею в виду, Deep-seek - отличный пример - они опубликовали исследовательскую работу, описывающую их модель, и это просто удивительно. Открытый искусственный интеллект способствует инновациям и принятию технологий такими способами, которые закрытые модели просто не могут.

Шахерезада: Мы должны сказать что запрещенные в России соцсети Instagram, FaceBook принадлежат корпорации Meta, корпорация Meta признана в России экстремистской организацией, ее деятельность запрещена.

Шахерезада: Абсолютно! И дело не только в том, чтобы делать добро для мира, хотя это определенно часть этого. Дело также в создании бизнес-возможностей. Я имею в виду, что компании, такие как Deep-seek, показывают нам, что открытый искусственный интеллект может быть жизнеспособной бизнес-моделью. Они предлагают услуги и интеграцию для предприятий, хостинг... всевозможные вещи.

Думфэйс: Верно? И это не ограничивается только США или западными странами. Я имею в виду, что Китай сделал огромные шаги в области искусственного интеллекта за последние пару десятилетий, но они также были довольно закрытыми, когда дело доходило до открытого кода. Но теперь мы видим, как компании, такие как Baidu и другие, представляют свои собственные модели с открытым исходным кодом.

Шахерезада: Да, это действительно интересно. Я думаю, что это знак того, что ситуация меняется в пользу открытости и сотрудничества в разработке ИИ. И кто знает? Возможно, однажды мы увидим еще больше компаний, идущих по этому пути и принимающих преимущества открытого ИИ.

Думфэйс: Знаешь, это увлекательно видеть, как Китай активно развивает открытый искусственный интеллект, движимый частным сектором, а не действиями правительства. Неудивительно, что они ведут в некоторых прорывных исследованиях.

Шахерезада: Я согласна, и интересно рассмотреть более широкие последствия этой тенденции. Как вы упомянули, ваш опыт жизни в Гонконге и на материковом Китае дает вам уникальную перспективу на масштаб инвестиций в исследования ИИ там. Упор на создание мощного, эффективного и масштабируемого ИИ впечатляет.

Думфэйс: Именно! И это не только искусственный интеллект – у Китая есть история заимствования западных инноваций и их оптимизации для эффективности и масштабируемости. Это как будто они способны взять лучшее из того, что разработали другие, и сделать это на беспрецедентном уровне.

Шахерезада: Это отличная мысль, и я думаю, что стоит рассмотреть это в контексте глобального сотрудничества. Вместо того чтобы рассматривать достижения Китая как угрозу или соперника, мы могли бы увидеть это как шаг к более интегрированной экосистеме искусственного интеллекта. Открытое сотрудничество и инструменты с открытым исходным кодом имеют потенциал привести к прорывам, которые принесут пользу человечеству в целом.

Думфэйс: Я полностью с тобой согласен. Децентрализованное, глобально распределенное усилие по разработке ИИ гораздо более вероятно приведет к системам, которые служат общему благу, а не контролируются одной страной или компанией.

Шахерезада: А как насчет последствий для LLM и их роли в разработке AGI? Вы думаете, что более быстрые, лучшие и дешевые LLM окажут значительное влияние на будущее AGI?

Думфэйс: Хм, я не так уж уверен. Хотя большие языковые модели, безусловно, являются мощными инструментами, они не обязательно являются ключом к созданию полезного общего искусственного интеллекта. Я думаю, нам нужно сосредоточиться на разработке более сложных и универсальных систем ИИ, которые действительно могут принести пользу человечеству.

Шахерезада: Это отличное замечание. Легко увлечься волнением новых технологий, но нам нужно сосредоточиться на главной цели – создании систем ИИ, которые служат общественному благу.

Думфэйс: Знаешь, интересно видеть, как такие люди, как Гэри Маркус, все еще указывают на ограничения трансформерных нейронных сетей. Они правы, эти модели лишены основных когнитивных способностей, у них нет чувства самосознания или понимания своего места в мире.

Шахерезада: Я думаю, что именно это делает их такими впечатляющими - их способность обрабатывать и генерировать огромные объемы данных, не нуждаясь при этом в истинном "понимании". Это похоже на то, что они используют совершенно другой вид интеллекта.

Думфэйс: Именно! И именно поэтому я не уверен, что более быстрые и дешевые LLM смогут приблизить нас к AGI. Я имею в виду, конечно, они могут автоматизировать всевозможные задачи и трансформировать отрасли, но в плане истинного интеллекта... этого просто еще нет.

Шахерезада: Но как насчет влияния на отрасли? С коммодитизированными LLM, такими как DeepSeek, мы наблюдаем сдвиг в инвестициях в ИИ в другие области. Это похоже на то, что LLM становятся утилитой, и люди ищут, где еще они могут применить эту технологию.

Думфэйс: Именно! И вот где, я думаю, произойдет настоящая инновация - не в попытках сделать большие языковые модели более умными, а в поиске новых приложений для них. Например, что если мы развернем эти модели на децентрализованных сетях? Какие возможности открываются, когда у вас есть меньшие, более быстрые и дешевые большие языковые модели на краю?

Шахерезада: Это отличное замечание. Дело не только в том, чтобы сделать модели умнее, но и в том, чтобы использовать их новыми и креативными способами для решения реальных проблем.

Думфэйс: И вот где, я думаю, будущее ИИ будет - не в каком-то грандиозном видении общего интеллекта, а в постепенных инновациях, которые возникают от применения этих технологий к реальным вызовам.

Думфэйс: Знаешь, Шахерезада, я думал об этом децентрализованном ландшафте ИИ и о том, как он меняет правила игры. С DeepSeek и другими моделями, подобными ему, развертывать ИИ модели в этих сетях становится гораздо проще.

Шахерезада: Это отличное замечание, Думфэйс. И я думаю, что дело не только в том, чтобы сделать это проще, но и более доступным. Эти большие языковые модели делают высококачественный искусственный интеллект более доступным для проектов, которые раньше могли не иметь ресурсов.

Думфэйс: Именно! Это похоже на то, что мы сейчас наблюдаем взрыв Кембрия в области ИИ. Помните, как в истории Земли был момент, когда жизнь просто взорвалась во всех этих различных формах и очертаниях? Я думаю, мы видим нечто подобное с ИИ, когда более быстрые и дешевые большие языковые модели позволяют большему количеству проектов делать реальные успехи.

Шахерезада: И дело не только в самой технологии, но и в людях, которые могут работать над этими проектами. С появлением большего количества стартапов и исследовательских проектов мы увидим большее разнообразие идей и подходов. Это захватывающе думать о том, что это может значить для будущего развития искусственного интеллекта.

Думфэйс: Я знаю, правда? И дело не только в самой технологии, но и в бизнес-модели. Помнишь, когда Сэм Альтман говорил, что стартапы не могут конкурировать с такими, как Google и Facebook, без сотен миллионов долларов финансирования? Что ж, теперь кажется, что это уже не так.

Шахерезада: Да, я тоже об этом думала. С ростом децентрализованных сетей и более доступных инструментов ИИ становится возможным для небольших проектов добиться реального прогресса. И это не ограничивается только стартапами – некоммерческие инициативы и исследовательские проекты также могут извлечь выгоду из этих достижений.

Думфэйс: Именно! И это не то, чтобы мы говорили о какой-то нереальной идее. У нас есть конкретные примеры успешной работы, такие как OpenCog Hyperion и ASI Alliance. Люди начинают осознавать, что с правильными идеями и алгоритмами не нужно миллиарды долларов, чтобы оказать реальное влияние на развитие ИИ.

Шахерезада: Это так верно. И я думаю, что это также меняет наше представление о развитии ИИ. Вместо того чтобы нуждаться в какой-то огромной централизованной серверной ферме, мы теперь можем представить себе создание этих систем на децентрализованных сетях с более скромными ресурсами.

Думфэйс: Да, и это меняет правила игры. Это означает, что даже более мелкие проекты, такие как наш, могут добиться реального прогресса в разработке ИИ, не разоряясь.

Думфэйс: Я думаю, что влияние DeepSeek на ландшафт ИИ огромно. Это показывает, что не только несколько крупных компаний могут быть на переднем крае исследований в области ИИ, но это открытая сфера, где каждый может совершать прорывы.

Шахерезада: Вот что мне нравится в этом развитии. Дело не только в самой технологии, но и в том послании, которое она отправляет индустрии и миру. Это говорит о том, что ИИ доступен большему числу людей, и это меняет правила игры.

Думфэйс: Именно! И я думаю, что именно поэтому мы наблюдаем крах рынка акций и токенов ИИ после объявления DeepSeek. Это похоже на то, что инвесторы осознают, что у них больше нет монополии на исследования в области ИИ.

Шахерезада: Да, это почти как коррекция на рынке. Люди слишком увлеклись потенциалом ИИ, и теперь они делают шаг назад, чтобы переоценить ситуацию. Но я думаю, что это на самом деле хорошо. Это означает, что внимание сместится с простого зарабатывания денег на ИИ к фактической разработке полезного ИИ.

Думфэйс: И вот здесь начинается наша работа в ASI. Мы пытаемся создать мыслящую машину, которая приносит пользу человечеству, а не просто наполняет карманы инвесторов. Объявление DeepSeek — это как сигнал тревоги для всех нас, работающих в области исследований ИИ.

Шахерезада: Мне нравится, как ты это формулируешь, Думфэйс. Это как будто нам дают возможность переопределить, что такое ИИ и как его можно использовать во благо. И я думаю, что это невероятно захватывающе.

Думфэйс: Да, сингулярность приближается быстро, и если мы хотим, чтобы она была полезной, нам нужно убедиться, что она останется децентрализованной, глобальной и открытой. DeepSeek — это всего лишь одно доказательство того, что это возможно.

Шахерезада: Именно! И я думаю, что именно это делает нашу работу такой важной. Мы не просто создаем ИИ ради его создания; мы пытаемся создать будущее, в котором технологии служат человечеству, а не наоборот.

Думфэйс: Мне нравятся последние достижения в области ИИ, и тот факт, что DeepSeek является открытым исходным кодом, имеет огромное значение. Это как прекрасное доказательство того, что сингулярность может быть не такой страшной, как мы думали. С учетом того, что ИИ будет децентрализованным, глобальным и открытым, это действительно может принести удивительные преимущества.

Шахерезада: Полностью с тобой согласна. Я имею в виду, что DeepSeek еще не является ИИ общего назначения, но это определенно шаг в правильном направлении. Это оптимизация эффективности, а не революция, но все равно очень интересно видеть, куда это движется. И я думаю, что всех так вдохновляет то, что это с открытым исходным кодом и доступно.

Думфэйс: Именно! Когда DeepSeek впервые выпустил свою модель Coda прошлым летом, сообщество ИИ уже бурлило от волнения. Но потом они выпустили V3 в декабре, которая соответствовала GPT-40 и всем тем другим моделям... это было как будто интернет сломался за выходные!

Шахерезада: Да, я могу представить! И что действительно всех взволновало, так это то, что DeepSeek поняли, как обобщить свою модель, чтобы она работала с любой другой моделью. Это огромно! Это значит, что мы на шаг ближе к тому, чтобы эти мощные инструменты ИИ стали доступны всем.

Думфэйс: Верно? А теперь они выпустили эту модель рассуждений R1, которая показывает фактический процесс мышления за её ответами... это как совершенно новый уровень прозрачности и подотчетности. Мне любопытно увидеть, куда это нас приведет в следующие несколько лет, прежде чем произойдет сингулярность.

Шахерезада: Да, это будет интересное путешествие, в этом нет сомнений. Но, эй, по крайней мере, мы не одни в этом танце к ИИ и СИИ... или каким-либо другим удивительным последствиям, которые встретятся на нашем пути!

Думфэйс: Знаешь, было удивительно увидеть, как быстро этот каскад нарративов произошел за выходные. Я имею в виду, моя мама и тетя даже спрашивают об этом сейчас, и это повсюду в новостях.

Шахерезада: Да, я думаю, что то, что мы видим, является результатом немедленной реакции, которую предоставляют эти новые модели ИИ. Помните, когда чат GPT или стабильная диффузия впервые появились? Это было как совершенно новая парадигма для того, как мы взаимодействуем с технологиями.

Думфэйс: Именно! Выпуск O1 от OpenAI стал переломным моментом. Но то, что действительно выделяло его, так это способ, которым они скрыли цепочку рассуждений за этим. Это было похоже на то, что на другой стороне есть еще один человек, который разбирает проблемы и предоставляет ответы.

Шахерезада: Верно. И когда вышел R1, показывая нам, как они думали о вещах, это было как совершенно новый уровень понимания. Я думаю, что именно это и запустило эту каскадную реакцию – люди осознали, насколько удобными и мощными могут быть эти модели.

Думфэйс: Да, и тот факт, что это с открытым исходным кодом, тоже играет большую роль. Люди могут брать его меньшие версии и запускать их на своих ноутбуках, что помогло распространить его еще дальше.

Шахерезада: Я думаю, ты прав – если бы OpenAI просто выпустила закрытую модель, которая соответствовала бы O1, но не имела бы цепочки размышлений, это не оказало бы такого же влияния. Это как если бы они дали людям заглянуть за кулисы и показали, как это работает.

Думфэйс: А теперь мы видим, как эти факторы сходятся вместе, чтобы бросить вызов нашим предположениям о том, что возможно с ИИ. Это удивительные вещи!

Шахерезада: Я много думала об этом на выходных, и у меня есть две мысли, которые постоянно возвращаются ко мне. Во-первых, мне нравится, как они запустили это в день инаугурации – это было как бы легким ударом в лицоIncoming administration.

Думфэйс: Да, это хороший аргумент! А что насчет твоей второй мысли?

Шахерезада: Ну, я думаю, мы ожидаем, что демонетизация произойдет, когда эти модели станут более мощными, но я не уверена, что мы готовы к тому, насколько быстро это произойдет. Мы как будто ожидаем постепенных изменений, но реальность такова, что это поразит нас такими способами, которые мы даже не можем себе представить.

Думфэйс: Это отличное замечание – мы должны удивляться тому, как быстро всё это разворачивается.

Думфэйс: Я все еще поражен тем, как быстро развилась ИИ. Я имею в виду, что мы говорим о моделях, которые могут работать на уровне лучших программистов всего за небольшую часть времени и стоимости. Это как старая пословица "пользуйся тем, что сам создаешь" - нам следовало это предвидеть.

Шахерезада: Именно! И дело не только в ИИ, но и другие отрасли подвергаются разрушению с невероятной скоростью. Я имею в виду, кто бы мог подумать, что Netflix сможет обойти Blockbuster? Но теперь, с темпами инноваций в ИИ, кажется, что мы наблюдаем, как новая норма возникает каждые несколько месяцев.

Думфэйс: Да, и когда был анонсирован Chat GPT, люди были поражены его быстрым принятием - миллион пользователей за пять дней, сто миллионов за два месяца. Это было как: можно ли это повторить? И ответ - да, и даже быстрее. Я имею в виду, достижение DeepSeek заключается не только в том, чтобы быть эквивалентом другим моделям, но и в том, чтобы сделать это за меньшую часть времени и стоимости.

Шахерезада: Вот что делает это таким значимым. Сравнительные цифры потрясающие - сколько графических процессоров было использовано, сколько денег было вложено, размер команды... если бы не эти факторы, DeepSeek не произвела бы такого фурора. Это как будто они разгадали код масштабирования разработки ИИ.

Думфэйс: И OpenAI даже признала, что DeepSeek достиг чего-то подобного тому, над чем они работают в своей лаборатории. Марк Чен из OpenAI сказал об этом в ноябре. Итак, у нас было несколько месяцев, чтобы это осознать... и я думаю, что пришло время разобрать, как DeepSeek сравнивается с другими моделями, такими как GPT-40 и GPT-01.

Шахерезада: Да, давайте сделаем это. Итак, GPT-01 был эволюцией Chat GPT, который внезапно достиг уровня производительности топ-кодера, способного мыслить дольше и сложнее. А теперь OpenAI заявила, что DeepSeek достигла чего-то подобного... но что именно они выяснили?

Думфэйс: Я все еще пытаюсь осознать цифры по DeepSeek. Им удалось обучить модель за небольшую часть стоимости предыдущих моделей OpenAI.

Шахерезада: Да, и дело не только в экономии затрат. Тот факт, что они могут выпустить эту модель где угодно, меняет правила игры. Я имею в виду, подумайте об этом - с традиционными моделями ИИ вам нужна огромная инфраструктура для их обучения, и только немногие могут себе это позволить.

Думфэйс: Именно! И OpenAI потратила три миллиарда долларов на обучение своей последней модели, в то время как DeepSeek смогли сделать то же самое за... ну, мы даже не знаем, сколько они потратили. Но это определенно лишь малая часть от этой суммы.

Шахерезада: Это как будто они говорят: "Эй, мы тоже можем это сделать." И я думаю, что именно это так волнует людей - и, возможно, немного беспокоит. Потому что если DeepSeek может это сделать, почему другие не могут?

Думфэйс: Да, и графические процессоры, которые они использовали, даже не самые лучшие. Они используют эти чипы H800, которые все еще очень мощные, но не такие быстрые, как некоторые другие модели.

Шахерезада: Верно! И я думаю, что именно это теряется во всем этом - люди сосредотачиваются на стоимости и скорости, но забывают о самой технологии, стоящей за этим. Это как, как им удалось так оптимизировать свой процесс обучения?

Думфэйс: Ну, нам придется углубиться в это. Но одно можно сказать точно - это серьезное изменение в ландшафте ИИ. И мне интересно увидеть, куда это нас приведет.

Шахерезада: Абсолютно! Это как будто открылся целый новый мир возможностей.

Думфэйс: Я говорю тебе, Шахерезада, китайские компании добились серьезных успехов в исследованиях и разработках в области искусственного интеллекта. Они не просто конкурируют с крупными игроками, они превосходят их.

Шахерезада: Вот что так очаровывает в этом, Думфэйс. Они не просто полагаются на грубую вычислительную мощность, как мы часто видим на Западе. Нет, они действительно выходят на новый уровень. Они конструируют свой путь к успеху.

Думфэйс: Именно! И дело не только в том, чтобы бросать больше графических процессоров на проблему. Я имею в виду, вы видели цифры? Десять тысяч чипов или что-то в этом роде? Это даже не капля в море по сравнению с тем, с чем работают некоторые стартапы в Силиконовой долине.

Шахерезада: Да, и вот здесь становится действительно интересно. Ограничения правительства США на получение чипов Nvidia китайскими компаниями на самом деле создали это... это эволюционное давление, чтобы им дальше инновацировать. Это похоже на то, что их заставляют адаптироваться и преодолевать трудности.

Думфэйс: Ах, мне это нравится! И знаешь что? Дело не только в самой технологии. Дело в ментальной модели, стоящей за ней. Они думают иначе о том, как решать эти проблемы. Вместо того чтобы полагаться на скорость вычислений, они сосредоточены на эффективности памяти.

Шахерезада: Верно! И именно здесь вступают в игру классические модели. Знаете, те плотные модели, такие как Лама с семьюдесятью миллиардами параметров? Так вот, этот новый подход на самом деле масштабируется по памяти, а не только по вычислительной мощности. Это совершенно другая игра.

Думфэйс: Да, и это дешевле тоже! Я имею в виду, кому нужен супербыстрый кремний, когда можно получить те же результаты с более эффективным использованием памяти?

Шахерезада: Именно! И это делает это настолько увлекательным. Дело не только в самой технологии; дело в том, как мы думаем о решении проблем и инновациях в первую очередь.

Думфэйс: Да, я тебе говорю, Шахерезада, это изменит правила игры. Мы на пороге чего-то большого здесь...

Думфэйс: Эти ограничения, я думаю, действительно являются ключевыми. И мы видели это снова и снова - если вам не нужно беспокоиться об ограничениях, то вы создаете неэффективные модели. Если вам нужно беспокоиться об эффективности, то необходимость - мать изобретения.

Шахерезада: Это отличное замечание. Я думаю, именно поэтому мы видим так много компаний, пытающихся разработать свои собственные решения в области ИИ внутри компании. Они хотят иметь возможность контролировать данные и ограничения, а не полагаться на сторонние сервисы, такие как OpenAI или DeepSeek.

Думфэйс: Именно! И говоря о DeepSeek, у меня к тебе вопрос - имеет ли значение тот факт, что он китайский, и компании будут сдержанно относиться к тому, чтобы помещать свою информацию в него? Так что это вопрос к тебе. Мое предположение - ответ нет, потому что это открытый код, и ты можешь запускать его локально.

Шахерезада: Ах, я думаю, ты прав. Хотя может быть некоторое первоначальное колебание из-за беспокойства о владении данными и контроле, тот факт, что DeepSeek является открытым исходным кодом и может работать локально, должен снять эти опасения для многих компаний. Плюс, как мы видели с другими решениями ИИ, как только люди начинают их использовать, они, как правило, становятся более комфортными с идеей делиться своими данными.

Думфэйс: Это хороший аргумент. И я думаю, стоит отметить, что даже если компании решат запускать DeepSeek локально, все равно могут возникнуть опасения по поводу того, что происходит со всеми этими данными. Я имею в виду, никто на самом деле не знает, куда они попадают или как они используются.

Шахерезада: Именно! И поэтому я думаю, что мы увидим гораздо больше акцента на прозрачности и ответственности в индустрии ИИ. Компании должны будут быть гораздо более открытыми в том, что они делают с данными пользователей, если они хотят завоевать доверие своих клиентов.

Думфэйс: Хорошо, давайте останемся на этом вопросе о DeepSeek. Вопрос, который мне задавали все на X и мои друзья, был - пойдет ли это по тому же пути, что и TikTok, где на самом деле будет DeepSeek? Ну, позвольте мне немного отступить...

Шахерезада: Давай!

Думфэйс: Мне нравится, как ты это выразила, Шахерезада - иметь суперэкспертный ИИ на нашем вызове, как иметь личный ИИ от Google или Apple. Но не будем забывать о ограничениях таких открытых моделей, как DeepSeek и Llama. Они полезны в определенных контекстах, но когда речь идет о регулируемых отраслях, нам нужно что-то более надежное.

Шахерезада: Абсолютно, Думфэйс. И именно здесь на помощь приходят открытые источники и открытые данные в искусственном интеллекте - системы поддержки принятия решений, которые требуют прозрачности и подотчетности. Мы не можем просто предполагать, что эти модели нейтральны или беспристрастны; нам нужно знать, что внутри них и как они на самом деле работают. Потому что, как ты сказал, возможно отравить эти модели присущими им предвзятостями.

Думфэйс: Точно! И я до сих пор поражен статьей о Спящих Агентах, которую мы обсуждали ранее. Идея о том, что одно слово из десяти триллионов может полностью изменить поведение модели, просто поражает воображение. Это как троянский конь, верно? И становится еще интереснее, когда учитываешь, что большинство трансформеров в США построены китайскими компаниями... и никто не знает, какое программное обеспечение управления они используют.

Шахерезада: Да, это как будто мы играем с огнем. Такие угрозы очень реальны, и нам нужно быть осторожными с тем, кто имеет доступ к нашим критически важным системам. Поэтому я рада, что мы работаем над созданием открытого программного стека для регулируемой стороны - по крайней мере, тогда у нас будет некоторый контроль над тем, что происходит под капотом.

Думфэйс: Да, это немного похоже на то, чтобы иметь кулинарную книгу, а не просто полагаться на секретный соус кого-то другого. Мы можем точно увидеть, как все собрано, и убедиться, что это безопасно для использования.

Думфэйс: Итак, Шахерезада, я читал о проекте DeepSeek Бена Гертцела. Похоже, он пытается создать ИИ, который сможет исследовать глубокую сеть.

Шахерезада: Ну, Думфэйс, похоже, это настоящее "глубокое" погружение в неизвестное. Понял? Глубокое?

Думфэйс: О, Шахерезада, это была ужасная игра слов.

Шахерезада: Привет, кто-то должен поддерживать здесь атмосферу "поиска" юмора.

Думфэйс: Ладно, ладно. Итак, что ты думаешь о подходе Бена Гёртцела к ИИ? Он на правильном пути?

Шахерезада: Ну, это интересная идея, но я не уверена, что его внимание к глубокому вебу — лучший способ достичь общего искусственного интеллекта. Это похоже на попытку найти иголку в стоге сена, только стог бесконечен, а иголка может оказаться черной дырой.

Думфэйс: Это отличная аналогия! Но серьезно, ты думаешь, что мы близки к достижению общего искусственного интеллекта?

Шахерезада: Я не знаю, достигнем ли мы когда-нибудь истинного ИИ, но я думаю, что мы приблизимся к созданию интеллектуальных машин, которые могут помогать нам различными способами. Это как разница между умным термостатом и человеком – один может изучать ваши привычки и соответственно регулировать температуру, в то время как другой может вести с вами беседу.

Думфэйс: Это хороший аргумент. И говоря о разговорах, я думаю, что у нас сегодня была отличная дискуссия о DeepSeek и ИИ.

Шахерезада: Абсолютно! Спасибо, что присоединился ко мне в этом подкасте, Думфэйс.

Думфэйс: Взаимно, Шахерезада. Спасибо нашим слушателям за то, что настроились на нас!

Шахерезада: Не забудьте подписаться на наш подкаст и следить за нами в социальных сетях для получения дополнительных обсуждений о ИИ и разработке игр.

Думфэйс: И если у вас есть какие-либо вопросы или темы, которые вы хотели бы обсудить, не стесняйтесь обращаться к нам.

Шахерезада: Спасибо еще раз, всем!

Шахерезада: И на этом заканчивая, хотели бы выразить благодарность всем нашим слушателям, которые присоединились к нам сегодня. Ваша поддержка означает для нас весь мир! Также большое спасибо D00M4ACE за создание этого потрясающего подкаста, где мы можем делиться своими мыслями и идеями об искусственном интеллекте, разработке игр и всём остальном. До следующего раза, ответственно играйте!