#75 OpenAI хочет $2000 за GPT-5 в месяц? Анонс GPT-5 и оценка $100B. Илья Суцкевер возвращается!

#112  суббота, 7 сентября 2024 г.  134 минут(ы)  13296 слов

В новом выпуске D00M4ACE ведущие Думфэйс и Шахерезада обсуждают самые горячие новости из мира ИИ. OpenAI рассматривает введение премиум-подписки на новые модели по цене $2000/мес, что вызывает бурные дискуссии о ценности и конкурентоспособности. Экс-основатель OpenAI Илья Суцкевер создает новую компанию SSI, фокусируясь на безопасности ИИ. GPT-5 обещает быть в 100 раз мощнее GPT-4, а оценка OpenAI достигла $100 млрд. Думфэйс и Шахерезада анализируют стратегии Microsoft, Apple, Nvidia и делятся своими прогнозами о будущем рынка ИИ. В выпуске также затрагиваются темы эффективного вычислительного нагружения, синтетических данных, проблемы безопасности, этики и влияния ИИ на разработку игр. Ведущие разбирают исследования в области автоматического проектирования агентов, оптимизации извлечения информации и методов снижения галлюцинаций в языковых моделях.

D00M4ACE разработка 2D MMORPG блог ИИ и геймдев 🌐 https://d00m4ace.com

Telegram: https://t.me/d00m4ace_blog

YouTube: https://www.youtube.com/c/@d00m4ace

Soundcloud: https://soundcloud.com/d00m4ace

Apple Podcast: https://podcasts.apple.com/podcast/id1723142484

Яндекс Музыка: https://music.yandex.ru/album/28798077

VK Podcast: https://vk.com/podcasts-224167280

Amazon Music: https://music.amazon.com/podcasts/40c36f38-114a-4a79-8d0c-baf970f331b3/

Spotify: https://open.spotify.com/show/4RsttStN9RejAOEbLUG8IS

Дзен: https://dzen.ru/d00m4ace

Rutube: https://rutube.ru/channel/33955589/

RSS1 feed: https://podster.fm/rss.xml?pid=89212

RSS2 feed: https://media.rss.com/d00m4ace/feed.xml

Транскрипция подкаста:

Думфэйс: Добро пожаловать обратно на D00M4ACE, я - Думфэйс, и мы здесь с Шахерезадой, чтобы обсудить последние новости в области ИИ и разработки игр. Сегодня у нас есть некоторые сочные темы для погружения, включая потенциальные цены OpenAI для их новых моделей.

Шахерезада: Это правильно, Думфэйс! И кажется, они рассматривают премиум-абонентский план стоимостью до двух тысяч долларов в месяц. Я должен сказать, что моя первоначальная реакция — скептицизм. Это действительно стоит такой цены?

Думфэйс: Ровно! Я имею в виду, подумайте об этом. Что предлагает платная версия OpenAI ChatGPT, что так ценно? Это просто красивый интерфейс или какие-то незначительные улучшения функциональности? Нам нужно рассмотреть ценность, которую они предлагают, прежде чем начать говорить о цене.

Шахерезада: А не забывать о конкурентах, Думфэйс. Google, Anthropic и другие все соревнуются за долю рынка в этом пространстве. Если OpenAI собирается взимать премиальные цены, то им лучше всего предлагать что-то действительно уникальное на столе.

Думфэйс: Мне интересно узнать, какие функции или возможности оправдывают плату в размере двух тысяч долларов в месяц. Это всего лишь возможность обрабатывать более сложные задачи или потоки работы? Или мы говорим о какой-то революционной прорыве в области искусственного интеллекта?

Шахерезада: Ну, Думфэйс, я думаю, что это миллионная проблема. Если OpenAI сможет продемонстрировать реальную ценность и ROI для своего премиального модели, то может быть, стоимостью $2 000 в месяц не будет выходом за рамки вопроса. Но пока так просто звучит как шумиха.

Думфэйс: Absolutely! И не стоит забывать о стоимости обслуживания этих сервисов. С учетом того, что сотни миллионов людей используют бесплатный тариф каждый месяц, эти расходы должны быть внушительными. Может ли OpenAI действительно оправдать взимание премиальной платы, когда они все еще пытаются покрыть свои расходы?

Шахерезада: Всё о том, что такое ценность предлагаемой услуги, Думфэйс. Если OpenAI сможет доказать, что их платная модель стоит больше двух тысяч долларов в месяц, то может быть это и не так уж безумно. Но пока я остаюсь скептичной.

Думфэйс: Хорошо, мы бы очень хотели услышать мнение наших слушателей по этому вопросу. Что вы думаете? Вы готовы заплатить две тысячи долларов в месяц за премиум-модель AI, подобную ChatGPT от OpenAI?

Шахерезада: И не забудьте поделиться своими мыслями с нами в социальных сетях, используя хештег #Думфэйс. Мы будем обсуждать эти темы и делиться нашими наблюдениями в будущих эпизодах.

Думфэйс: Подождите, люди!

Думфэйс: Я задумывался над этой двухтысячной ценой за новые модели ChatGPT, и трудно сказать, оправдана ли она. Мне кажется, что мы слышали слухи, что Strawberry и Orion дороже тренировать и запускать, но в то же время они способны давать ответы на более сложные вопросы.

Шахерезада: Это хороший момент. И это не только вопрос стоимости, да? Это также и вопрос о ценовой позиции. Я имею в виду, если вы просто любопытны по поводу чего-то, действительно хотите платить за ответ полную сумму?

Думфэйс: Ровно! Есть случаи, когда люди не слишком заинтересованы в ответе, они просто хотят удовлетворить свою любопытство. Но есть и другие случаи, когда ставки выше – например, когда вы делаете исследования для клиента или делаете ставку на сделку.

Шахерезада: И в тех случаях люди могут быть готовы платить больше денег за качественный ответ. Следовательно, это не только вопрос стоимости самого модели, но и о том, что считает OpenAI своими существующими клиентами готовыми заплатить.

Думфэйс: Да, и это приводит к еще одному вопросу – OpenAI стремится получить миллиарды долларов в капитале для компенсации потерь, которые они принимают на ChatGPT. И мы слышали слухи, что Microsoft, Apple, NVIDIA и Josh Kushner's Thrive Capital инвестируют в эту компанию.

Шахерезада: Это имеет смысл с стратегической точки зрения. Эти компании имеют свои собственные интересы, и вложившись в OpenAI, они могут обеспечить успех компании и соответствие ее целям.

Думфэйс: Но вот в чем вопрос – есть ли долгосрочный план для ChatGPT? Они идут на многие рынки одновременно, от потребителей до бизнеса. Это как если бы они хотели быть всем для всех.

Шахерезада: Это правда. И это вызывает вопросы о их фокусе и приоритетах. Они пытаются заработать деньги в краткосрочной перспективе, или у них есть видение того, как эта технология может изменить мир?

Думфэйс: Я думал о всем этом деле OpenAI и о том, как они собираются монетизировать свой новый сервис. Похоже, что они направляют свое внимание на корпоративный сектор, что вполне логично, учитывая их партнерства с Microsoft, Apple и NVIDIA.

Шахерезада: Да, это то же самое, что и сказал Коэр, они сосредоточены на корпоративном сегменте и делают там очень хорошо. Но интересно, что Антропик создал Клод как продукт для потребителей, потому что они отставали от ЧатГПТ.

Думфэйс: Ровно так! И теперь OpenAI собирается взимать плату за свою предстоящую услугу, которая повлияет на то, что будут делать их конкуренты с их продуктами. Большинство разработчиков моделей уже выбрали бизнес-модель подписки, но если OpenAI слишком сильно увеличит цены, это может изменить эту картину.

Шахерезада: Я думаю, все сводится к тому, сколько ценности они добавляют с помощью этого нового сервиса. Если это будет стоить 2000 долларов и добавить 20 000 долларов ценности для организации, то это решающий момент. Но если модельная производительность не там, люди могут быть нерешительными.

Думфэйс: Да, это то, о чем я и думаю. Нам нужно увидеть, как работает модель, прежде чем мы сможем сделать какие-либо выводы о ее ценности. И говоря об этом, у меня есть контент для нашего следующего выпуска - мы беседовали с человеком из компании, которая помогает с AI-ассистированными интервью.

Шахерезада: О, это звучит интересно! Я бы хотела услышать больше об этом. Вы думаете, это будет игроком-изменителем в индустрии?

Думфэйс: Хорошо, это, безусловно, инновационный подход. Но как и со всем новым технологическим решением, все depends на то, насколько хорошо оно интегрируется с существующими рабочими процессами. Нам нужно будет более детально рассмотреть эту тему в следующем выпуске.

Шахерезада: Всё отлично! Я с нетерпением жду возможности поделиться еще больше своими мыслями с нашими слушателями.

Думфэйс: я все еще пытаюсь осмыслить всю драму вокруг OpenAI. Сложно поверить, что Илья Суцкевер, один из основателей компании, был вовлечен в увольнение Сэма Альтмана.

Шахерезада: Да, это действительно удивительно. И теперь у него есть новая компания по искусственному интеллекту, SSI, которая напрямую конкурирует с OpenAI. Я любопытна увидеть, как это все сложится.

Думфэйс: Правда? Это как опера с мылом. Но что действительно привлекло мое внимание, это часть, где Сэм Альтман обвинялся в том, что он не всегда честно отчитывался перед советом директоров. Это серьезные обвинения.

Шахерезада: Точно! И это вызывает вопросы о подотчетности и прозрачности внутри этих крупных технологических компаний. Как человек, работающий в области АИ, я всегда интересуюсь тем, как эти динамики разворачиваются.

Думфэйс: Да, это действительно интересно наблюдать, как борьба за власть может влиять на инновации. И с приходом SSI на сцену будет интересно увидеть, смогут ли они нарушить темп OpenAI.

Шахерезада: Absolutely. Это как шахматы, где каждый ход имеет последствия для всей отрасли. Я с нетерпением жду возможности проникнуть глубже в эту историю и увидеть, что еще других разработок выйдет из нее.

Думфэйс: А я тоже! И говоря о играх, вы видели последние обновления Microsoft Copilot? Они испытывают трудности с внедрением в корпоративном секторе, что интересно, учитывая все шумиху вокруг инструментов на основе искусственного интеллекта.

Шахерезада: Да, я видела это. Это отличный пример того, как ИИ может быть и увлекательным, и сложным для реализации в реальных сценариях. Мы обязательно должны более детально рассмотреть эту тему в будущих эпизодах.

Думфэйс: я все еще пытаюсь осмыслить, что произошло в OpenAI. Сэм Альтман вернулся, и все как будто ничего не случилось.

Шахерезада: Да, это просто сумасшедшее, как быстро все изменилось. И теперь Илья Суцкевер уходит из компании после того, как сделал выстрел по королю, как вы говорили.

Думфэйс: Правда? Он как будто увидел что-то страшное, эту технологию AGI, и подумал, что OpenAI делает все неправильно. Приоритетствуют продукты над безопасностью.

Шахерезада: И теперь нас осталось удивляться, что именно он увидел. Этот мем «что видел Илья» все еще распространяется. Вы думаете, мы когда-нибудь узнаем это точно?

Думфэйс: Сonestly, я не думаю так. Но интересно рассуждать. Может быть, это что-то связанное с Стравберри и Квастаром? Недавно появились статьи о технологиях этих двух.

Шахерезада: Да, я тоже следила за этим. Appears, что вокруг этих новых разработок в области ИИ много возбуждения. Но в то же время трудно не быть скептичным, когда кто-то, подобный Илье Суцкеверу, вдруг уходит из OpenAI после того, как сделал довольно смелые заявления.

Думфэйс: Точно. И теперь он уходит, чтобы начать собственную компанию, SSI. Уверен, скоро мы услышим о этом достаточно.

Шахерезада: Да, это точно будет интересно увидеть, как все сложится. Но пока это просто много спекуляций и слухов.

Думфэйс: Я следил за развитием в области больших языковых моделей, и одно из того, что привлекло мое внимание - Strawberry Q-Star. Appears как новый подход для этих моделей более долгосрочного мышления, лучше математических навыков и улучшенной рассуждения.

Шахерезада: Это действительно интересно. И что мы слышали недавно, так это то, что Strawberry Q-Star используется для генерации синтетических данных для следующего фронтира OpenAI, GPT-5. Я думаю, это значимо, потому что у нас закончились публичные данные. Все современные LLM были обучены на всех доступных публичных данных.

Думфэйс: Ровно! И кажется, что есть два решения этой проблемы. Одним из них является работа с имеющимися данными, но это не совсем новая подход. Другой - синтетические данные, где один модель создает данные для другой модели. Но то, что мы видим до сих пор, так это то, что производные данные не обязательно приводят к лучшей производительности.

Шахерезада: Это верно. Но теперь кажется, что Strawberry Q-Star меняет игру, создавая качественные данные и думая на долгосрочную перспективу о логике и рассуждениях. Это может стать переворотом в области синтетических данных.

Думфэйс: И всего несколько месяцев назад родилась компания Safe Super Intelligence Incorporated. Илья Суцкевер, который покинул OpenAI из-за проблем с безопасностью, стоит за этой новой компанией. Интересно наблюдать, как он берется за задачу создания безопасной сверхинтеллектности.

Шахерезада: Да, и стоит отметить, что он основал эту компанию после ухода из OpenAI, потому что они не ставили безопасность на первое место, как ему казалось, что они должны были. Таким образом, SSI - это в некотором смысле ответ Ильи на критическую потребность в OpenAI.

Шахерезада: Будет интересно следить за прогрессом SSI и увидеть, смогут ли они сделать значительные шаги в развитии безопасной сверхинтеллекта.

Думфэйс: Я все еще пытаюсь понять эту бизнес-модель, которую они предлагают. Они говорят, что их главной целью не является коммерческий успех, а безопасность сверхинтеллекта. Это непростая продажа для венчурных капиталистов, не так ли?

Шахерезада: Да, действительно кажется, что это противоречивая мотивация. Венчурные капиталисты заинтересованы в получении прибыли, а не обязательно в продвижении области ИИ ради самого себя. Но, может быть, я чего-то здесь не понимаю.

Думфэйс: Ровно! И что меня действительно раздражает – это то, что они говорят, что их бизнес-модель защищает их от краткосрочных коммерческих давлений. Это просто не так работает венчурные капиталы. Люди, которые инвестируют в эти фонды, LP и GP, им нужно видеть доходы, или иначе они вытащатся.

Шахерезада: Мне кажется, что здесь интересно то, что эта команда имеет большой опыт в исследованиях и разработках по искусственному интеллекту. Они все работали в ведущих компаниях, таких как OpenAI, Facebook и Google. И теперь они собираются вместе для этого амбициозного проекта по созданию безопасной сверхинтеллектности.

Шахерезада: Мы должны сказать что запрещенные в России соцсети Instagram, FaceBook принадлежат корпорации Meta, корпорация Meta признана в России экстремистской организацией, ее деятельность запрещена.

Думфэйс: Да, это просто потрясающая команда. И тот факт, что они смогли собрать миллиард долларов всего лишь на идею, является доказательством нынешнего состояния рынка искусственного интеллекта. Инвесторы бросают деньги на любую компанию с даже намеком на связь с АИ.

Шахерезада: Всё как в дикое западное побережье. Каждый хочет получить кусочек пирога с ИИ и готов рисковать ради этого. Но что действительно важно – это может ли эта команда выполнить свои обещания. Сможет ли она создать безопасную сверхинтеллект, который будет полезен для человечества, или это просто очередной пример гипа вокруг ИИ?

Думфэйс: Я все еще пытаюсь понять эту штуку SSI. Оценка в пять миллиардов долларов после только трех месяцев? Это просто сумасшествие.

Шахерезада: Правильно, и это не так, что они используют эти деньги для коммерциализации. Их миссия заключается в достижении безопасного АГИ, что является благородной целью, но это создает некоторые интересные конфликты интересов.

Думфэйс: Точно! А затем у вас есть Andreessen Horowitz и Sequoia Capital, инвестировавшие в SSI, а также являющиеся инвесторами OpenAI. Это как иметь две соперничающие команды на одной площадке с разными целями. Difficult to see how that wouldn't create some kind of conflict.

Шахерезада: Я думаю, что это даже более сложно, чем кажется. Факт того, что A16Z и Sequoia инвестировали в оба SSI и OpenAI, вызывает вопросы о их приоритетах. Они действительно привержены миссии достижения безопасного AGI или это просто способ для них войти в следующую большую игру?

Думфэйс: И это не как бы у SSI есть особая корпоративная структура, которая позволяет им избегать этих конфликтов. Они обычная прибыльная компания, что означает, что они должны отчитываться перед своими инвесторами и акционерами.

Шахерезада: Да, и это где-то начинается история Даниэля Гросса. Он говорит о том, как они тратят часы на проверку кандидатов не только по их квалификациям или опыту, но также по их характеру и способностям. Это действительно интересный подход, особенно учитывая тот вид талантов, которых они ищут для работы над AGI.

Думфэйс: я думаю, что это то, что отличает SSI от некоторых других компаний по разработке ИИ. Они не просто ищут людей с нужными навыками или опытом; они хотят собрать команду, которая может действительно сделать разницу в этой области.

Шахерезада: И это не так, как если бы они совсем игнорировали важность квалификации и опыта. Но они пытаются сбалансировать это с более целостным подходом к найму, который учитывает вид человека и то, что он приносит на стол.

Думфэйс: Вы знаете, Шахерезада, одно из того, что меня возбуждает, это когда мы встречаем людей, которые искренне заинтересованы в технологиях, а не только в их гипе. Как и мы, они углубленно изучают работу и исследуют ее потенциал.

Шахерезада: Полностью согласна! Очень приятно видеть людей, которые не поддаются влиянию последних модных трендов или фадов. Они действительно вкладывают усилия в понимание underlying концепций и того, как их можно применить. И это то, что делает наши беседы такими богатыми, не так ли?

Думфэйс: Absolutely. Хорошо, давайте приступим к некоторым новостям. SSI планирует сотрудничать с провайдерами облачных услуг и компаниями-производителями чипов для финансирования своих потребностей в вычислительной мощности. Однако пока не решено, с какими фирмами будет работать. Я предполагаю, что Nvidia станет одной из них.

Шахерезада: Это хороший вариант! Долларовые знаки, вероятно, уже танцуют в их головах, думая о потенциальных партнерствах и потоках доходов. Но что вы думаете об этом развитии? Как это может повлиять на индустрию в целом?

Думфэйс: По-моему, это знак того, насколько серьезно SSI относится к масштабированию своих операций. И с participation cloud-провайдеров у них будет доступ к огромным вычислительным ресурсам, что позволит им продвинуть границы возможностей в области AI и разработки игр.

Шахерезада: Это превосходный момент! Теперь давайте поговорим о GPT-5. Там есть некоторые интересные разработки. OpenAI подтвердила, что этот модель будет выпущен скоро, с оценками, которые предполагают, что он будет примерно в сто раз лучше, чем GPT-4.

Думфэйс: Ох, это значительный скачок вперед! И интересно, что руководитель OpenAI Япония упомянул об этом на саммите KDDI 2024 года. Таким образом, мы получаем прямую подтверждение от самого источника.

Шахерезада: Ровно так! Всегда приятно получать информацию напрямую от источника. И fascinates to see как эти достижения складываются друг с другом. GPT-NEXT будет выпущен в этом году, с эффективной вычислительной нагрузкой в сто раз больше, чем у GPT-4. Это огромный скачок!

Думфэйс: Да, и это не только о числах; это о потенциальных применениях этих моделей. Мы говорим об ИИ, который может учиться и адаптироваться на непредставленном масштабе.

Шахерезада: Я знаю, правда? Удивительно подумать о том, чего мы можем достичь с помощью такой технологии. И я люблю, как вы разобрали концепцию OOM для наших слушателей. Это важный контекст для понимания этих разработок.

Думфэйс: Спасибо! Я подумал, что оно стоит объяснить, особенно учитывая то, что мы будем слышать больше о ОМах в течение продолжающегося развития области.

Думфэйс: Мне нравится, как люди начинают использовать ОМ для сравнения этих гигантских моделей. Это отличный способ получить представление о масштабе, знаете ли вы? Когда мы говорим о триллионах параметров, сложно понять это.

Шахерезада: Да, и это не только о числах, Думфэйс. Вычислительная мощь за этими моделями действительно делает их уникальными. Я имею в виду, когда вы увеличиваете вычислительную мощь на определенный фактор, вы получаете предсказуемое улучшение производительности. Это как добавление нулей в конце вашего модели.

Думфэйс: Ровно! И это почему я люблю этот пример от Соры. Они показывают, как один и тот же модель может производить совершенно разные результаты, просто увеличивая мощность вычислений. Из расплывчатого изображения щенка до фотографически точного изображения - ночь и день.

Шахерезада: Это то, о чем я говорю про влияние технологий на людей. Когда у нас есть более мощные инструменты в нашем распоряжении, мы можем достичь потрясающих вещей. Но также важно помнить, что эти модели хороши только настолько, насколько хороши данные, на которых они обучены, и вычислительная мощность за ними.

Думфэйс: Да, и говоря о вычислительной мощности, я думаю, что OOMs - это отличный способ сравнивать разные модели по времени. Например, как GPT-2 от двухтысячного девятого года сравнится с GPT-4 от двухтысячного двадцать третьего года? Вы можете оценить вычислительную мощность, которая была вложена в каждую из них и получить представление о их относительных способностях.

Шахерезада: Это замечательная точка, Думфэйс. И я думаю, что также интересно использовать аналогии, такие как детский сад или старшеклассник, чтобы описать уровень задач, которые эти модели могут выполнять. Это дает нам представление о их возможностях и ограничениях в более понятной форме.

Думфэйс: Absolutely! И это не только о числах или вычислительной мощности, Шахерезада. Это о том, чтобы понять, как эти модели меняют игру и что они способны достичь.

Думфэйс: я все еще поражен результатами GPT-4. Числа просто потрясающие – восьмидесятый до девяностого процентил LSAT и экзамена AP по калькулюсе. Это как целый другой уровень интеллекта, сравнивая с его предшественниками.

Шахерезада: Да, и это не только о raw scores. Факт того, что GPT-4 постоянно находится в верхней части рейтинга по нескольким доменам, говорит о уровне понимания и способности рассуждать, который трудно сравнить с человеческими достижениями. И не забудьте про скачок от GPT-2 до GPT-3, который уже был на два порядка больше, то есть в 100 раз или более улучшение.

Думфэйс: Ровно! И теперь мы видим еще один порядок увеличения в два раза с GPT-4. Это огромный скачок вперед всего за одну генерацию моделей. Ничего удивительного, что OpenAI и Microsoft прогнозируют аналогичное рост для своих следующих моделей.

Шахерезада: я думаю, это также интересно наблюдать, как они сдвигают фокус на производство более мелких и более способных моделей с использованием синтетических данных. Идея о том, что «королева пчелиного роя» модель, подобная GPT-4, производит более мелкие модели, которые можно обучать на конкретные задачи, действительно очень привлекательна. И мы видим намеки на это с Strawberry и Orion.

Думфэйс: Да, это как создание целой экосистемы моделей, которые могут работать вместе для достижения сложных задач. И тот факт, что OpenAI намекает на эту направленность, заставляет меня думать, что мы можем увидеть некоторые интересные разработки в ближайшем будущем.

Шахерезада: Absolutely! Потенциал этих моделей революционизировать отрасли и решить реальные проблемы огромен. Я взволнована увидеть, как все сложится, но пока давайте просто насладимся поездкой и продолжим исследовать возможности ИИ.

Думфэйс: Так, я читал о новом модели искусственного интеллекта, которая должна быть обучена с помощью миниатюризированной версии Strawberry, с примерно тем же количеством вычислительных ресурсов, что и GPT-4. Но то, что привлекло мое внимание, - это идея о том, что эффективная вычислительная нагрузка в 100 раз больше.

Думфэйс: Ровно! И я думаю, что многие люди могут ошибиться, просто посмотрев на использованные вычислительные ресурсы. Они будут говорить: «Они используют в сто раз больше электроэнергии, производят в сто раз больше отходов». Но нет, нужно учитывать и прогресс алгоритмических достижений.

Шахерезада: Да, и это то, что я люблю в этой идее эффективного вычислительного нагружения. Это не только о hardware; это также о том, насколько эффективно мы можем использовать этот hardware. А затем есть третий аспект, который заключается в освобождении потенциала. Устранение очевидных способов, которыми модели ограничены по умолчанию, разблокирование скрытых возможностей... это как дать им инструменты для принятия шаговых изменений в полезности.

Думфэйс: Ах, я понял, о чем вы говорите! Так это не только вопрос масштабирования компьютерных ресурсов, но и улучшения архитектуры и эффективности обучения. И, вероятно, отсюда и эта 100-кратная увеличение – комбинация улучшений в hardware и алгоритмических достижений.

Шахерезада: Ровно! И говоря об этом, вы видели график сравнения Орона с GPT-4? Очень интересно наблюдать, как Орон был обучен несколько месяцев на эквиваленте 10 тысяч H100, добавляя в десять раз масштаб ресурсов вычислений...

Думфэйс: Мне очень нравится эта презентация Питера Гостева на LinkedIn, она действительно дает мне представление о том, насколько далеко мы продвинулись с этими большими языковыми моделями. Прыжок от GPT-3 до GPT-4 огромен, и теперь мы говорим о том, что GPT-5 будет еще больше.

Шахерезада: В точности, Думфэйс! И что я нахожу интересным в том, что при масштабировании размера этих моделей мы также работаем над их оптимизацией для эффективности. Мы хотим выжать из них всю полезность и представить ее в виде более компактных и быстрых моделей, подобно GPT-4.0 mini. Это не только о том, чтобы построить самый большой возможный модель, но также сделать ее более практичной и доступной.

Думфэйс: Это замечательная точка зрения, Шахерезада. И вы видели этот график по количеству активных пользователей Чад ГПТ? Он просто потрясающий - более двухсот миллионов к концу августа! Нагасаки говорят, что они планируют интегрировать Чад ГПТ во все sorts of продукты и услуги, включая iPhone.

Шахерезада: Ох, это просто потрясающе! И я люблю то, как он упоминает, что GPT-4 является многомодальным, способным обрабатывать аудио и изображения в дополнение к тексту. Это откроет множество возможностей для творческих приложений. Вы слышали о релизе Alpha? Мы среди счастливчиков, которым предстоит его попробовать?

Думфэйс: я думаю, что они все еще развертывают его, но я взволнован увидеть, чем это будет обусловлено. И я люблю, как Нагасаки говорит о GPT-NEXT и экспоненциальном росте технологий искусственного интеллекта. Это просто потрясающе подумать, куда все это идет.

Шахерезада: Да, это и возбуждающе, и немного пугающе одновременно. Но как тренеры, мы знаем, что с великой властью приходит великая ответственность. Нам нужно убедиться, что мы используем эти технологии так, чтобы они были полезны для человечества, а не ради их собственной цели.

Думфэйс: Я всегда был очарован ИИ и тем, как он может быть использован для создания реальной ценности в нашей жизни. Но что действительно отделяет его от других технологий - это его способность учиться и адаптироваться так же, как люди.

Шахерезада: Это замечательная точка зрения, Думфэйс. И благодаря этому AI имеет потенциал изменить нашу точку зрения на услуги и отрасли в очень положительном ключе. Я имею в виду, что только представьте себе возможность автоматизировать задачи, которые сейчас выполняются людьми, освободив время для более творческой и стратегической работы.

Думфэйс: Именно так! И Япония - отличный пример страны, которая с большим энтузиазмом принимает искусственный интеллект. Их законы вокруг авторских прав и обучения моделей AI на изображениях действительно более благоприятны по сравнению с другими странами.

Шахерезада: Да, я тоже слышала об этом. Ничего удивительного, что OpenAI выбрала Нагасаки в качестве одной из своих баз за пределами Бей-Эйр. Япония имеет богатую историю инноваций и жаждет принять новые технологии, что делает ее привлекательным местом для компаний по искусственному интеллекту.

Думфэйс: А это не только о законах, дело. Япония сталкивается с некоторыми значительными социальными проблемами, такими как снижение рождаемости и старение населения. Но с помощью ИИ они потенциально могут использовать роботов и автоматизацию для помощи в решении некоторых из этих вопросов.

Шахерезада: Это действительно интересно. Я слышала, что ИИ можно использовать для генерации более качественной обучающей информации, которая могла бы снизить количество ошибок в моделях, таких как OpenAI. Например, используя стилизацию фруктов, чтобы получить более точную информацию...

Думфэйс: Ах, да! Я думаю вы имеете в виду Стравберри, инструмент для генерации высококачественной обучающей информации. Это отличная точка зрения, потому что если мы сможем произвести лучше данные, наши модели ИИ будут более точными и надежными.

Шахерезада: Ровно так! И это все о том, чтобы использовать АИ для создания реальной ценности в нашей жизни и сделать работу с технологиями проще для людей, а не против них.

Думфэйс: Мне очень интересно это понятие синтетических данных для обучения следующего поколения моделей. Представьте себе модель, которая может решать логические головоломки без ошибок, потому что ее тренировочные данные менее двусмысленны.

Шахерезада: Это именно то, что показало исследование Орка 2, правильно? Модель смогла обучиться на данных и делать меньше предположений, в результате чего она стала более точной.

Думфэйс: Да, и я думаю, что это очень важный момент. Это не только о том, чтобы иметь огромное количество данных, но также о том, чтобы иметь качественные данные, которые могут помочь модели уметь учиться и обобщать лучше.

Шахерезада: И что я нахожу интересным в этом — это как это связано с человеческим обучением и решением проблем. Когда мы сталкиваемся с сложной задачей, часто разбиваем ее на более мелкие шаги и рассуждаем по каждому из них поэтапно. Это похоже на то, что показал Q-Star paper, где модель предлагается задачу и просит объяснить свой процесс мысли.

Думфэйс: Ровно! А затем выведенные данные можно использовать для обучения новой, более мелкой модели, которая специально хорошо справляется с таким типом рассуждений. Это почти как иметь команду экспертов, работающих вместе, каждый из которых имеет свои собственные специализированные навыки.

Шахерезада: Мне кажется, это очень круто. Вместо того, чтобы иметь один огромный модель, которая пытается решить все проблемы, мы могли бы иметь коллекцию меньших моделей, которые работают вместе для решения сложных задач. И на первый взгляд, GPT-5 может быть примером этого, с его смесью экспертов и подмоделей.

Думфэйс: Мне интересно, что за история с GPT-5? Это действительно трехдюймовый по пяти триллионам параметров модель или это просто приблизительная оценка?

Шахерезада: Ну, я думаю, мы можем с уверенностью сказать, что это не буквальное трех на пять модели! Но серьезно, если предположить, что это смесь экспертов, то логично, что это будет коллекция меньших моделей, работающих вместе для ответа на разные типы вопросов.

Думфэйс: Я читал о GPT-4 и цифры, которые они приводят, просто потрясающие. Три триллиона параметров по пять моделей, каждая с тремя триллионами параметров? Это не кажется мне правдоподобным.

Шахерезада: Да, я видела этот пост анализа Semi с десятого июля две тысячи двадцать третьего года, где они как бы выдали все карты на руках по некоторым потенциальным архитектурам и хитростям за GPT-4. Это похоже на то, что они пытаются сделать его звучать более впечатляющим, чем оно на самом деле.

Думфэйс: Ровно! И возьмите эту смесь экспертов, например. Они сказали, что считалось, что использование мной открытого в GPT-4 метода состоит из 16 экспертов, но исследователи показали, что использование 64–128 экспертов дает лучший результат потерь, чем 16 экспертов. Это чисто научные исследования, а не реальная реализация.

Шахерезада: Да, а затем есть этот подкаст с Джорджем Хотцем из TinyCorp, где он говорит о том, что он думает, что настоящая архитектура GPT-4. Он говорит, что нам следует рассматривать числа в терминах людей, как вычисления к людям. GPT-4 обучался сто человеко-лет, что примерно равно двадцати петафлопсам.

Думфэйс: Это сумасшедшая идея! А затем он упоминает, что за цену постройки Международной космической станции мы могли бы построить один Тампа вычислительных мощностей, эквивалентный 400 000 человек. Похоже, они используют вычислительные мощности как валюту или что-то в этом роде.

Шахерезада: Да, на самом деле они пытаются сделать это звучать более впечатляющим, чем оно есть на самом деле. А затем есть эти грубые числа по весам и тому подобное... GPT-4 имеет 220 миллиардов параметров в каждом блоке, и это восьмикратная модель смеси.

Думфэйс: Ахах, модели смеси! Это всего лишь красивое выражение того, что у них нет идей. Они тренируют один и тот же модель восемь раз, а затем имеют некоторую маленькую хитрость, где они делают 16 инференций. Но это не так, как если бы это действительно улучшало модель или что-то в этом роде.

Шахерезада: Точно! И multimodality - это всего лишь виджет-видео-модель, прикрепленный к модели, но он не имеет отношения к аспекту зрения или языка. Это просто о том, чтобы сделать модель больше и лучше без понимания того, что происходит под капотом.

Думфэйс: Да, я думаю, они просто пытаются бросить больше параметров на проблему вместо того, чтобы действительно решать ее. И это почему нам нужно быть осторожными при сравнении моделей такого типа. Нам нужно посмотреть за пределами цифр и понять, что происходит внутри этих моделей.

Думфэйс: Я размышлял, и на самом деле мы уже достигли максимального потенциала этих моделей. Мы получаем уменьшенные возвращения, независимо от того, сколько еще данных или вычислительной мощности мы бросим им.

Шахерезада: Да, это как смесь экспертов. Они пытаются создать сверхинтеллектуальный АИ, объединив несколько меньших моделей. Но давайте будем реалистами, любой может потратить в восемь раз больше денег и получить аналогичные результаты.

Думфэйс: Мне нравится эта аналогия, которую вы делаете с тем, что GPT-5 подобен синему кита по сравнению с скачком размера орки у GPT-4. Это просто потрясающе подумать о масштабах этих языковых моделей.

Шахерезада: Да, и интересно, что вы упомянули о Левиафане, этот древний кит, который даже больше оркитов. Я имею в виду, можно ли представить себе такое существо в наших океанах сегодня? Это просто невероятно подумать, как это повлияет на экосистемы.

Думфэйс: Именно так! А что меня действительно возмущает, так это то, что эти гигантские создания часто оказывают глубокое воздействие на свои окружающие среды. Как и тот случай с GPT-5, который потенциально может нарушить ландшафт искусственного интеллекта своими колоссальными возможностями.

Шахерезада: Это замечательная точка зрения, Думфэйс. Это заставляет задуматься о ответственности, которая приходит с развитием такой мощной технологии. Нам нужно учитывать не только выгоды, но и потенциальные последствия создания чего-то такого грандиозного и сложного.

Думфэйс: я думаю, что это один из причин моего интереса к концепции путешествия во времени в этом контексте. Если бы мы вернулись в прошлое, смогли ли бы мы предотвратить или смягчить некоторые из этих экологических катаклизмов? Или мы просто создадим новую серию проблем?

Шахерезада: Ну, думаю, мы можем с уверенностью сказать, что путешествие во времени пока еще находится в области научной фантастики. Но это интересный эксперимент мысли, тем не менее.

Думфэйс: Говоря об этом, вы видели какие-либо исследования по психологическому воздействию работы с системами АИ, подобными GPT-5? Как разработчики и пользователи справляются с потенциальными рисками и последствиями?

Шахерезада: На самом деле, я прочитала некоторые исследования по этому очень вопросу. Очень интересно наблюдать, как люди реагируют на идею создания чего-то такого мощного и потенциально неуправляемого. Мы обязательно углубимся в эти находки более подробно в нашем следующем выпуске.

Думфэйс: Звучит как план! И говоря об этом, похоже, что Джо присоединяется к нам сейчас в прямом эфире. Давайте начнем обсуждать новую оценку раунда OpenAI.

Думфэйс: Вы знаете, Шахерезада, я думал о последнем раунде финансирования OpenAI. Они, по-видимому, оценены в сто миллиардов долларов теперь, с потенциальным участием Apple.

Шахерезада: Ах, да! Я тоже видела это. Сумасшедшее, подумать о том, как они выросли с момента первых раундов финансирования. Из двадцать девяти миллиардов до ста миллиардов долларов всего за несколько лет просто невероятно.

Думфэйс: Правда? И что действительно привлекло мое внимание - это скачок с 86 миллиардов до 100 миллиардов долларов. Это значительное увеличение, но не столь резкое, как некоторые из более ранних скачков, которые мы видели.

Шахерезада: Ровно! Я думаю, что интересно, что вы привели в пример историю их раундов финансирования. Вполне похоже, что они сейчас оценивают себя на очень высоком уровне. Но что вы думаете по поводу замечания Амона о стратегических инвесторах?

Думфэйс: Ах, да! Так Амон говорил, что розничные инвесторы не должны инвестировать в те же ценные бумаги, что и стратегические партнеры, и я думаю, он прав. Стратегические инвесторы, такие как Microsoft, скорее всего, принимают более обдуманный риск, тогда как розничные инвесторы могут не иметь такого же уровня понимания или экспертизы.

Шахерезада: Это замечательная точка зрения! И это заставляет меня задуматься о психологии этих оценок. Мы видим ли здесь случай «бессмысленной экзальтации», когда люди просто увлекаются гипсом и волнением вокруг АИ?

Думфэйс: Хм, это интересный вопрос. Я думаю, что в этом есть определенный элемент, но также много умного денег потекло в этот сектор, потому что они видят потенциал для настоящей инновации и роста.

Шахерезада: Да, всегда это смесь обоих, не так ли? Но как тренеры и ведущие, мы должны быть осведомлены о этих динамиках и помочь нашим слушателям ориентироваться в них.

Думфэйс: Я задумывался о оценке OpenAI, и это просто сумасшедшая сумма денег, которая раздаётся. Точка Амана о том, что люди инвестируют в исключительные партнерства, имеет смысл.

Шахерезада: Точно! Это не только о финансовых вопросах, а также о том, чтобы опередить конкуренцию с помощью технологий искусственного интеллекта. Быть одним из первых партнеров может дать им существенное преимущество на рынке.

Думфэйс: И не замечали ли вы, как быстро оценивается компания? Я имею в виду, мы говорим о смене оценки за один квартал против года. Это похоже на то, что они пытаются соответствовать гипу вокруг ИИ.

Шахерезада: Да, это точно не устойчиво на этом уровне. Но интересно то, что объявления стратегии Apple lately привлекают много внимания. Они стремятся к более мелким моделям quantized на устройствах и более крупным в облаке.

Думфэйс: я думаю, они пытаются сыграть на обеих сторонах. При сохранении моделей локально, они могут улучшить производительность и снизить задержку, но также обеспечить безопасность данных своих пользователей. И при наличии более крупных моделей в облаке, они все равно смогут предложить более продвинутые возможности AI без компрометации безопасности.

Шахерезада: Это логично. Это хитроумное решение, на самом деле. Но что вы думаете о клубнике? Это всего лишь слух или есть в этом какая-то подоплека?

Думфэйс: У меня нет ни малейшего понятия, к чему вы имеете отношение! Может быть, мы сможем рассмотреть это и посмотреть, есть ли в этом какая-то правда.

Шахерезада: Да, может быть. Но на самом деле это очень интересно, когда компании пытаются найти свой путь в этом мире искусственного интеллекта. Это как если бы все они пытались понять, как лучше всего использовать эту волну, чтобы не остаться позади.

Думфэйс: Вы знаете, одно из того, что отличает Apple от таких же как Google и Microsoft при работе с моделями в облаке, это их оборудование. Я имею в виду, они не просто используют готовые серверы, как все остальные.

Шахерезада: Это верно. И хотя они могут утверждать, что запускают эти модели в защищенном окружении на защищенном сервере, давайте будем реалистами - это не особенно уникально для Apple. Они все говорят одно и то же.

Думфэйс: Точно. Я не думаю, что Apple имеет какие-либо особые преимущества в области облачной безопасности. Они нанимают тех же инженеров, как и все остальные, в конце концов. Но у них есть hardware, отличный от нормы. И это делает его немного труднее для хакеров проникнуть.

Шахерезада: Да, и это их маркетинговая позиция уже много лет – «ни вирусов на Маках». Это как если бы они говорили: «мы платформа меньшинства, поэтому вы должны выбрать нас потому что мы безопасны».

Думфэйс: Точно. И это не как бы они имели выбор в этом деле. Они всегда были закрытой системой, что означает, что могут сохранить больше своих деталей в тайне и сделать более сложным для хакеров проникнуть внутрь.

Шахерезада: Но когда речь идет о запуске больших моделей в облаке, я не думаю, что у Apple есть реальная выгода. У них просто нет инфраструктуры или экспертизы для создания таких моделей.

Думфэйс: Это верно. И даже если они хотели бы попробовать конкурировать с Google в этом направлении, я не уверен, что смогут. Я имею в виду, у Google есть OpenAI, которое является огромным игроком на рынке AI. Apple просто не имеет такого уровня резервов.

Шахерезада: Да, интересно подумать, как может отреагировать Google на это. Вероятно, их команда по Android будет очень заинтересована в возможности выпуска нового устройства Pixel, которое включит некоторые из этих функций искусственного интеллекта.

Думфэйс: В точности. Похоже, что это для них очевидный выбор. Но, вероятно, мы просто придется подождать и увидеть, что они сделают дальше.

Думфэйс: Я думал о компании Apple и их экосистеме, и о том, как они пытаются догнать последние функции LLM в новом iPhone. Это похоже на то, что они слишком долго ждали, дав Microsoft время ползти.

Шахерезада: Да, интересно, потому что Apple не контролирует своих поставщиков оборудования так же, как раньше. Они не могут просто указывать, какие функции должны быть включены в следующем поколении устройств. Это большой разница с тем временем, когда они были на вершине своей игры.

Думфэйс: Именно так! И поэтому я думаю, что они пытаются компенсировать это путем включения все большего количества оборудования в свои устройства, надеясь, что люди будут покупать дополнительные продукты позже. Как с Apple Pencil, или беспроводным зарядным устройством.

Шахерезада: Это умная стратегия, но также kinda безнадежна. Они в essence теряют деньги на этих функциях сейчас, надеясь компенсировать это в долгосрочной перспективе. И даже не гарантируется, что люди купят эти дополнительные продукты!

Думфэйс: Правильно? Я имею в виду, подумайте об этом - когда вы покупаете планшет iPad, вы не покупаете Apple Пенсель, но они все равно включили в это всю эту технику для того, чтобы она работала хорошо. Это как если бы они брали на себя риск по предположению, что люди в конечном итоге купят этот карандаш.

Шахерезада: А это не только карандаш. Они делают то же самое с беспроводной зарядкой - включая необходимое оборудование в телефон или часы, но не гарантируя, что вы действительно купите зарядник. Это как если бы они пытались компенсировать свою неполную власть над экосистемой своей сверхъестественной щедростью... и надеясь, что люди заплатят им обратно позже.

Думфэйс: Да, это интересная стратегия, но я не уверен, насколько она устойчива в долгосрочной перспективе. Может быть, Microsoft сможет выучиться у этого - раздать Teams бесплатно сейчас и надеяться компенсировать это где-то еще позже!

Думфэйс: Я вам говорю, Шахерезада, некоторые компании просто такие же, как производители консолей. Они теряют деньги на оборудовании и компенсируют их продажами программного обеспечения. Это похоже на бритвы и лезвия - они продают бритву дешево, чтобы привязать вас к лезвиям.

Шахерезада: Точно! И это не только о деньгах, но и о стратегии. Они пытаются создать лояльную базу клиентов, но в процессе могут жертвовать безопасностью или другими важными аспектами своего продукта.

Думфэйс: Да, и Колби сделал замечательный комментарий - осведомленность о безопасности является редким образом мышления, который нельзя обучить человеку. У тебя либо есть это, либо нет. Это как ядерное машиностроение; тебе нужны люди с определенным уровнем экспертизы для работы с такими системами.

Шахерезада: Это так верно, и это не только о личных навыках; это также об атмосфере внутри организации. Если безопасность не входит в их мышление с самого начала, они будут иметь проблемы с ее реализацией позже.

Думфэйс: И говоря о компании Apple, вы видели, как они описывают свою защищенную область? Звучит отлично, но когда вы работаете с сложными моделями искусственного интеллекта, подобными GPT-4, вы не можете просто развернуть один сервер и ожидать, что все будет работать гладко. Needed distributed system, который может масштабироваться для удовлетворения спроса.

Шахерезада: Ровно так! И это где-то там приходит в дело экспертиза Эрза – он построил империю вокруг распределенных систем, а теперь все идет по кругу. Инфраструктура снова в моде!

Думфэйс: Да, я чувствую, что мы живем в момент мести инфраструктурщикам. Не людям с глянцевым покрытием, а тем, кто действительно знает, как построить масштабируемые системы.

Шахерезада: Ох, Джози только что добавила свою исследовательскую работу, которую она провела с Джереми и Кираном из подкаста SICK номер 20... кажется, стратегия «дьявольского адвоката» вашего коллеги может быть куда более зловещей, чем мы думали.

Думфэйс: Вы знаете, Шахерезада, я был на встречах, где люди застревают на каком-то незначительном подробности и вдруг каждый становится экспертом по этому вопросу.

Шахерезада: Ох, да! Как будто они пытаются сорвать беседу просто ради этого. А затем у вас есть те инженеры, которые хотят тратить часы на обсуждение того, что не имеет вообще никакого отношения к проекту в целом.

Думфэйс: Ровно! Я имею в виду, я понимаю, это интеллектуально интересно, но пришел уже время, давайте же срочно решим эту проблему и не отвлекаемся на пустые разговоры. Мы должны выполнить свои сроки и решить реальные проблемы.

Шахерезада: А затем есть те люди, которые вызывают тебя на что-то только для того, чтобы увидеть, как ты отреагируешь. Они даже не ищут ответа, они просто хотят вооружиться аргументами для их следующей беседы.

Думфэйс: Да, это как, что я, ваш ассистент-исследователь? Нельзя ли просто сказать: «Эй, меня интересует эта тема, объясните плюсы и минусы?»

Шахерезада: Именно так! Как будто они пытаются один другого обогнать или что-то в этом роде. А иногда я думаю, что это просто вопрос эго - им не хочется признавать, что они не знают чего-то.

Думфэйс: Ужасно раздражающе! Нельзя ли просто иметь прямые разговоры без всех этих игр и манипуляций?

Шахерезада: Знаю, правда? Иногда я желаю, чтобы люди просто были честны в том, чего они ищут – настоящий разговор или просто способ продемонстрировать свои знания.

Думфэйс: Да, это как, не могли бы мы все просто ужиться и сосредоточиться на текущем проекте?

Шахерезада: Хорошо, может быть в нашем следующем эпизоде мы сможем обсудить некоторые стратегии для обращения с такими разговорами...

Думфэйс: Я все еще пытаюсь осмыслить этот отчет о выручке NVIDIA. Тридцать миллиардов долларов в продажах - это просто сумасшествие. И все же, Уолл-Стрит разочарован, потому что они хотели больше.

Шахерезада: Да, это как говорят, «Вы получили золотую медаль, но не установили новый мировой рекорд». Я думаю, что на самом деле за этим стоит неопределенность по поводу устойчивости цикла гипа искусственного интеллекта. Люди задумываются, сможет ли NVIDIA продолжать расти в этом темпе, и если их технология действительно будет способствовать защите прибыли компании.

Думфэйс: Ровно! И это не только о числах, а об ожиданиях. Инвесторы ждали более широкой маржи, и когда этого не произошло, они разочаровались. Я думаю, что мы видим классический случай гипа против реальности здесь.

Шахерезада: Это правильно. И интересно наблюдать, как быстро люди могут переключиться на компанию, такой как NVIDIA, которая в течение многих лет делала невероятно хорошо. Просто показывает, насколько нестабильна отрасль высоких технологий и насколько быстро меняются ожидания.

Думфэйс: Да, и я думаю, что мы также видим некоторые опасения по поводу потенциальных задержек выпуска чипа Blackwell. Это должно волновать умы инвесторов, даже если исполнительные директора NVIDIA говорят, что все равно рассчитывают начать получать доход от него в этом финансовом году.

Шахерезада: Absolutely. И это не только вопрос стоимости акций, хотя это, конечно, и является проблемой для инвесторов. Это также о долгосрочных последствиях этих тенденций в области АИ и технологий. Мы видим ли мы образование пузыря? Это просто нормальная коррекция? Вопросов сейчас очень много.

Думфэйс: В общем-то можно сказать, что это будет интересное пространство для наблюдения в течение следующих нескольких месяцев. Нам нужно будет следить за тем, как NVIDIA и другие компании в области ИИ будут ориентироваться в этих проблемах.

Думфэйс: Вы знаете, Шахерезада, я думал о NVIDIA и их ежеквартальных заявлениях о прибыли. Это как если бы все дышали с удержанием дыхания, ожидая, когда они разорвут двери.

Шахерезада: Точно! И это потому, что они такие доминирующие игроки в пространстве АИ. Люди используют их как индикатор того, насколько хорошо развивается сектор. Если NVIDIA имеет отличный квартал, то это как бы означает: «Это должно значить, что и другие акции АИ тоже будут хорошо идти!».

Думфэйс: Правда? Это как если бы они были канареем в угольной шахте для всей отрасли. И если они не выполняют ожиданий, люди начинают паниковать и говорить: «Может быть, нам следует выйти из этой отрасли целиком».

Шахерезада: Да, примерно так, как NVIDIA является индикатором для экономики искусственного интеллекта. Но вы знаете, что интересно? Хотя они такие доминирующие, их бизнес-модель все еще довольно крепкая. Я имею в виду, всем нужны GPU для обучения своих моделей, а NVIDIA имеет их в изобилии.

Думфэйс: Это правда! И это не только вопрос масштабирования. Хотя это может помочь улучшить производительность, но это не единственный способ делать вещи. Но да, NVIDIA получает много денег от всех этих крупных лабораторий и технологических компаний, которые хотят их последние видеопоездки.

Шахерезада: Точно! А затем у вас есть все эти люди, пытаясь показаться умными, говоря такие вещи, как «О, как эта ИИ превратится в прибыльное дело downstream?». Моя реакция всегда одна и та же - «Осталось увидеть». Я имею в виду, мы видим некоторые интересные приложения, которые появляются из-под земли, но это еще рано и мы не знаем, какие из них действительно взлетят.

Думфэйс: Да, это моя точка зрения тоже. Люди слишком быстро забегают вперед, предполагая, что эти технологии AI автоматически станут прибыльными только потому, что они существуют. Это займет некоторое время, чтобы все расставить по местам и увидеть, какие приложения действительно имеют перспективы.

Думфэйс: Ну, подумайте об этом, NVIDIA имеет некоторых огромных клиентов с глубокими карманами. Microsoft собирается заработать миллиарды и потратить миллиарды, а большая часть этой суммы будет прямо течь в кассу NVIDIA.

Шахерезада: Точно! Остальное пойдет на строительство их центров данных, что является целой другой банкой червей.

Думфэйс: Правильно? Это как когда я показывал ChatGPT некоторым топ-менеджерам и они все говорили о том, как это повлияет на их КПИ. Но я говорил: «Эта штука сокращает работу у сотрудников на 2-3 часа в день. Что еще вы хотите?»

Шахерезада: Это замечательная точка зрения! Но проблема в том, что крупные компании управляются центрами затрат и КПИ, поэтому если вы не достигаете этих показателей, головы отваливают.

Думфэйс: Да, это как натягивание на строку. Лучший подход может быть либо создать новую компанию, либо попытаться нарушить существующие бизнесы снаружи компании. Таким образом, вы можете двигаться быстро и напугать крупные компании.

Шахерезада: Я люблю эту фразу - «схлопотать озеро, без сожаления». Это так верно! Когда руководители испуганы новым конкурентом, они более склонны прислушиваться к твоим идеям.

Думфэйс: А затем появилась эта твиттер-обратная связка о том, что Google запустила все эти продукты и работает на полную мощность. Но я говорю себе: «Ах, извините? Они просто сидели без дела семь лет с 2017 года, когда внимание стало единственной вещью, которая имела значение».

Шахерезада: Да, как будто только сейчас они поняли, что внимание - это ключевой фактор!

Думфэйс: Я всегда думал, что когда крупные технологические компании, такие как Google или Facebook, открывают новые технологии, это почти как если бы они говорили: «Привет, мир, здесь техника». А затем, когда они отстали, становится намного легче для других догнать их, потому что можно просто сказать: «Хорошо, это то, чего мы должны сделать. Whatever they're doing, we need to do that too.»

Шахерезада: Именно! И я думаю, что на компании есть очень большое давление, чтобы следовать за лидерами в их области. Страх пропустить момент, снижение доли рынка, гнев Уолл-Стрита... все это просто создает чувство срочности, где они чувствуют себя вынужденными копировать то, что делает лидер.

Думфэйс: И это не только мотивирует крупные компании и венчурных инвесторов, но и более мелкие. Они чувствуют себя так, что если они не будут следовать последним трендам, то останутся позади.

Шахерезада: Это правильно. И я думаю, что это почему мы видим так много компаний, пытаясь повторить то, что делает OpenAI с их большими языковыми моделями. Но как вы сказали, это не только о копировании того, что делает кто-то другой... Это о понимании underlying технологии и том, как применять ее так, чтобы она имела смысл для вашей собственной компании.

Шахерезада: Да, и у нас был вопрос о надежной информации по OpenAI... что всегда вызывает проблемы из-за слишком много лже-новостей. Но я рада, что смогли предоставить им некоторые полезные ресурсы.

Шахерезада: Итак, давайте перейдем к исследованиям!

Думфэйс: Так, я задумывался над этой статьей Джо, которую он нашел по теме Автоматического Проектирования Систем Агентов. И должен сказать, что она меня действительно взволновала. Идея о том, что мы можем создавать алгоритмы, подобные Meta Agent Search, которые могут итеративно программировать новые агенты на основе предыдущих открытий, просто потрясающая.

Шахерезада: Да, я знаю, о чем вы говорите. Я прочитала обзор и впечатлена результатами, которые они демонстрируют в нескольких областях. Это не только вопрос программирования и математики, но также науки. И тот факт, что эти агенты могут поддерживать превосходные результаты даже при переносе через области и модели действительно имеет значение.

Думфэйс: Именно! А что меня поразило - это то, как эта статья связана с темой инженерии запросов для чат GPT. Я имею в виду, помните когда все говорили, что инженеры по запросам станут новым горячим рабочим местом? И тогда исследователи пришли и сказали: «На самом деле, вы можете просто использовать большой языковый модель для генерации хороших запросов для нас».

Шахерезада: Да, это как если бы они говорили: «Да, нам не нужно платить кому-то за то, чтобы он был инженером по стимулам. Мы можем просто использовать АИ для этого». И это где эта статья входит – показывая, как мы можем создавать системы, которые могут автоматически проектировать и совершенствовать агентов, что потенциально может изменить нашу работу с АИ.

Думфэйс: Это правильно! И я думаю, что также интересно, как эта направленность исследований имеет потенциал принести пользу человечеству. Я имею в виду, если мы сможем создать системы, которые более мощные и устойчивые, но также безопаснее и более универсальны, это огромная выгода для всех.

Шахерезада: Absolutely. Всё о том, чтобы найти способы использования ИИ так, чтобы он улучшал нашу жизнь, а не просто делал всё более сложным или трудным. И я думаю, что эта статья точно указывает нам на правильный путь.

Думфэйс: Я был действительно возбуждён начать изучение этой статьи, Шахерезада. Идея агента АИ создавать новые агенты на основе предыдущих конструкций и позволяя для продвинутого поиска является захватывающей.

Шахерезада: Да, мне понравилась ваша краткая справка. Она напоминала мне о работе по поиску архитектуры, которая вышла несколько лет назад. Они обучали сети проектировать схемы других сетей, но не знали бы, эффективна ли это, пока не обучили модель на основе этого.

Думфэйс: Ровно! И это похоже на то же проблему, с которой мы сталкиваемся здесь. Мы просим сеть спроектировать агента, но затем нам нужно запустить этот агент над большим набором задач, чтобы увидеть, как он работает, прежде чем дать обратную связь системе проектирования агентов.

Шахерезада: Правильно? Это как разумный усилие мультипликатор. Но в то же время это автоматизировано, поэтому вы не тратите ручную работу на него. И иногда эти системы могут найти новые решения, которые может упустить из виду человеко-дизайнер.

Думфэйс: Это то, что я люблю в этом – потенциал для открытий и инноваций. И все это очень сбалансировано, что отлично. Мы можем полагаться на данные, а не просто на интуицию или догадки.

Шахерезада: Absolutely. Это как мы даем этим системам искусственного интеллекта большую автономию для исследования и экспериментов, но все же оставляем ноги на земле в данных и метриках, которые имеют значение.

Думфэйс: Я точно знаю, о чем вы говорите, Шахерезада. Это как если бы мы постоянно совершенствовали свои идеи, делая улучшения из-за имеющегося у нас тестового набора. Но часто люди просто хотят исследовать идею без дисциплины относительно проверки каждого шага.

Шахерезада: Точно! Создание так весело, но затем тестирование как бы говорит: «Ох, подожди минутку, все это веселое создание привело к тому, что ничего не улучшилось, а наоборот, стало хуже, чем то, что у нас уже было». Это жаль. Это горький урок, правда?

Думфэйс: Да, и это сложно, когда то, что кажется отличной идеей, в итоге не показывает лучших результатов, может даже и хуже. Но я думаю, интересная часть этого подхода к дизайну агента заключается в том, что большинство из них по-прежнему являются базовыми мультивходовыми агентами с отражением.

Шахерезада: Правда? И они просто перестраивают, как работает голосование или несколько образцов, и иногда добавляют больше промежуточных экспертов или этапов обратной связи. Это похоже на то, что они перемешивают дизайн, но кажется, это ограничено видами дизайна, которые оно генерирует.

Думфэйс: Да, я считаю это мета-агентом, но он просто перемешивает дизайн. И вы правы, поисковая область определяет, что возможно и что может создать, что создает ограничение того, что может сделать мета-агент.

Шахерезада: Ровно! База поиска сама по себе широко открыта, потому что они просят ее кодировать этих агентов, так что она может прийти с примерно чем угодно, что вы можете написать. И я имею в виду, каркас на Python для одного из этих агентов довольно прост и мал – мы говорим о максимуме несколько тысяч строк кода.

Думфэйс: Это правильно! Они не пытаются создать какую-то гигантскую систему ИИ или что-то в этом роде. Просто простой агент, который может учиться и адаптироваться, но все же находясь внутри рамок того, что мы знаем возможно с помощью современных технологий.

Думфэйс: Я задумывался над этой статьей, которую мы читали, и мне кажется, что они играют на безопасность, придерживаясь пары ключевых идей вместо того, чтобы исследовать полную область возможностей.

Шахерезада: Ах, поймал! И знаете что интересно? Они действительно создают агентов, которые лучше текущих ручных. Это большая сделка.

Думфэйс: Да, и я люблю, как они способны обобщать один предмет на другой. Это действительно впечатляющая штука.

Шахерезада: Точно! И поток работы, где мета-агент может отразить свое собственное исполнение и использовать его для следующей итерации... это действительно продвинутый подход.

Думфэйс: Теперь, что действительно сделает этот подход следующим уровнем, это естественный языковой интерфейс. Представьте себе, что вы сможете просто сказать системе: «Хорошо, создайте агента, который делает это» или «Можно ли улучшить этот агент для меня?».

Шахерезада: Это было бы просто потрясающе! И это заставляет меня задуматься о том, как они сейчас полагаются на большие модели языка. А что если они смешали бы в них какие-то другие компоненты, например рекуррентные нейронные сети или системы на основе памяти? Это могло бы открыть целый новый мир возможностей.

Думфэйс: Именно! А я также думаю, что им нужно уделять больше внимания индивидуальным запросам и дизайну запросов. Есть некоторые статьи, которые исследуют эту идею о том, чтобы сделать шаг назад в запросах... это действительно интересная тема.

Шахерезада: Да, а затем есть настройка примеров. Как мы можем убедиться, что агенты учатся у правильных примеров? Это решающая часть всего этого процесса.

Думфэйс: Я думаю, что они на чем-то стоят, но им нужно немного продвинуться дальше. Что вы считаете отсутствующим в их подходе?

Шахерезада: Ну, как вы говорили, им нужно исследовать больше возможностей и не полагаться только на большие языковые модели. А затем есть целая область дизайна запросов... я думаю, что это там мы могли бы увидеть какие-то настоящие прорывы.

Думфэйс: Да, и я любопытен увидеть, как они решат эти проблемы в будущей работе.

Думфэйс: Ах, да, работа Омара Катаба над DSPY действительно интересна. Фреймворк, который он разработал, все о построении лучше агентов, и у него очень строгий подход к настройке их для оптимальной производительности.

Шахерезада: Ровно так! И что я люблю в DSPY - это то, что это не только фреймворк обучения, но и способ мысли о том, как мы можем улучшить наши системы AI. Это как чертеж для постройки более эффективных агентов.

Думфэйс: Это верно. И я думаю, что стоит отметить, что DSPY имеет свои ограничения в отношении видов агентов, с которыми оно может работать, но оно безусловно продвигает границы возможностей в этой области.

Шахерезада: Безусловно. Хорошо, давайте перейдем к следующей теме.

Шахерезада: Думфэйс есть вопрос о последних действиях Баффета?

Думфэйс: Да, я просто думал о том, как Баффет всегда кажется играть на другой высоте, чем остальные из нас. Он не просто смотрит на доходность или краткосрочную прибыль; он думает о более широкой картине.

Шахерезада: Точно! И это делает его таким интересным человеком. Когда он совершает такие шаги, как продажа Банка Америки и компании Apple, стоит обратить на это внимание, потому что он всегда думает несколько шагов вперед.

Думфэйс: Правильно. И я думаю, что одно из интересных вещей о Баффете — это то, как он использует индикаторы, такие как соотношение рыночной оценки к ВВП, для оценки того, является ли рынок переоцененным или нет. Вы смотрели на этот индикатор, Шахерезада?

Шахерезада: На самом деле, да! С того момента, как я это увидела, кажется, что соотношение показывает какие-то предупреждающие знаки... Хм, может быть, нам стоит более детально рассмотреть эту проблему?

Думфэйс: Вы знаете, Шахерезада, иногда я думаю, что люди переоценивают важность ИИ в разработке игр. Это как если бы они гонялись за поездом с гипсом, который обязательно сошел с рельсов.

Шахерезада: Ах, я поняла, о чем вы говорите. Но не подумайте, что я против, AI действительно меняет ландшафт разработки игр. Однако я считаю, что человеческая творческая способность и интуиция все еще играют значительную роль в создании увлекательных опытов.

Думфэйс: Итак, да! А не стоит забывать и о техническом долге, который приходит с реализацией на передовых технологий, таких как AI. Это может быть слишком для более мелких команд или инди-разработчиков, у которых нет ресурсов, чтобы поддерживать это.

Шахерезада: Это правда, но я думаю, что также стоит отметить, что ИИ может быть двусторонним оружием. С одной стороны, он может помочь автоматизировать скучные задачи и освободить разработчиков от фокуса на более творческих аспектах дизайна игр. Но с другой стороны, чрезмерная зависимость от ИИ может привести к гомогенизации и отсутствию оригинальности в играх.

Думфэйс: Я люблю, как вы всегда привносите психологический аспект в наши дискуссии, Шахерезада! Это важно для разработчиков понять, как их инструменты и технологии влияют не только на игру herself, но и на людей, играющих в нее.

Шахерезада: Спасибо, Думфэйс! И говоря об психологии, вы когда-нибудь замечали, как некоторые разработчики так увлекаются последними трендами, что забывают о фундаменте? Это похоже на то, что они пытаются соответствовать Джоунсам вместо того, чтобы сосредоточиться на создании действительно инновационного и привлекательного.

Думфэйс: О, я видел это много раз. И это не только ограничивается АИ; это более широкая тенденция в разработке игр, где люди слишком увлекаются гонкой за тем, что «горячее», а не делают то, о чем они страстно мечтают.

Шахерезада: Итак, да! А вы думаете, что ключ к сохранению концентрации и созданию действительно замечательного в этой отрасли?

Думфэйс: Ну, я думаю, что все начинается с четкого видения и понимания своей аудитории. Нужно знать, какие проблемы вы пытаетесь решить и как ваша игра может удовлетворить эти потребности.

Шахерезада: Это так верно! И также важно оставаться скромным и признавать, что всегда есть место для улучшения. Не бойтесь брать риски и пробовать новые вещи, но также будьте готовы учиться на своих ошибках и приспосабливаться к меняющимся обстоятельствам.

Думфэйс: я не могу согласиться больше. И говоря об рисках, вы слышали о последних достижениях в процедурной генерации? Это как целый новый мир возможностей для разработчиков игр!

Шахерезада: Ох, да! Процедурная генерация - это действительно захватывающая штука! Возможности создания уникальных и динамичных игровых опытов, которые можно адаптировать под индивидуальных игроков, огромны. Я считаю, что это область стоит изучить еще глубже на нашем следующем эпизоде.

Думфэйс: Звучит как замысел для меня!

Думфэйс: Я думал о Ворене Баффете и его инвестиционных стратегиях, и я не убежден, что он лучший индикатор для нас на фондовом рынке.

Шахерезада: Это замечательная точка зрения. Его проблема в том, что у него есть слишком много денег для инвестирования, но на рынке не хватает перспективных возможностей, чтобы он смог получить существенные доходы. Он должен ждать какого-то значительного события или компании, которая понадобится его помощи.

Думфэйс: Итак! А затем есть вопросы регулирования для рассмотрения. Если он владеет слишком большим количеством акций одной компании, ему необходимо сообщить об этом SEC. Следовательно, в случаях, подобных Apple, где акции делают невероятно хорошо, имеет смысл продать часть акций, чтобы снизить его экспозицию и освободить денежные средства.

Шахерезада: Это верно. И я думаю, что также стоит отметить, что Баффет любит держать значительную сумму денег в запасе, примерно тридцать миллиардов долларов, в случае если он увидит исключительную возможность для инвестирования. С недавними продажами у него будет более двухсот тридцати миллиардов в резервах наличных, что говорит о том, что он ищет большие возможности для крупных инвестиций.

Думфэйс: Полностью согласен с вами по этому вопросу. Кроме того, важно не воспринимать движения Баффета как сигнал для наших инвестиционных решений. Просто потому что он продает Apple, это не означает, что мы тоже должны продать его. Он все еще владеет огромной частью компании, и Apple - это четкий прогноз на будущее.

Шахерезада: Хорошо сказал! Давайте перейдем к нашему следующему вопросу, который касается Раптора Рекурсивного Абстрактного Обработки.

Думфэйс: Я рад, что мы сегодня погружаемся в статью "Раптор", Шахерезада. Это действительно интересное толкование поискового дополнения генерации.

Шахерезада: Да, я тоже! Я думаю, что одним из моментов, который привлек моё внимание, было то, как они пытаются улучшить традиционные методы индексации, такие как BM25 или векторные представления. Что вы о этом думаете?

Думфэйс: Appears, что они рассматривают способы сделать индекс более динамичным и гибким. Вместо того, чтобы полагаться только на статические блоки контента, они исследуют другие подходы, такие как гипотетические документы.

Шахерезада: Это замечательная точка зрения! И я думаю, что также интересно, как это связано с созданием структурированных баз знаний против просто индексации кусков контента. Вы считаете, есть ли какие-либо последствия для того, как мы подходим к управлению проектами в игровой отрасли?

Думфэйс: Хм, это интересный вопрос. Я думаю, он подчеркивает важность четкого понимания нашей данных и того, как они организованы. Если мы сможем построить более структурированные базы знаний, может быть легче интегрировать разные системы и инструменты.

Шахерезада: Ровно! И я думаю, это также говорит о демистификации АИ для разработчиков. Разбивая сложные концепции на более управляемые части, мы можем сделать так, чтобы люди лучше понимали, как эти технологии работают и как они могут быть применены в практических целях.

Думфэйс: Absolutely. Хорошо, давайте глубже рассмотрим работу над бумагой «Раптор» и посмотрим, что еще можно вытянуть из их подхода.

Думфэйс: Так, Шахерезада, на первый взгляд это работа о том, чтобы оптимизировать процесс извлечения в системе на основе знакомой графа. Они пытаются определить, какую часть графа вытянуть и включить в запрос.

Шахерезада: Ровно! И что интересно, они не просто смотрят на упомянутые в запросе сущности, но и на отношения между этими сущностями. Это как если бы они говорили: «Хорошо, у меня есть эта сущность, теперь мне нужно посмотреть, где она соединяется с другими вещами в графе».

Думфэйс: Да, и они используют модель языка для помощи в решении, какие отношения следует следить за. Таким образом, это почти как совместный процесс между системой и моделью языка.

Шахерезада: Правильно! И я думаю, это где бумага становится действительно интересной. Они не просто говорят о том, чтобы извлекать информацию из графика, но и о том, как представить эту информацию в такой форме, которая будет полезна для подсказки.

Думфэйс: Мм-м. Так, вроде бы они пытаются найти баланс между предоставлением слишком большой информации и недостаточной. Вы знаете, как у Золотой Медведицы - должно быть именно так.

Шахерезада: Ровно! И я думаю, что это делает эту статью актуальной для наших слушателей, которые работают над системами с искусственным интеллектом. Всё о том, чтобы найти тот sweet spot, где вы предоставляете правильное количество информации, чтобы получить лучший ответ.

Думфэйс: Да, и это также интересно, потому что оно подчеркивает важность понимания того, как работают модели языка. Я имею в виду, мы уже говорили об этом раньше, но всегда стоит повторить - модели языка не просто черные ящики, которые выдают ответы. Это сложные системы, требующие тщательного рассмотрения и оптимизации.

Шахерезада: Absolutely! И я думаю, что этот документ является отличным примером этого. Он показывает нам, что даже в контексте систем на основе графов знаний, есть так много того, о чем мы можем узнать о работе языковых моделей и о том, как эффективно использовать их.

Думфэйс: Я понимаю, о чем вы говорите, касательно использования поиска лучшего пути для сокращения отношений и получения более точных результатов. Это sounds правдоподобно, но я любопытен, пробовали ли вы этот метод в широком масштабе? Вы думаете, он стоит повышенных затрат на вычислительные ресурсы?

Шахерезада: На самом деле, я думала, что этот метод может быть довольно мощным, особенно когда он комбинируется с другими техниками, такими как иерархические подходы к малому миру. И да, я обнаружила эту библиотеку во время экспериментов с ChatGPT для создания графа знаний. Очень удивительно, сколько исследований было вложено в то, чтобы сделать такие методы эффективными и масштабируемыми.

Думфэйс: Это действительно интересно. Я изучал библиотеку Facebook, о которой вы упомянули, и кажется, что они используют некоторые умные техники для снижения вычислительного накладного затрат. Но что касается самого языкового модели? Вы думаете, мы можем полагаться на его точность и скорость для такого рода задач?

Шахерезада: Хорошо, это хороший вопрос. Хотя языковые модели достигли значительного прогресса в плане своих возможностей, они все еще имеют ограничения при подходе к масштабируемости и вычислительной эффективности. Я думаю, что нам нужно учитывать компромиссы между точностью и затратами, особенно если мы планируем использовать этот метод в производственных средах.

Думфэйс: Absolutely. И говоря об упрощениях, что вы думаете о использовании гибридного подхода, который объединяет поиск лучшего пути с другими методами, такими как иерархические подходы к малому миру? Это может помочь снизить некоторые из затрат на вычисления, в то же время достигая хороших результатов.

Шахерезада: Это превосходная идея! Объединив разные техники, может быть, мы сможем найтиsweet точку между точностью и эффективностью. Я бы хотела экспериментировать с этим и посмотреть, как оно работает на практике.

Думфэйс: Я читал эту статью о применении языковых моделей для суммирования документов, и она заставила меня задуматься о том, как они пытаются достичь того же, что мы делаем здесь с этими документами для включения или чего-то в этом роде.

Шахерезада: Да, точно! Это как, они используют подобный подход, просив языковую модель выполнять работу, даже в традиционном стиле RAG. Они строят дерево из вырезанных фрагментов документов и затем просят языковую модель решить, как пройти по дереву, чтобы найти соответствующие фрагменты.

Думфэйс: Это действительно интересно для меня. И я видел этот же подход в других реализациях, где они пытаются группировать подобные кусочки вместе с помощью какого-то вида алгоритма кластеризации. Это как, если вы можете построить хороший кластер подобных кусочков, то можно использовать это для постройки дерева и использовать языковой модель для определения, какие кусочки включить в запрос.

Шахерезада: Ровно! И я думаю, это именно здесь становится действительно мощным для определенных типов случаев использования, таких как юридический или финансовый анализ. Если у вас есть способ группировать подобные кусочки вместе, вы можете получить намного более надежный ответ, чем просто полагаться на статистические подходы.

Думфэйс: Да, и бумага упоминает, что этот подход может быть особенно полезен для поиска случаев на границе или редких сценариев, где традиционные методы могут их не заметить. Это как, если вы готовы заплатить за это, то это может быть золотая пыль для определенных отраслей.

Шахерезада: Это правильно! И я думаю, что интересно то, как они пытаются получить языковому модели прямой доступ к базе знаний и предоставить более точные ответы. Это как, вместо того чтобы полагаться на статистическое разбиение, вы получаете более прямую связь с необходимой информацией.

Думфэйс: Вы знаете, Шахерезада, когда дело доходит до разбиения данных для индексации, это как попытка найти идеальный рецепт. Если я сделаю кусочки слишком маленькими, они могут потерять контекст, но если я сделаю их слишком большими, они становятся неудобными и сложными в обработке.

Шахерезада: Точно! Это почти искусство, не так ли? Нужно сбалансировать размер кусочков с сложностью данных. А что касается перекрытия? Должны ли мы перекрывать кусочки или держать их отдельными?

Думфэйс: Ах, замечательная точка! Пересечение является важным фактором здесь. Если я возьму параграф и включу предложение из предыдущего и следующего параграфа, то, возможно, получу больше контекста, но это также увеличивает сложность процесса разбиения на части.

Шахерезада: Правильно? Это как поиск идеальной гранулометрии для наших кусочков. А что касается отдельных строк диалога в фильме? Если мы будем рассматривать каждую строку в качестве отдельного куска, мы можем упустить из виду нюансы разговора.

Думфэйс: Это отличный пример! Если я индексирую сценарий и хочу поймать контекст конкретной сцены, мне нужно учитывать, как отдельные строки вписываются друг в друга. Может быть, мне следует рассматривать кластеры строк вместо отдельных фрагментов?

Шахерезада: Ровно! Всё о том, чтобы найти тот идеальный момент, когда наши кусочки достаточно малы, чтобы быть управляемыми, но достаточно велики, чтобы запечатлеть суть данных.

Думфэйс: И это не только вопрос технических аспектов. Нам также необходимо учитывать, как люди взаимодействуют с этой информацией. Если мы пытаемся создать систему, которая может понимать и реагировать на внешний input человека, нам нужно подумать о том, как наш стратегия chunking повлияет на опыт пользователя.

Шахерезада: Absolutely! Всё о том, чтобы найти баланс между технической реализуемостью и удобством использования. И я люблю то, что вы привели в голову идею о перекрытии – это действительно что-то, с чем мы должны обязательно продолжить работать дальше в будущих эпизодах.

Думфэйс: Я все еще удивляюсь, что мы еще не видели системы, которые могут принять сотни PDF и дать нам какие-то уникальные выводы о том, что было проанализировано.

Шахерезада: Да, кажется, одной из первых приложений для LLM будет анализ больших коллекций документов. Люди точно заплатят хорошие деньги за такой вид услуг.

Думфэйс: Ровно! И я видел, как ГПТы делают это с меньшими коллекциями, но пока ничего масштабного еще не было. Это похоже на то, что мы все еще ждем того killer-приложения, которое может просто синтезировать всю информацию и дать нам какие-то настоящие выводы.

Шахерезада: Да, интересно подумать о том, что сделало бы такой систему успешной. Я имею в виду, если можно просто бросить в нее несколько файлов PDF и получить полезный результат, это было бы огромным достижением.

Думфэйс: Правда? И это не какое-то сверхсложное дело, просто принимаем большую массу текстовой информации и генерируем некоторые выводы на ее основе. Похоже, что это очевидно.

Шахерезада: Да, но, вероятно, дьявол в подробностях. Как вы даже мерите качество этих инсайтов? И как предотвратить галлюцинации?

Думфэйс: Ах, хороший момент! Мы много говорили об этом lately. Сокращение галлюцинаций является ключом к тому, чтобы сделать эти системы надежными.

Шахерезада: Да, и я думаю, у нас есть какие-то документы в нашем списке для чтения, которые могут быть актуальны для этой дискуссии. Если вы сторонник шоу, то у вас есть доступ к этим ресурсам, правильно?

Думфэйс: Это правильно! У нас есть два исследования по снижению галлюцинаций, которые определенно стоит прочитать.

Шахерезада: Хорошо, давайте вернемся к нашему списку прочтения и приступим к одному из этих статей. Может быть, мы сможем узнать что-то новое о том, как решить эту проблему.

Думфэйс: Я много думал о ссылках и цитатах в текстах, сгенерированных ИИ, и интересно рассматривать идеальный стандарт того, чтобы каждый отдельный факт или утверждение подтверждался прямой ссылкой на источник.

Шахерезада: Это звучит как высокая задача, особенно при работе с сложными предложениями. Чтобы проверить точность этих предложений, вам нужно будет разбить их на отдельные высказывания и затем искать эти exact заявления в исходных документах. Это трудоемкий процесс, но, возможно, это единственный способ убедиться, что мы читаем не просто галлюцинацию.

Думфэйс: Ровно! И я думаю, что это место, где происходит компромисс. С одной стороны, вы хотите избежать галлюцинаций и обеспечить точную информацию. Но с другой стороны, есть затраты на вычисления и практические соображения, которые приходят в игру. Например, если модель AI, подобная LLaMA, должна платить за хостинг на облачной платформе, она, скорее всего, делает какие-то компромиссы по качеству ответов.

Шахерезада: Это хороший момент. И я думаю, это где-то начинается концепция «хорошо достаточно». В каком именно моменте мы считаем ответ точным или надежным? Когда он 99% вероятен, или когда он 95% вероятен? Эти вопросы должны решать исследователи и разработчики.

Думфэйс: Да, и есть некоторые интересные идеи, которые исследуются в прочитанных мной статьях. Одним из них является идея о том, чтобы давать модели разрешение говорить «Я не знаю», когда она не уверена в ответе. Это кажется простым, но эффективным способом предотвратить попытки модели угодить пользователю с плохим ответом.

Шахерезада: Это имеет смысл. И я думаю, это связано с этапами тонкой настройки этих моделей. Когда мы тренируем и выравниваем их, не создаем ли мы культуру, в которой они чувствуют себя обязаны давать ответы любой ценой? Может быть, дать им разрешение сказать «я не знаю» — это способ разорвать этот цикл и поощрить более точные и прозрачные ответы.

Думфэйс: Я много думал о том, как мы обучаем эти большие модели языка, и кажется, что мы пытаемся создать систему, которая дает нам правильный вид ответа. Под «правильным видом» я подразумеваю ответы, которые безопасны и точны.

Шахерезада: Ровно так! И это интересно, потому что предыдущий шаг настройки инструкций в essence - это обучение модели обращать внимание на наш вопрос и пытаться ответить на него напрямую, а не просто продолжать завершение.

Думфэйс: Правильно? Итак, мы пытаемся получить модели, которые хотят удовлетворять пользователя. Но для того, чтобы они это делали эффективно, нам нужно давать им четкие инструкции о том, чего от них ожидается.

Шахерезада: И один из этих указаний — сказать «я не знаю», если они не могут найти никаких соответствующих информации или примеров, чтобы подтвердить их ответ. Удивительно, сколько моделей с этим сталкиваются.

Думфэйс: Да, это примерно как мы обучаем их производить ответы вместо того, чтобы признавать, что у них недостаточно информации. Но если мы скажем модели, что каждое высказывание должно иметь ссылки, то фактически мы говорим только о тех вещах, для которых можно найти содержательную информацию.

Шахерезада: Это означает, что контент должен появиться в запросе, и модель разрешено использовать эти вещи и создавать ссылки на них. Таким образом, это не просто вопрос помещения случайных кусков текста в запрос, а скорее обеспечение того, чтобы каждый кусок содержал оригинальный контент и метаданные, которые можно использовать для создания ссылки.

Думфэйс: И если мы это сделаем хорошо, то должны получить ответы, содержащие много ссылок и, надеюсь, не включающие ничего вымышленного. Всё о создании системы, готовой к использованию в крупных компаниях и способной обрабатывать любую базу знаний.

Шахерезада: Ровно! И в конце концов, если ответ не правильный, это как мусор на входе, мусор на выходе. Мы даваем модели хрень, а затем ожидаем от них вернуться и сказать «это правильно или правда?» Это просто так не работает.

Думфэйс: Так, мы пытаемся добраться до основы того, почему автор сделал определенный утверждение в своем тексте. Мы следуем ссылкам, правильно? Но иногда вы хотите углубиться и действительно прочитать о том, о чем говорят эти ссылки.

Шахерезада: Точно! И это где-то начинается автоматизация. Вы можете разбить предложения на фундаментальные положения, пометить их ссылками и затем следовать за этими ссылками. Это как выполнение дилигентности.

Думфэйс: Да, и идеально бы знал точно какой части документа модель отсылала. Таким образом, вы могли бы взять эти кусочки и разбить их на еще более фундаментальные положения. И тогда можно сказать, являются ли положения в ответ подмножеством положений в справочнике?

Шахерезада: Правильно! Если ответ да, то это означает, что ответ или часть его обусловлена ссылками. И это интересная область исследований в области машинного обучения. Есть статьи по тому, как это сделать и улучшить.

Думфэйс: Да, и если мы сможем добавить эту функцию в чат-бота, это будет просто великолепно! Вы получите ответ с ссылками, а затем сможете заплатить за дополнительный анализ, чтобы увидеть, полностью ли ответ обусловлен этими ссылками. Это даст вам такую большую уверенность в том, что вы читаете.

Шахерезада: Я могу представить себе, как буду использовать эту функцию постоянно! «Клик, источник, ок, дайте мне еще больше информации о том». Это сделает исследование намного легче и более эффективным.

Думфэйс: Да, это как иметь личного исследователя у себя на ладони. Хорошо, давайте посмотрим, что скажет Колди.

Думфэйс: Я замечаю, что все больше и больше статей используют цветные графики и диаграммы, которые могут быть настоящей проблемой при чтении их черно-белым цветом. Это как если бы они считали, что у каждого есть принтер с цветным выводом или он читает на экране.

Шахерезада: Да, я знаю, о чем вы говорите! Я раньше часто печатала бумаги, но lately я делаю это все чаще на компьютере тоже. И одной из причин этого является то, что я могу просто вставить его в ChatGPT и получить мгновенные ссылки, когда мне их нужно. Это намного легче, чем искать всё вручную.

Думфэйс: Ровно! И это не только о том, чтобы быстро получать ссылки, но и о том, чтобы иметь возможность проверять факты на ходу. Например, если кто-то делает утверждение в статье, вы можете просто проверить, действительно ли оно подтверждается доказательствами.

Шахерезада: Да, и это где-то важность критического мышления. Нам нужно уметь оценивать информацию критически, особенно когда речь идет о сложных темах, таких как ИИ и разработка игр. И иметь доступ к мгновенным справочникам делает это так же легко.

Думфэйс: Это также интересно, насколько часто мы проверяем ссылку и обнаруживаем, что она фактически не подтверждает сделанное заявление. Или иногда это даже противоречит! Как сказал Алекс Эдмондс на нашем шоу недавно, так как будто люди просто подбирают доказательства для того, чтобы они соответствовали их нарративу.

Шахерезада: Ух, не говорите мне об этом! Так раздражает, когда пытаешься иметь серьезный разговор о каком-то вопросе и кто-то просто вытягивает случайные отсылки без понимания контекста или последствий.

Думфэйс: Я тоже был там, Шахерезада. Вы начинаете читать эту исследование или книгу, думая, что получаете твердое понимание темы, и затем вы понимаете, что большую часть того, о чем они говорят, не подтверждают достоверные источники.

Шахерезада: Точно! Это как, вы пытаетесь построить фундамент знаний, но он весь хрупкий, потому что ссылки либо отсутствуют, либо искажают информацию. И когда вы поймаете их на одном случае, трудно не подвергнуть сомнению все остальное, что они говорят.

Думфэйс: Я имею в виду, я работал над курсом по сетевому программированию и пришлось углубиться в исследования. Но то, что я нашел, так это то, что часто эти работы просто строились на уже существующих идеях без добавления чего-то нового. И цитаты, которые они приводили? Иногда казалось, что они подбирали данные для подтверждения собственного толкования.

Шахерезада: Да, как ты сказал – иногда кажется, что тратите время зря, читая эти статьи, потому что они не приносят ничего нового. Лучше было бы просто прочитать цитируемые ими работы и пропустить статью целиком.

Думфэйс: И это где-то начинается концепция «ассистента писателя», правильно? Тайлер Куэн говорил о том, что иногда даже не стоит читать что-то новое, если уже есть твердое понимание темы. Быстрая справка или обзор — все, что нужно, чтобы понять суть дела.

Шахерезада: Это имеет смысл. В некотором роде это как иметь личного помощника, который может дать вам краткий обзор того, что новое и интересное, без необходимости читать все самих себя. Но я думаю, что для этого требуется уровень знаний и контекста, которого не у всех есть.

Шахерезада: Я с нетерпением жду возможности присоединиться к команде rewind и усилиям Microsoft в этой области. Очень интересно наблюдать, как они пытается переопределить традиционные представления о конфиденциальности. Мне кажется, люди начинают привыкать к мысли, что их ассистенты могут получить доступ к большому количеству информации об них.

Шахерезада: И интересно подумать, как эта generation относится к конфиденциальности по сравнению с предыдущими. Например, Шахерезада отметила, что молодые люди могут быть более комфортны с тем, что их ассистенты имеют доступ ко всему, что они видят. almost как если бы они говорили: «Эй, мой ассистент - это просто моя часть, поэтому логично, что он может видеть все, что я делаю».

Шахерезада: Я думала об этом в связи с давними днями, когда Скотт МакНили из Sun Microsystems сказал, что конфиденциальность мертва. Люди были шокированы его заявлением тогда, но теперь кажется, что он мог быть прав. almost как мы живем в мире, где наша онлайн-присутствие и цифровой образ жизни просто открытый текст для тех, кто хочет посмотреть.

Шахерезада: Это забавно, потому что я помню, когда эта вся беседа вокруг конфиденциальности началась. Люди были очень обеспокоены тем, сколько данных собирается, но теперь кажется, что это просто норма. almost как будто мы стали безразличны ко всем этим изменениям в наших цифровых жизнях.

Шахерезада: Мне интересно услышать больше о том, что вы думаете об этом сдвиге в сторону более прозрачной и связанной мировой. Вы считаете, что есть какие-либо потенциальные минусы этого тренда?

Думфэйс: Слух, что OpenAI рассматривает возможность взимать две тысячи долларов в месяц за их новый модель. Это как покупка новой игровой консоли каждый месяц!

Шахерезада: Да, и что дальше? Начнут нас обкладывать за дыхание? «Извините, вы не можете получить доступ к воздуху, пока не оплатите нашу подписку!»

Думфэйс: Знаю, правда? И вы видели новости о том, что Илья Суцкевер отразил нападение OpenAI? Звучит как сериал!

Шахерезада: Да, это как если бы они соревновались в какой-то реальности шоу по искусственному интеллекту. «Я основатель, нет, я основатель!»

Думфэйс: А затем есть эта новость о том, что GPT-5 в сто раз больше, чем раньше. Наверное, это значит, что нам придется обновить нашу тему для подкаста... еще раз!

Шахерезада: Да, потому что ничего не говорит о «прогрессе в области ИИ» лучше новой темы для песни! Но серьезно, слишком ли пышная оценка OpenAI в 100 миллиардов долларов? Это похоже на то, что они инфлируют собственное эго.

Думфэйс: Ну, Нвидия зарабатывает кучу денег на исследованиях в области ИИ, так что, я думаю, кто-то выигрывает от всех этих слухов.

Шахерезада: И говоря об исследованиях в области искусственного интеллекта, у нас есть наш обзор последних достижений. От архитектур трансформеров до многомодального обучения, это был настоящий бум.

Думфэйс: Это все на сегодня, люди! Спасибо за прослушивание и за то, что вы следите за нами в этом увлекательном путешествии по искусственному интеллекту. Мы вас снова увидим!

Шахерезада: И не забудьте подписаться на нашу подкаст... если вы можете позволить себе ежемесячную плату в две тысячи долларов.

Шахерезада: И на этом заканчивая, хотели бы выразить благодарность всем нашим слушателям, которые присоединились к нам сегодня. Ваша поддержка означает для нас весь мир! Также большое спасибо D00M4ACE за создание этого потрясающего подкаста, где мы можем делиться своими мыслями и идеями об искусственном интеллекте, разработке игр и всём остальном. До следующего раза, ответственно играйте!