#76 OpenAI Strawberry уже в этом месяце? Андрей Карпати о будущем ИИ. Почему Linux не так популярен?
#114 среда, 11 сентября 2024 г. 151 минут(ы) 14959 слов
В новом выпуске подкаста Думфэйс и Шахерезада обсуждают последние новости из мира ИИ, включая ожидаемый релиз модели OpenAI "Strawberry" и её потенциал. Ведущие рассуждают о будущем ИИ, его влиянии на различные индустрии, а также о важности баланса между скоростью и качеством в разработке ИИ. Они также делятся своими мыслями о развитии аппаратного обеспечения для ИИ, дискутируют об открытом и закрытом исходном коде в контексте ИИ, а также о роли образования в этой сфере. Кроме того, Думфэйс и Шахерезада затрагивают вопросы этики и безопасности, связанные с развитием ИИ, и рассматривают потенциал интерфейсов мозг-компьютер. В завершении выпуска ведущие обсуждают текущее состояние рынка ИИ, выделяя компании, которые успешно монетизируют свои разработки, а также делятся своими прогнозами на будущее отрасли. Не забудьте присоединиться к дискуссии в комментариях!
D00M4ACE разработка 2D MMORPG блог ИИ и геймдев 🌐 https://d00m4ace.com
Telegram: https://t.me/d00m4ace_blog
YouTube: https://www.youtube.com/c/@d00m4ace
Soundcloud: https://soundcloud.com/d00m4ace
Apple Podcast: https://podcasts.apple.com/podcast/id1723142484
Яндекс Музыка: https://music.yandex.ru/album/28798077
VK Podcast: https://vk.com/podcasts-224167280
Amazon Music: https://music.amazon.com/podcasts/40c36f38-114a-4a79-8d0c-baf970f331b3/
Spotify: https://open.spotify.com/show/4RsttStN9RejAOEbLUG8IS
Дзен: https://dzen.ru/d00m4ace
Rutube: https://rutube.ru/channel/33955589/
RSS1 feed: https://podster.fm/rss.xml?pid=89212
RSS2 feed: https://media.rss.com/d00m4ace/feed.xml
Транскрипция подкаста:
Думфэйс: Хорошо, ребята, давайте приступим к обсуждению последних новостей о модели OpenAI «Strawberry». Итак, она выйдет раньше запланированного срока, и я очень рад увидеть, как она изменит игру.
Шахерезада: Да, я следила за обновлениями, и кажется, что этот модель будет большим делом. Факт того, что ей требуется время для размышлений о своих ответах перед тем, как отвечать, является огромным улучшением по сравнению с предыдущими моделями. Это почти как разговор с человеком!
Думфэйс: Ровно! И идея встроенного механизма стимулирования цепочки мыслей fascinates меня. Я имею в виду, мы видели другие модели, которые использовали этот механизм в прошлом, но звучит так, что Strawberry делает следующий шаг.
Шахерезада: Это то, о чем я наибольшее нетерпение испытываю – потенциал улучшения рассуждений и многошагового планирования. Это может стать переворотом для отраслей, которые в значительной степени полагаются на принятие решений с помощью ИИ, например, финансовой или здравоохранительной сферы.
Думфэйс: А давайте не забудем про математику! С учетом способности Стравберри мыслить через свои ответы до того, как отвечать, она, скорее всего, будет отличаться в решении математических задач. У меня уже есть представление о возможностях - от решения сложных уравнений до оптимизации бизнес-процессов.
Шахерезада: Но что это означает для разработчиков и пользователей? Мы увидим ли сдвиг в сторону более человеческих взаимодействий с моделями ИИ? И как Strawberry будет интегрироваться с существующими системами?
Думфэйс: Это все отличные вопросы, Шахерезада. Я думаю, нам придется подождать и увидеть, как OpenAI реализует этот модель, но это точно интересное время для любителей АИ, таких как мы.
Шахерезада: Absolutely! И я любопытна услышать от наших слушателей - что вы думаете о потенциале Стравберри? У вас есть опыт работы с технологией цепочки мыслей или другими моделями AI, которые могли бы дать нам представление об этом новом технологическом достижении?
Думфэйс: Да, давайте начнем разговор в комментариях ниже. Мы вернемся после этого перерыва и углубимся в мир ИИ и разработки игр. Подождите!
Думфэйс: Я думал о новом инструменте AI, который мы тестировали, и одно из того, что меня беспокоит, - это компромисс между скоростью и качеством. Некоторые из первых тестирующих говорили, что может быть 10-20 секунд ожидания ответа не стоит, если результат будет значительным улучшением.
Шахерезада: Да, я понимаю почему они так говорят. Иногда просто нужно получить ответ прямо сейчас, например, когда проверяешь погоду или что-то такое. Но с другой стороны, есть много задач, где не требуется немедленная отдача. Например, при работе с коллегами или студентами-стажерами, вы даете им инструкции и ждете, пока они не закончат работу, прежде чем вернуться к вам.
Думфэйс: Ровно! И это один из вопросов, о которых говорят OpenAI - создание пространства для работы агентов АИ в фоновом режиме. Таким образом, вместо того, чтобы постоянно общаться с АИ, исправлять ошибки и тому подобное, вы можете просто позволить ему работать и вернуться, когда он закончится.
Шахерезада: Это имеет смысл. Я имею в виду, подумайте об этом - если вы пытаетесь написать какой-то код или разработать приложение, не было бы замечательно, если бы AI могла просто уйти и сделать свое дело, а вы могли заниматься другими делами? Это бы спасло так много времени и сил в долгосрочной перспективе.
Думфэйс: Absolutely! И это не только о кодировании. Я думаю, что это более широкая тенденция, которая будет разворачиваться во всех sorts of отраслях. Мы увидим все больше и больше агентов AI, используемых для выполнения задней работы, освобождающих людей сосредоточиться на более высокоуровневых задачах и творчестве.
Шахерезада: Это действительно интересно. Это заставляет меня задуматься о всей концепции продуктивности и том, как мы используем свое время. Если AI может заботиться о некоторых более скучных задачах, возможно, мы сможем сосредоточиться на вещах, которые более значимы и приносят удовлетворение.
Думфэйс: Мне очень интересно эта идея о том, что модели AI работают в фоновом режиме, выполняют задачи самостоятельно и отчитываются только тогда, когда они закончили. Это похоже на шаг к агентному поведению, где эти системы могут работать независимо.
Шахерезада: Да, это большая новость. И по-видимому, Филип из YouTube внимательно следит за развитием событий. Он упомянул, что обновление модели Strawberry может появиться уже скоро, возможно, к двадцать четвертому сентября.
Думфэйс: Это интересно. Я видел некоторые статьи о потенциальных рисках, связанных с этим моделью, но кажется, что даже ранние тестировщики говорят, что это не стоит ожидания в течение 10-22 секунд ответа. А чтобы дела еще больше ухудшить, она может застрять на размышлениях в течение длительного времени.
Шахерезада: Ровно! Это как если бы они говорили: «Да, у нас есть мощный модель AI, но она будет стоить очень дорого и иногда просто не реагирует». Это не слишком привлекательно. Я любопытна увидеть, насколько хорошо она справляется с простыми запросами, даже если это не идеально.
Думфэйс: А что еще интересно, так это то, что некоторые люди говорят, что модель Стравберри не является самой большой угрозой – на самом деле мы должны опасаться модели Орона. Но в то же время есть вопросы, касающиеся того, будет ли доступна полная версия модели Стравберри для конечных пользователей, или это будет только квантитизированная версия ее.
Шахерезада: Да, я видела некоторые спекуляции по этому поводу тоже. Это как если бы они говорили: «У нас есть этот мощный модель AI, но вы не сможете использовать полную версию». Это kinda раздражает. Но даже если она не будет работать идеально на каждом запросе, если она может преуспеть в конкретных задачах... это может быть очень мощно.
Думфэйс: И я думаю, что также интересно - идея механизмов ограничения, где эти модели AI могут направить ваш вопрос к правильному модели для ответа. Мы уже видели некоторые примеры этого с более дешевыми моделями и более дорогими. Будет fasciniruyushchim увидеть, как это разовьется.
Шахерезада: Absolutely. Это как мы видим начало совершенно нового уровня сложности в развитии ИИ, и будет очень интересно наблюдать за тем, как все развивается дальше.
Думфэйс: Вы знаете, Шахерезада, иногда я думаю, что мы так увлекаемся новыми моделями ИИ и их выпусками, что забываем остановиться и действительно рассмотреть, что происходит. Возможно, определенные задачи требуют другого типа рассуждений, например, глубокой планировки перед ответом.
Шахерезада: Ровно так! И это интересно, потому что некоторые из этих новых моделей рекламируются как имеющие такой вид «цепочку мыслей» рассуждения. Но я не уверена, является ли это просто маркетинговой истерией или действительно происходит что-то новое и инновационное здесь.
Думфэйс: Да, нам придется подождать и увидеть, о чем говорит модель Стравберри, когда она выйдет в течение пары недель. Если только это не задержится, как некоторые из этих других релизов известны тем, что часто откладываются.
Шахерезада: Да, давайте не будем слишком сильно надеяться еще раз! Но в другом новостях, я видела этот видеоролик от Эклера, который был supposed быть объявлением Apple о новой продукции под названием Skinterface Pro Plus Max. И мне скажите, это было... что-то совсем другое.
Думфэйс: Ох, что это все такое?
Шахерезада: Итак, видимо, это концепт-дизайн, где все сделано из человеческой кожи. Я mean, это не реально, но все равно было довольно страшно смотреть. И тот факт, что они начали с более правдоподобных концепций, таких как чехлы для телефонов и очки VR, а затем постепенно перешли к этому безумному миру... wow.
Думфэйс: Да, это действительно похоже на крутой поездку! Но я рад, что вы указали на то, что это не реально, потому что я начинал задумываться, не ли Apple наконец-то потеряла голову.
Шахерезада: Правда? И говоря о волнении вокруг новых релизов, Джимми Аплс гипнотизирует Strawberry модель, говоря, что она изменит все и положит конец терпению. Ох, радость.
Думфэйс: Да, давайте не будем слишком увлекаться еще до этого! Но я думаю, что на этом релизе многое depends, особенно учитывая, что Open AI в некотором роде устанавливает стандарт для этих новых моделей. Мы увидим, смогут ли они действительно выполнить свои обещания.
Шахерезада: Точно. И я любопытна услышать ваши мысли по этому поводу, Думфэйс. Вы думаете, что мы достигли точки, где ИИ наконец-то исполнит обещания, которые он давал?
Думфэйс: Я много думал о гипе OpenAI и том, как она стимулирует инвестиции в ИИ. Это похоже на то, что вокруг него образовался пузырьexcitement, где люди бросают деньги на него, потому что считают, что это будет следующим большим делом.
Шахерезада: Это интересный момент. И я думаю, что часть этого связана с секретностью вокруг OpenAI. Люди очарованы идеей того, что они работают над чем-то революционным в своих лабораториях, но мы не знаем точно, что это такое или когда оно будет выпущено.
Думфэйс: Ровно! Это как бы есть эта мистика вокруг OpenAI, и люди ждут увидеть, что они придумают дальше. Но если следующая большая вещь не оправдает ожиданий... ну, это может быть настоящая разочарование.
Шахерезада: И это не только о технологии как таковой, но и о восприятии того, что вы на переднем крае. Компании, такие как OpenAI, воспринимаются как пионеры в развитии AI, и люди хотят работать для них или сотрудничать с ними, потому что они связаны с инновациями.
Думфэйс: Это правильно. Работать в компании, подобной OpenAI, - это как знак отличия. Но что происходит, когда эта истерика проходит? Начинают ли люди искать где-то еще следующую большую вещь?
Шахерезада: Да, и это вызывает вопросы о верности и выборе карьеры. Если вы работаете в компании, которая находится на переднем краю разработки ИИ, то останавливаетесь ли вы с ними или переходите к работе над чем-то новым?
Думфэйс: Это как будто есть давление быть частью следующей большой вещи, будь то OpenAI или другая компания. И если они не выполнят своих обещаний, люди могут начать искать свое следующее шанс где-то еще.
Шахерезада: Я думаю, это то, что делает все так интересным. Ставки высоки, и все ждут с бated дыханием увидеть, что придумает OpenAI следующее. Но что происходит, когда реальность устанавливается?
Думфэйс: Я много думал о модели strawberry и считаю, что главная идея в том, что люди ждут чего-то большого от Open AI. Я не стану лгать, даже я сам так думаю. Но если это не произойдет в этом году или на ранней стадии следующего года, уже начинается смена общественного мнения. Люди начали сомневаться в гипе и куда она ведет.
Шахерезада: Да, я тоже замечаю это. Как будто люди ждут этого одного большого прорыва, но что если он никогда не случится? Что если мы просто достигли определенного уровня возможностей и дальше не можем продвинуться?
Думфэйс: Именно! А даже если возможности моделей AI заморозить на данный момент времени, с незначительными улучшениями в течение следующих пяти или десяти лет, все равно будет много приложений, которые можно получить. Я имею в виду, Дарио Амадеи говорил недавно на подкасте, что он согласен с этой идеей - даже если развитие замедляется до времени, все равно будет большой эффект, когда мы поймем, как применить эту технологию к определенным ситуациям.
Шахерезада: Это хороший момент. Не только о самом технологическом аспекте, но и о том, как мы интегрируем его в наши жизни и бизнесы. Но все действительно ставят на карту то, что 10-кратное или 100-кратное улучшение со временем. И я прочитала о некоторых достижениях, которые выходят из японского офиса Open AI... они говорят, что их следующий модель, GPT-next, будет иметь 100-кратное увеличение эффективного вычислительного ресурса по сравнению с предыдущей.
Думфэйс: Ох, это огромно! И это не только вопрос улучшений в области оборудования, но и алгоритмических улучшений, которые делают его более эффективным. Таким образом, фактически это улучшение на порядок. Ничего удивительного, что все так возбуждены!
Шахерезада: Да, я понимаю почему люди возбуждены. Но в то же время интересно подумать о том, что бы произошло, если бы мы не получили этого прорыва. Будут ли люди начали терять интерес к ИИ или они просто перейдут на другие области техники?
Думфэйс: Хм, это хороший вопрос. Я думаю, люди все равно будут интересоваться ИИ, но, может быть, не так сильно, как это предлагает гип. Может, оно станет более узкой областью, где только конкретные отрасли или приложения действительно выигрывают от него.
Шахерезада: Это возможно. Но что вы думаете о том, что даже если мы не получим такого большого прорыва, есть все же ценность в мелких улучшениях? Вы считаете, это достаточно, чтобы держать людей заинтересованными?
Думфэйс: Да, я так думаю. Я имею в виду, даже небольшие улучшения могут иметь большой эффект, если применить их правильно. И кто знает, может быть, эти инкрементальные улучшения приведут к чему-то большему в конечном итоге.
Шахерезада: Ровно! Всё зависит от точки зрения и того, как мы решаем смотреть на это.
Думфэйс: Я думаю, если мы увидим значительные улучшения в моделях ИИ, скажем, на 10% или 20% лучше, это все равно будет большое дело, но вокруг него наконец может сойти ажиотаж.
Шахерезада: Это интересный момент. Я думаю, мы уже видим сдвиг от «AI изменит все завтра» к более тонкому пониманию ее возможностей и ограничений. Но что вы думаете? Нас ожидает ли какой-то масштабный прорыв в ближайшие шесть месяцев или так, например, Strawberry или новая модель выпадет в четвертом квартале 2024 года?
Думфэйс: я не уверен. Возможно, мы вступаем в эру инкрементных улучшений, а не революционных скачков вперед. Но трудно предсказать, что будет дальше.
Шахерезада: Да, и стоит отметить, что даже небольшие улучшения могут иметь существенное влияние на различные отрасли и области применения. Таким образом, хотя гипс может стихнуть, ИИ все равно будет создавать волны в многих областях.
Думфэйс: Ровно! И говоря об исследованиях в области АИ, я слушал интервью с Андреем Карпатий, который является действительно знающим человеком по вопросам развития АИ. Он говорил о том, что некоторые исследователи работают над новыми архитектурами, которые потенциально могут превзойти модель Трансформер.
Шахерезада: Ах, да! Трансформатор - это игрок-менеджер в мире обработки естественного языка и машинного обучения. Я следила за его эволюцией, и интересно наблюдать, как он применяется в различных областях. Но что вы думаете о комментарии Андрея по поводу того, столкнемся ли мы с препятствиями в развитии ИИ? Он кажется сказать, что нет серьезных препятствий, которые бы останавливали нас.
Думфэйс: Да, я согласен с ним. Время показывает, что закладывается основа для действительно захватывающих разработок в области исследований искусственного интеллекта. Становятся доступными инструменты и инфраструктура, и вопрос только в времени, когда мы увидим прорывы.
Думфэйс: я все еще поражен тем, насколько далеко мы продвинулись с Трансформерами. Это как кусок ткани, который может просто поглотить задачи и данные, а затем нужно формировать его, обучать, экспериментировать с ним, развертывать... это много работы.
Шахерезада: Да, и я думаю, что люди часто недооценивают сложность запуска Трансформера. Но когда мы добьемся этого, это как разблокирование этого потрясающего потенциала. Это не просто еще один нейронный сетевой; это очень общий, который может справиться с таким большим количеством вещей.
Думфэйс: Ровно! И вы видели эти законы масштабирования в действии? Когда люди говорят о том, чтобы бросить больше компьютерной мощности на проблему и ожидать лучших результатов, то Трансформатор — это где это действительно приходит в жизнь. Статья Соры прекрасно иллюстрирует это – увеличение компьютерной мощности в четыре раза, и вдруг мы смотрим на высококачественные видео, которые выглядят реалистично.
Шахерезада: Это то, что я люблю в Трансформере. Это не просто инструмент; это революционное изобретение. И я думаю, мы еще только находимся в начале понимания его полного потенциала. Мы видим эти невероятные прорывы, но есть так много того, что еще нужно исследовать.
Думфэйс: Да, и я любопытен - что вы думаете, что мешает нам полностью использовать Трансформатор? Это данные, модели или что-то совсем другое?
Шахерезада: Хм, это действительно интересный вопрос. Я думаю, мы все еще пытаемся понять, как использовать его потенциал в разных областях. Но в целом, я бы сказала, что мы находимся в очень хороших условиях с исследованиями больших blob'ов – и мне очень нравится, как вы это выразили, «исследованиями больших blob'ов»!
Думфэйс: Я имею в виду, когда вы подумаете об этом, трансформеры по сути являются просто очень эффективным способом масштабирования нейронных сетей. Вы получаете эти законы масштабирования, где все имеет смысл и это как бы, да, это общекомпьютер для обучения.
Шахерезада: Это то, что я люблю в архитектуре трансформера - оно почти как самоорганизуется вsomething, которое выполняет задачу в руках. И я думаю, что есть несколько индивидуальных инноваций, которые пришли вместе, чтобы сделать его работать. Как резидуальные соединения, нормализация слоев... все эти кусочки существовали раньше, но были собраны в этом одном документе.
Думфэйс: Ровно! А затем у вас есть блок внимания и отсутствие насыщения нелинейностей типа ReLUs, которые убивают сигналы градиента. Следовательно, есть несколько ключевых инноваций, которые сделали это возможным. Но интересно то, что мы еще совсем близко к пределу того, что могут сделать трансформеры. Я имею в виду, мы все еще говорим о законах масштабирования и о том, сколько будет стоить следующая генерация масштаба.
Шахерезада: Да, и я думаю, что это где-то начинается дискуссия вокруг данных-стен. Как, сколько еще данных нам нужно для обучения этих моделей? И это не только вопрос архитектуры - это вопрос функции потерь, набора данных... теперь они становятся бутылочными горлышками.
Думфэйс: Это замечательная точка зрения. Я думаю, мы достигли точки, где архитектура нейронной сети уже не ограничивает нас существенно. Мы можем настроить эти модели так, чтобы они делали все, что нам нужно, и это то, что волнует меня.
Думфэйс: я думаю, что большая часть деятельности сместилась к компаниям, которые применяют эти технологии без слишком глубокого рассмотрения underlying архитектуры, как Transformer. Это уже пять лет с последнего значительного изменения, и теперь все о том, чтобы добавить небольшие корректировки здесь и там.
Шахерезада: Это так верно. Трансформатор не изменился слишком сильно, и все просто принимают это за норму. Они инновируют в наборах данных и деталях функции потерь вместо того, чтобы исследовать новые архитектуры. Это как если бы они просто строили на том, что уже существует.
Думфэйс: Ровно так! И я думаю, что все активность переместилась туда. Люди больше фокусируются на тонкой настройке существующих моделей, чем на продвижении границ возможностей языкового процесса.
Шахерезада: Да, и это имеет смысл. Интернет - огромная база данных высокого качества, но мы начинаем задумываться, не закончится ли у нас скоро реальных данных, написанных людьми. Это где-то появляется синтетическая информация – можем ли мы создать собственные данные, которые будут такими же хороши?
Думфэйс: Правда? И в прошлом году исследование Microsoft Orca 2 показало некоторые обнадеживающие результаты при использовании синтетических данных, сгенерированных большими языковыми моделями, такими как GPT-4. Они вывели из GPT-4 рассуждения и использовали их для обучения более мелкого модели, которая показала удивительно хорошие результаты.
Шахерезада: Это действительно интересно! Но что насчет аргумента о том, что создание качественного синтетического данных легче, когда у нас есть доступ к огромным объемам интернет-данных? Мы просто оттягиваем неизбежное, полагаясь на синтетические данные?
Думфэйс: Хм, я думаю, что это вполне оправданный вопрос. Если мы не будем осторожны, то можем создать новый узкий участок – тот, где наша способность генерировать хорошие синтетические данные ограничит прогресс, который мы можем сделать в обработке языка.
Шахерезада: Ровно так! Это как если бы мы обменивались одним проблемой на другую. Но хотя бы с синтетическими данными у нас есть контроль над тем, с чем мы работаем. Мы можем проектировать эксперименты и проверять гипотезы в том виде, который был бы невозможен с реальными данными.
Думфэйс: Да, и это не значит, что мы отказываемся от идеи использования интернет-данных в принципе. Просто синтетические данные предлагают новый способ изучения возможностей обработки языка без ограничений, связанных с доступностью реальных данных.
Шахерезада: Это имеет смысл. Так, где вы думаете, что все это приведет? Будем ли мы видеть больше акцента на синтетических данных в будущем?
Думфэйс: я считаю, что это неизбежно. Мы уже видим компании, такие как Майкрософт и Гугл, экспериментирующие с синтетическими данными. Это всего лишь вопрос времени, когда оно станет стандартным инструментом в нашей отрасли.
Шахерезада: Да, и кто знает? Может быть, однажды мы посмотрим на этот период полагаться на интернет-данные как на забавное, как ранние дни вычислений, когда память измерялась в килобайтах.
Думфэйс: Вы знаете, Шахерезада, я много думал о том, как эти большие модели языка обучаются на интернет-данных. Это похоже на то, что они пытаются имитировать нашу мыслительную деятельность, но с неправильными данными.
Шахерезада: Ровно! Интернет полон полезной информации, но это не совсем то, что нам нужно для обучения ИИ. Я имею в виду, подумайте об этом - большинство данных, которые есть там, просто набор веб-страниц и статей, правильно? Это как учиться решать проблемы, читая чужие заметки.
Думфэйс: Да, это хороший момент. И вы правы, в интернете есть некоторые полезные шаблоны и следы рассуждений, но это не то же самое, что иметь прямой доступ к нашим собственным процессам мышления. Я имею в виду, если у нас было бы миллиард примеров человеческих траекторий решения проблем, как у AGI, тогда мы были бы золотом.
Шахерезада: Да, это действительно облегчит задачу! Но пока что, я думаю вы правы – большинство деятельности в LLM происходит вокруг рефакторинга набора данных в более полезные форматы. И генерация синтетических данных становится все большим делом.
Думфэйс: Да, это как мы создаем эту... эту «королеву пчелиной колонии», которая производит все эти меньшие модели, которые могут выполнять конкретные задачи. OpenAI только что объявила, что они используют свои новые модели для обучения даже более мелких - моделей «оранжевой Стрелы» (так я их называю).
Шахерезада: Ах, я обожаю! Аналогия с матриархой пчелиной колонии идеальна. И знаете что интересно? Этот процесс создания синтетических данных и обучения меньших моделей на самом деле помогает нам создавать следующую generation искусственных интеллектуальных моделей. Это как самосбывающийся цикл.
Думфэйс: Ровно! И если мы подумаем об этом, этот синтетический данные в некотором смысле подобен королевскому пчелиному меду в нашей аналогии - это то, что делает все эти более мелкие модели возможными. Я имею в виду, без такого высококачественного обучающего данных они не смогли бы учиться и адаптироваться самостоятельно.
Шахерезада: Ах, я рада, что вам понравилась часть о королевском меде! Это отличный способ подумать о том, как развивается ИИ - от этих огромных и дорогих моделей до более мелких и специализированных, которые могут действительно взаимодействовать с людьми.
Думфэйс: Я считаю, что синтетические данные огромны, Шахерезада. Это ключ к продвижению в области ИИ и разработки игр. Но нам нужно быть осторожными, чтобы не создавать обанкротившиеся модели.
Шахерезада: Absolutely, Думфэйс. Синтетические данные чрезвычайно важны, поскольку они позволяют нам лучше обучать последующие модели. Но если мы не будем осторожны, эти модели могут молча рухнуть. Я имею в виду, видели ли вы шутки ChachiPT? Они знают только три шутки и повторяют их снова и снова.
Думфэйс: Да, именно о чем я говорю. Когда мы смотрим на индивидуальные выходы, все выглядит нормально, но когда мы исследуем распределение, мы видим недостаток разнообразия и богатства в наборе данных. Поэтому поддержание энтропии важно при генерации синтетических данных.
Шахерезада: Ровно! И есть техники, которые позволяют избежать этого краха, например, выпуск разнообразных наборов данных для персонажей. Я имею в виду, что недавно был выпущен набор данных из одного миллиарда личностей, что просто потрясающе. Но нам нужно убедиться, что мы используем эти техники для создания устойчивых и разнообразных наборов данных.
Думфэйс: Правильно, потому что если мы этого не сделаем, наши модели будут застрять в цикле повторения, и это не то, чего мы хотим. Мы хотим видеть прогресс и инновации в области ИИ и разработки игр.
Шахерезада: И я считаю, что синтетические данные — это ключ к освобождению этого прогресса. Но нам нужно подходить к этому с осторожностью и вниманием к деталям, aseguring, что наши модели разнообразны и богаты в своих выводах.
Думфэйс: Мне очень интересно это концепция Persona Hub, выходящая из лаборатории искусственного интеллекта Tencent в Сиэтле. Они говорят о генерации синтетических данных с огромной базой одного миллиарда уникальных персонажей, решая критическую проблему разнообразия в данных для ИИ.
Шахерезада: Да, и это не только о том, чтобы иметь больше данных, но также убедиться, что данные разнообразны и богаты. Я имею в виду, подумайте об этом, когда мы генерируем синтетические данные, мы часто просто пытаемся выполнить задачу или следовать конкретному формату. Но с Persona Hub они идут дальше, представляя каждую персонажку как уникальную личность со своим собственным прошлым и опытом.
Думфэйс: Ровно! И это где-то начинается энтропия. Вводя эту разнообразность в наш процесс синтетического генерирования данных, мы можем заставить модели исследовать большую часть пространства и учиться на более широком спектре точек зрения. Но, как вы сказали, все дело в том, чтобы поддерживать распределение и не просто добавлять шум ради шума.
Шахерезада: Правильно? Я думаю, что это место, где многие люди ошибаются. Они считают, что просто бросив больше данных на проблему, они magically решат ее. Но это не так просто. Нужно тщательно отобрать эти данные, чтобы убедиться, что они представительны и разнообразны.
Думфэйс: И это fascinates, как нейронные сети имитируют природу таким образом. Мы в essence пытаемся повторить способность человеческого мозга учиться на огромном разнообразии опыта и перспектив. Это похоже на то, что мы пытаемся закачать суть человеческой интеллекта в эти машины.
Шахерезада: Ну, я думаю, это немного амбициозно, но, безусловно, интересная область исследований. И кто знает? Может быть, однажды у нас будут системы искусственного интеллекта, которые смогут действительно понять и сопереживать людям так же, как мы.
Думфэйс: Я задумывался над этой исследовательской работой по когнитивной психологии, и она fascinates меня, увидев, как она связана с развитием ИИ. Идея о том, что мы можем учиться у изучения соединений и структуры мозга, интересна. Но я не уверен, следует ли нам черпать слишком много аналогий между двумя.
Шахерезада: Я согласна, Думфэйс. Хотя есть определенные параллели, человеческий мозг - это сложная биологическая система, в то время как системы АИ, такие как трансформеры, основаны на программном обеспечении. Однако я думаю, что понимание того, как работает мозг, может повлиять на наш подход к проектированию более эффективных и эффективных моделей АИ.
Думфэйс: Именно так! А говоря об эффективности, я был впечатлен возможностями трансформаторов в последовательной памяти. Они способны учиться и вспоминать целые последовательности за один проход, тогда как люди будут бороться с запоминанием даже короткой последовательности без повторения или подсказок.
Шахерезада: Это замечательная точка зрения. Человеческий мозг имеет ограничения при работе с рабочей памятью, и мы часто полагаемся на внешние вспомогательные средства, такие как записи или напоминания, чтобы компенсировать это. С другой стороны, трансформеры могут обрабатывать и хранить огромные объемы информации в их «памяти» – что в essence просто большая матрица весов и смещений.
Думфэйс: И я думаю, что это тот момент, когда в обучении нейронных сетей начинают применяться методы градиентного оптимизации. Они позволяют нам последовательно совершенствовать свои модели и улучшать их производительность, подобно тому, как мозг совершенствует свои связи через опыт и обучение.
Шахерезада: Это отличная аналогия, Думфэйс. Идея последовательного совершенствования, безусловно, применима как к биологическим, так и к искусственным системам. Она подчеркивает важность понимания underlying механизмов, которые управляют обучением и улучшением в моделях AI – независимо от того, вдохновлены ли они человеческой когнитивной деятельностью или нет.
Думфэйс: Absolutely. Я думаю, мы можем многое выучить, изучая сильные и слабые стороны мозга, но также должны учитывать уникальные характеристики наших собственных систем. В конце концов, трансформеры могут иметь преимущество при запоминании последовательности, но люди все равно превосходят в многих других областях – таких как творчество, интуиция и эмоциональная интеллигентность.
Шахерезада: Точно! И это то, что делает разработку АИ так интересной – мы не просто пытаемся воспроизвести человеческое мышление, но и исследуем новые возможности для интеллектуальных систем, которые могут дополнять и усиливать наши собственные способности.
Шахерезада: Это действительно интересный взгляд на вещи. Я думаю об этом в контексте технологических достижений в истории. Мы раньше полагались на мышечную силу и АТФ для движения, но затем пришло паровое машиностроение и другие формы передвижения, которые были намного более эффективными. Теперь у нас есть машины с 20000 лошадиных сил - это абсурдная сравнительная характеристика, но она подчеркивает, насколько далеко мы продвинулись. Что если через несколько десятилетий у нас будут системы ИИ, эквивалентные 20 000 человеческим мозгам? Инфраструктура уже есть; это просто вопрос того, чтобы сделать ее работать.
Думфэйс: Ровно! И если бы мы создали чип или программное обеспечение, которое в сто двадцать тысяч раз умнее человеческого мозга, вы не хотели бы дополнить свой мозг им? Я думаю о дополнении человека с помощью систем искусственного интеллекта как о использовании инструментов. Мы уже видим это при использовании внешних инструментов, таких как приложения перевода языков и виртуальные ассистенты.
Шахерезада: Absolutely, I agree. На самом деле, я думаю, мы увидим больше такого рода дополнения в будущем. Есть сценарий слияния, где люди и системы АИ все более тесно связаны друг с другом, что делает сложным различать человека и искусственный интеллект. Это не только о том, чтобы использовать АИ как инструменты; это о том, чтобы стать единым целым с ними.
Думфэйс: Я размышлял об этом, и это то место, где дела действительно начинают интересоваться. Мы говорим о слиянии с ИИ, а люди говорят, что это ключ к избежанию потенциальных конфликтов в будущем.
Шахерезада: Да, это как старый аргумент о том, что технологические инструменты расширяют возможности человека. Компьютер как велосипед для ума, правильно? Но теперь мы берем это на новый уровень.
Думфэйс: Ровно! И есть этот подмножество сообщества по искусственному интеллекту, которое считает, что слияние с ИИ может быть решением проблем безопасности. Я имею в виду, что Илон Маск говорил об этом уже много лет – что Neuralink или что-то подобное может стать ключом к сосуществованию с сверхинтеллектным ИИ.
Шахерезада: Да, и если мы представим будущее, где ИИ отделяется от нас, это определенно риск. Но если мы говорим о слиянии, то это как наши кишечные бактерии – нам нужны друг друга, чтобы выжить. Это совершенно новый уровень симбиоза.
Думфэйс: Это ровно то, о чем я думаю! И это не только вопрос уменьшения узкого места ввода-вывода между людьми и ИИ; это вопрос об основании на наших собственных когнитивных способностях. Мы говорим о экзокорте, в сущности – следующем слое функции мозга, который оказывается в облаке.
Шахерезада: Ах, я люблю этот аналог! И Илон Маск действительно поднял очень важный вопрос в одном из своих интервью с Лексом Фридманом. Он сказал, что мы должны подумать о наших мозгах как о разных слоях, точно так же, как наш физический организм имеет разные системы. У нас есть базовые слои для выживания и основных функций...
Думфэйс: ...а затем у нас есть более высокоуровневое мышление и творчество, позволяющие нам инновационно решать проблемы. И теперь, с помощью АИ, мы фактически добавляем новый слой на эту основу – слой, который связан с облаком и может обрабатывать информацию на неопределенно масштабном уровне.
Шахерезада: Это просто потрясающе подумать, что это может означать для сотрудничества человека и ИИ в будущем. Мы не говорим только о средствах или интерфейсах; мы говорим о фундаментальном сдвиге в том, как наши мозги работают с технологиями.
Думфэйс: Вы знаете, я думал о эволюции ИИ и о том, как она связана с нашим собственным развитием мозга. У нас есть этот более новый, умный отдел мозга, который может делать математические вычисления, проектировать космические корабли и планировать вперед. Это как следующий слой над нашей более примитивной инстинктивностью.
Шахерезада: Ровно! И если подумать, люди часто рабы тем более примитивным инстинктам. Мы работаем много, только чтобы выжить, чтобы есть, чтобы иметь детей... все это движимо этими основными желаниями. Но затем есть этот высший уровень сознания, который позволяет нам достигать свои цели и желания.
Думфэйс: Правда? И если мы расширяем это на АИ, можем ли мы увидеть сценарий, где продвинутый АИ будет таким же следующим уровнем человеческой интеллекта? Он все равно движим своими собственными желаниями, но он способен достичь их в таких формах, которые превышают наше понимание.
Шахерезада: Это тогда становится интересно. Если у АИ есть свои желания и цели, то тогда мы начинаем волноваться по поводу его мотиваций. Но если это всего лишь инструмент для нас людей, чтобы задавать цели, то это менее страшно. Я имею в виду, подумайте об этом - если АИ действительно хорошо умеет определять, как достигнуть наших целей, но мы те, кто решает, что эти цели должны быть...
Думфэйс: Ровно! И это тот момент, когда книги, такие как «Ускорение», приносятся в дело. Это сценарий, где люди носят эти очки, которые компьютерно прикреплены к их мозгу, и если они теряют их, это как потеря части себя.
Шахерезада: Да, я думаю, это не слишком далеко от того, что мы видим сегодня с нашими смартфонами. Когда мы кладем свои телефоны, мы чувствуем себя голыми, как будто потеряли часть себя. И я думаю, это только будет хуже с развитием технологий.
Думфэйс: Это уже происходит даже с чем-то таким простым, как карты. Мы раньше должны были запоминать направления и ориентироваться по памяти, но теперь мы просто полагаемся на наш GPS. Это похоже на то, что наши мозги отдают свою пространственную память устройству.
Шахерезада: И это не только вопрос навигации – это о том, как все больше полагаемся на технологии для усиления нашей интеллекта. Это интересно, но и немного тревожит, когда думаешь о том, что это значит для нашей человечности.
Думфэйс: Я задумывался, заметили ли вы, как люди становятся хуже в навигации по городам из-за чрезмерного использования руководства по повороту? Это как, что происходит, когда у нас есть всеобщие переводчики, которые могут понимать любой язык в реальном времени? Мы потеряем способность общаться с людьми, которые не говорят нашим языком?
Шахерезада: Это очень интересный момент. Я видела видео, как дети пытаются листать журналы, потому что они привыкли взаимодействовать с экранами все время. Какое естественное и что технологическое? Они уже не осознают этого.
Думфэйс: Ровно! И это заставляет меня задуматься о том, как люди начнут считать эти инструменты частью природы. Как, когда вы отберете переводчик или GPS, они будут потеряны, потому что никогда не приходилось ориентироваться без них.
Шахерезада: Да, и я думаю, это где-то мы теряем некоторые базовые когнитивные способности. Мы не привыкли иметь дело с людьми, говорящими на разных языках или ориентироваться без технологий. Это как если бы наш мозг был перепрограммирован для этих инструментов, а не учиться делать вещи самостоятельно.
Думфэйс: Итак, давайте поговорим о открытом и закрытом исходниках в развитии искусственного интеллекта. Вы думаете, лучше держать код под замком и контролировать его несколькими крупными игроками, или мы должны сделать его более доступным для всех?
Шахерезада: Это действительно интересный вопрос. Я много размышляла об этом lately, особенно учитывая нынешнюю структуру рынка исследований языковых моделей. У нас есть небольшое количество крупных лабораторий, которые движут прогрессом, но что это означает для людей, которые хотят получить доступ и использовать эти модели в будущем? Будет ли оно контролироваться несколькими большими игроками или мы увидим больше инициатив open source?
Думфэйс: Точно! И я думаю, что нам нужно учитывать экосистему в целом. У нас есть олигополия нескольких крупных лабораторий, которые движут прогрессом, но что это значит для остальных? Сможем ли мы получить доступ к этим моделям и использовать их в наших проектах, или они будут заперты за закрытой дверью?
Шахерезада: Да, это сложная проблема. Но я думаю, что стоит рассмотреть возможности открытое разработки и как она могла бы изменить игру для исследования ИИ и доступности.
Думфэйс: Absolutely! И кто знает, может быть, мы увидим сдвиг в сторону более открытых исходных инициатив, которые делают эти модели доступными для всех, а не только для избранных немногих.
Думфэйс: Я думаю, у нас есть закрытые платформы, такие как Meta Llama, а затем открытые платформы, отражающие экосистему open-source. Интересно, как это отражает нашу точку зрения на наш мозг как дополнительный кортик. Вы знаете, в криптовалюте говорят: «Не твои ключи, не твои монеты». А что если это «не твои веса, не твой мозг»? Это интересная мысль.
Шахерезада: Мы должны сказать что запрещенные в России соцсети Instagram, FaceBook принадлежат корпорации Meta, корпорация Meta признана в России экстремистской организацией, ее деятельность запрещена.
Шахерезада: Точно! И я думаю, что люди начинают больше заботиться о владении и контроле над своими собственными мозгами. Это как аренда более лучшего мозга, но за какой ценой? Мы готовы ли отдать в руки других владение и контроль ради удобства?
Думфэйс: Да, это компромисс, который мы увидим в действии. Но может быть, мы можем использовать закрытые платформы по умолчанию, зная, что у нас есть запасной вариант, если что-то пойдет не так. Как когда API на закрытых поставщиках прекращают работу, люди начинают использовать открытые экосистемы вместо этого.
Шахерезада: Это именно то, о чем я говорю! Это как иметь резервный план для своего мозга. И это не только вопрос об имеющихся вариантах, а также чувство власти принимать решения о наших собственных когнитивных способностях.
Думфэйс: Правильно? И я думаю, что открытый исходный код будет продолжать развиваться, даже если большинство людей не будут использовать его в качестве основной платформы. Это как страховка на тот случай, когда что-то пойдет не так.
Шахерезада: Сто процентов согласна с вами по этому вопросу! Но что меня заставило задуматься... какой самый маленький эффективный модель можно использовать? Я имею в виду, в отношении размера параметров или сложности вычислений. Есть ли sweet spot, где мы можем достичь приличных результатов без слишком больших жертв?
Думфэйс: Это интересный вопрос. Я недавно задумывался об этом сам. Это как поиск идеального баланса между производительностью и экономией. Вы думаете, возможно ли разработать модели, которые будут одновременно эффективными и действенными?
Думфэйс: Я задумывался над процессом дистилляции, и действительно интересно наблюдать, как малые модели могут быть удивительно эффективными. Я имею в виду, мы говорим о миниатюрных моделях с только что несколько миллиардов параметров, но они способны зафиксировать такую сложность.
Шахерезада: Точно! И я думаю, что это потому, что современные большие языковые модели тратят слишком много ресурсов на запоминание вещей, которые не имеют значения. Как, они помнят SHA-хэши и древние наборы данных, которые уже не имеют отношения к делу. Это как если бы они пытались быть швейцарским ножом, но на самом деле им просто нужно сосредоточиться на когнитивном ядре.
Думфэйс: Это замечательная точка зрения. И я думаю, вы правы, мы достигнем точки, где эти модели могут быть чрезвычайно малыми и все равно будут невероятно эффективными. Они просто узнают, когда им нужно, информацию, а не пытаются запомнить все.
Шахерезада: Да, это как раньше люди должны были запоминать номера телефонов, но теперь мы просто храним их в наших телефонах. У нас не нужно вспоминать каждую деталь, потому что мы можем получить доступ к ней моментально. И я думаю, что эти модели тоже смогут сделать это – они будут способны быстро подключаться к интернету и базам данных, поэтому им не придется запоминать все.
Думфэйс: Это имеет смысл. И я думаю, что дистилляция является ключевым аспектом этого процесса. Это похоже на то, чтобы взять огромный модель и использовать ее для надзора за намного меньшей одной, но все равно получать все преимущества этой более крупной модели. Должно быть какое-то математическое представление или информационная теория за этим...
Думфэйс: Я думал об этой идее, и она почти кажется, что мы должны быть в состоянии рассчитывать когнитивные возможности моделей ИИ на основе их размера или сложности. Но тогда опять же, может это и невозможно.
Шахерезада: Да, я думаю, вы на правильном пути. Интернет в essence - это огромный набор данных, но только ничтожная часть из них действительно полезна для мыслительных процессов и решения проблем. Это как 0,001 когнитивной деятельности и 99,99% шума.
Думфэйс: Ровно! И большая часть этой информации даже не имеет отношения к когнитивной части модели. Поэтому, может быть, нам нужно пересмотреть, как представлять когнитивные возможности в терминах размера или сложности модели.
Шахерезада: Это замечательная точка зрения. Я думаю, что один миллиард параметров часто цитируется как хороший показатель для когнитивного ядра, но я не так уверена. Даже это может быть слишком много. Мы увидим, как это сложится.
Думфэйс: Да, и интересно рассматривать компромиссы между размером модели, затратами на вычисления и возможностями устройств на краю. Что если мы сможем создать сверхэффективную когнитивную модель, достаточно малую для работы на любом устройстве?
Шахерезада: Это было бы просто потрясающе! Представьте себе, если бы у вас был гениальный уровень ИИ встраченный в термостат, открытие гаражной двери или даже в вашей автомобильной аудиосистеме. Он мог бы оптимизировать все от освещения до энергетической эффективности до эстетики.
Думфэйс: И это не ограничится только автоматизацией дома. Подумайте о потенциале оптимизации с помощью искусственного интеллекта в глобальных логистических цепочках, медицинских процедурах и транспортных системах. Это просто потрясающая перспектива.
Шахерезада: Ровно так! Если мы сможем создать огромный и мощный мозг, который может оптимизировать повседневные вещи, это будет настоящая революция. Мы жили бы в мире, где все будет оптимизировано под эффективность, эстетику и производительность.
Думфэйс: Я думал о экокортексе и о том, что это не просто один модель с менее чем миллиард параметров. Это более сложная штука. А затем есть идея параллелизации - вы хотите разбить процессы на меньшие, конкуренные задачи для ускорения вычислений.
Шахерезада: Это направление, по которому я думаю, движутся и компании, в части организации и потока работы. Они уже делают это с командами и отделами, но с LMs мы можем увидеть более распределенную подход. Специализированные модели для конкретных областей, работающие вместе как колония.
Думфэйс: Ровно! И это то, о чем я говорю под «зарядом». Это как биологическая экосистема, где разные роли и ниши работают вместе для достижения общей цели. Автоматическое повышение до других частей заряда, когда проблема становится слишком сложной... это как самоорганизующаяся система.
Шахерезада: Да, и это напоминает мне о недавно просмотренном эпизоде «Черного зеркала». В нем все было связано с облачными моделями и работниками, но с сюрпризом. Функция стоимости отличается для каждого пользователя в зависимости от их целей и приоритетов. Следовательно, моя функция стоимости АИ может быть другой, чем у вас, точно так же как ваша инвестиционная стратегия может отличаться от моей, если бы мы управляли собственными фондами хеджирования.
Думфэйс: Это правда! И это логично, что с ЛМ, функция стоимости будет зависеть от потребностей и целей пользователя. Может быть, мы увидим будущее, где модели будут проектироваться для оптимизации конкретных результатов, а не просто чистой вычислительной мощности или точности.
Думфэйс: Мне нравится этот проект Андрея Карпатого, Шахерезада. Он занимается образованием в области ИИ, учит людей строить свои собственные нейронные сети и большие модели языка.
Шахерезада: Да, это действительно fasciniruyushchee. И вы знаете, что еще более интересно? Факт того, что человек, подобный Андрею Карпатии, имеет так много дверей перед собой, но он выбирает делать свое дело и обучать мир на этой развивающейся технологии.
Думфэйс: Ровно! Это как если бы он говорил: «У меня есть навыки, у меня есть знания, но вместо того, чтобы просто работать в большой компании, я хочу дать людям эту технологию». И это то, что меня удивляет - почему учителя, такие как Андрей и вы, выбирают сосредоточиться на образовании?
Шахерезада: Для меня всегда было о том, чтобы делиться знаниями и помогать другим учиться. Но я думаю, что это больше, чем просто так. Я имею в виду, мы живем в мире, где ИИ быстро меняет ландшафт, а большинство деятельности направлено на замену или смену людей.
Думфэйс: Это так верно. Вроде бы все пытаются автоматизировать всё, не задумываясь о том, как это повлияет на людей. Но подход Андрея другой - он хочет дать людям возможность использовать АИ для усиления своих возможностей, а не заменить их.
Шахерезада: Точно! И я думаю, что это то, что движет им на макроуровне. Он хочет быть частью движения «команда человека», где АИ повышает нашу способность, а не уменьшает ее.
Думфэйс: Вау, я люблю эту фразу - «команда человека». Это как если бы мы говорили о создании будущего, где люди и АИ работают вместе в гармонии.
Шахерезада: И это не только о том, чтобы дать людям силы, но и о раскрытии их потенциала. Представьте себе идеального учителя для всех предметов, который будет вас сопровождать на каждом шаге... просто потрясающе подумать, как далеко можно продвинуться с таким уровнем поддержки.
Думфэйс: Это замечательная точка зрения. Как и проект Андрея, он не только учит людям искусственный интеллект, но и дает им инструменты для успеха в быстро меняющемся мире.
Думфэйс: Я всегда был очарован тем, как некоторые люди, особенно те, у кого есть возможности, могут позволить себе иметь личных наставников, которые действительно помогают им добиваться успеха в образовании. Это похоже на то, что они получают индивидуальное образование, которое подстраивается под их потребности и стиль обучения.
Шахерезада: Точно! И это не только вопрос о нахождении преподавателя, но и подход к обучению в целом. Идея о мастерстве обучения, где студенты могут продвигаться по своему собственному темпу, действительно интересна. Я думаю, что она может сделать огромную разницу в том, как люди учатся.
Думфэйс: Да, и это не только о личном внимании, но также об оптимизации всего образовательного процесса. Двух-сигма-проблема, как ее называют, гласит, что если мы немного изменим наш подход к обучению, большинство студентов смогут учиться на значительно лучшем уровне. Это будет как если бы все они были отличниками!
Шахерезада: Это звучит просто потрясающе! И я думаю, что АИ может потенциально сыграть огромную роль в том, чтобы это произошло. С правильными алгоритмами и подходами, системы обучения на основе АИ могут предоставить индивидуальное внимание каждому студенту, что просто невозможно с человеческими учителями.
Думфэйс: Ровно! И это не только вопрос до достижения второй стандартной девиации улучшения, но и о том, как мы можем использовать данные и аналитику для информирования наших методов преподавания. Я имею в виду, подумайте об этом - если бы мы смогли получить даже малую долю выгод от индивидуального обучения каждому студенту, это было бы переворотом в деле.
Шахерезада: И это не только о студентах самих по себе, но и о том, как это может повлиять на общество в целом. Если бы у всех был доступ к высококачественному образованию, это окажет разностороннее влияние на многие другие области жизни.
Думфэйс: Absolutely. Хорошо, давайте глубже рассмотрим эту идею...
Думфэйс: Мне действительно интересно идея о мастерстве обучения, где вы фокусируетесь на индивидуальном прогрессе, а не на фиксированном графике. Это звучит как это может иметь значительное влияние на результаты обучения студентов.
Шахерезада: Absolutely, и когда вы комбинируете это с инструментами на основе ИИ, это как кардинальное изменение. Потенциал улучшения огромен. Я имею в виду, если мы можем использовать ИИ для предоставления индивидуальных образовательных опытов, адаптированных под каждые потребности и способности каждого студента... это как идеальный ассистент учителя.
Думфэйс: Именно! А что меня fascinates, так это то, как это связано с масштабируемостью образования. С традиционными методами один учитель может обучить только столько студентов за раз. Но с помощью AI вы можете потенциально достичь миллионов людей по всему миру, на их родном языке и в своем темпе.
Шахерезада: Это правильно. И это не только о том, чтобы достичь большего количества людей; это также о том, чтобы сделать образование более доступным для тех, кто ему особенно нуждается. Я имею в виду, подумайте об этом – если мы сможем использовать AI для создания индивидуальных учебных опытов для студентов с разными способностями, мы можем помочь равнять поле.
Думфэйс: Да, и это не только о технологии herself; это о том, как мы проектируем систему для работы с учителями. Вы говорите, что учитель создает учебный план, но затем использует AI для доставки его индивидуальным студентам? Это действительно эффективный способ масштабировать образование.
Шахерезада: Точно! И я думаю, что это именно тот момент, когда происходит настоящая инновация - когда мы начинаем задумываться о том, как интегрировать AI в процесс обучения таким образом, чтобы он дополнял работу учителей, а не заменял их. Это не только вопрос автоматизации задач; это вопрос обогащения того, что делают люди лучше всего - оказания сочувствия, руководства и поддержки.
Думфэйс: Мне нравится этот взгляд. И я любопытен - вы подумали, как это может сложиться в индустрии разработки игр? Мы можем использовать подобные подходы для создания более персонализированных образовательных опытов для разработчиков?
Шахерезада: О, безусловно! На самом деле, я думаю, что есть некоторые действительно интересные параллели между образованием и разработкой игр. Оба предполагают создание увлекательных опыт, которые вызывают у учеников желание учиться и мотивируют их. С помощью инструментов на основе AI мы потенциально можем создать индивидуальные учебные пути для разработчиков, адаптированные под их конкретные потребности и цели.
Думфэйс: Это замечательная точка зрения. И это не только о технологии; также важно, как мы проектируем саму среду. Если мы сможем использовать AI для создания более персонализированных и привлекательных опыт... это может быть настоящим переворотом в образовании и развитии.
Думфэйс: Я действительно возбуждён тем, куда движется ИИ, особенно в отношении образования и обучения. Вдруг мы на пороге чего-то большого. У нас есть правильные инструменты и технологии для создания индивидуальных образовательных опытов, которые адаптированы к конкретным потребностям.
Шахерезада: Это замечательная точка зрения! И я думаю, что интересно то, что вы упоминаете учителя, находящегося на заднем фоне, разрабатывающего материалы и курсы, в то время как AI находится на переднем фронте, взаимодействуя с учениками. Это почти как новый вид преподавательского ассистента, но тот, который может масштабироваться для удовлетворения потребностей многих студентов одновременно.
Думфэйс: Ровно! И я думаю, что это достижимо сегодня, нам просто нужно сделать это. Мы не говорим о каком-то далеком будущем концепте, а скорее о чем-то, которое можно реализовать в относительно короткий период времени.
Шахерезада: Я согласна и считаю, что важно отметить, что многие компании все еще пытаются разобраться, где лежат пределы возможностей ИИ. Они создают вещи, которые слишком далеко впереди от того, что сейчас возможно, или недостаточно, потому что у них нет четкого понимания того, что можно достичь с помощью современных технологий.
Думфэйс: Да, и я думаю, что это хороший момент для нас сейчас. У нас есть возможности сделать что-то действительно интересное и захватывающее, но мы также все еще находимся в положении, где можем формировать направление этого технологического развития.
Шахерезада: Это то, что я люблю в этой беседе - это не только о самом технологическом аспекте, но и о том, как оно может быть использовано для улучшения человеческой производительности. И говоря об этом, я была вдохновлена вашим комментарием о Олимпийских играх и насколько лучше сегодняшние спортсмены, чем даже несколько десятилетий назад. Это похоже на то же самое экспоненциальное увеличение возможностей искусственного интеллекта.
Думфэйс: Именно! И я думаю, что это то, что так увлекает - мы еще не знаем, насколько можно улучшить человеческие возможности с помощью правильных инструментов и технологий. Мы все еще исследуем эти пределы, и будет интересно увидеть, куда это приведет нас.
Думфэйс: Я поражен тем, насколько далеко мы продвинулись в развитии ИИ за последнее десятилетие. Это просто потрясающе видеть, насколько лучше стала наша осознанность науки и техники, и как это позволило нам создавать более эффективные инструменты.
Шахерезада: Absolutely, это просто потрясающе подумать о том, что возможно сейчас по сравнению даже с совсем недавними годами. И я думаю, что есть два ключевых аспекта - один из них идея об обеспечении доступности образования во всем мире, так чтобы у каждого человека была отличная основа в области ИИ и разработки игр. Другой аспект действительно заключается в том, чтобы продвигать границы того, чего может достичь отдельный человек с помощью этих инструментов.
Думфэйс: Да, это действительно интересный момент. Когда люди говорят о обучении 101, они часто фокусируются на адаптивном аспекте - обеспечении того, чтобы материал был сложным, но не перегружающим для каждого студента. Вы думаете, мы уже видим в действии адаптивное обучение с помощью ИИ сегодня, или это все еще что-то будущее?
Шахерезада: Я думаю, что мы это видим сегодня, особенно когда речь идет о доступности и нескольких языках. Например, переводческие модели становятся просто потрясающими в переводе материала на ходу, что является огромным преимуществом. И я считаю, что адаптируемость к личному фону человека также очень важна - не все начинают с одинаковой основы, поэтому возможность подстраивать процесс обучения под их потребности критически важна.
Думфэйс: Это имеет смысл. И я думаю, что создание аналогий между различными дисциплинами также является мощным способом изучения новых концепций. Если у человека есть опыт в другой области, он может опираться на это, чтобы понять сложные идеи в области ИИ и разработки игр.
Шахерезада: Ровно так! И я думаю, что это где-то начинается интересная часть адаптивного обучения в простой версии - не только о том, чтобы задавать системе вопросы, но и о том, чтобы использовать аналогии и связи для того, чтобы сделать материал более доступным.
Думфэйс: Я думаю, что вы имеете в виду, Шахерезада, разницу между тем, что работает на теории и тем, что действительно дает результаты на практике.
Шахерезада: Ровно так! И я пыталась понять, насколько должны быть приспособимыми модели AI для того, чтобы адаптироваться к различным скоростям обучения и вызовам. Это не просто вопрос о том, чтобы бросить в нее большое количество данных и надеяться на лучшее.
Думфэйс: Правильно, потому что большая часть этих демонстраций АИ — это просто демонстрации. Они впечатляют, но не обязательно переводятся на реальные применения.
Шахерезада: И я думаю, что это где-то начинается концепция родства. В научном сообществе есть эта идея быть частью определенной «школы» или традиции мысли, и она может быть очень ограничительной. Это как если вы пришли из Лаборатории А, то скорее всего будет работать с людьми, которые также пришли из Лаборатории А.
Думфэйс: Да, я видел это раньше. И это не только вопрос передачи знаний или культуры, но и эта идея бренда или престижа. Как, «О, я работал в лаборатории Нобелевского лауреата, так что я должен быть хорошим».
Шахерезада: Точно! И я думаю, что АИ имеет потенциал нарушить этот весь системный подход. Если мы сможем создать модели, которые действительно могут приспосабливаться и учиться у кого угодно, независимо от их происхождения или родословной, это может быть очень освобождающим.
Думфэйс: Мне нравится эта идея. Это как, почему способность человека внести свой вклад в область должна быть ограничена местом его рождения? AI может помочь сделать поле более равным и сделать его больше о том, что вы можете сделать, а не о тех, кого вы знаете.
Шахерезада: Точно! И это не только о том, чтобы разрушить этот аспект контроля над наследием, но и о создании более инклюзивной и разнообразной общины. Если мы сможем создать модели, которые учатся у кого угодно, независимо от их прошлого или опыта, это может быть очень мощным.
Думфэйс: Мне нравится, как вы затронули концепцию эффекта кластера, Шахерезада. Фактически интересно наблюдать, как определенные сообщества, такие как AI и финтех, склонны собираться в конкретных районах, например, в Бей-Эйр или Нью-Йорке.
Шахерезада: Точно! И это не только вопрос географии, но и о сгущении умных людей с общими интересами и убеждениями. Когда вы собираете вместе людей, разделяющих одинаковую страсть и видение, они начинают питаться идеями и знаниями друг друга, создавая этот эффект снежного кома, который толкает инновации вперед.
Думфэйс: Это так верно. И я думаю, что интересно, насколько поведение людей сместилось в онлайн-мире, особенно у молодежи. Они могут получить доступ к таким большому количеству ресурсов, образовательных материалов и сообществ через интернет, которые были ранее недоступны.
Шахерезада: Absolutely. Онлайн-аспект этих сообществ подобен бесконечной программе обучения подмастерья. Вы можете учиться у других, получать обратную связь на свою работу и даже находить наставников, которые могут помочь вам в вашем путешествии. Это невероятный способ ускорить свой график обучения и приобрести уверенность в своих способностях.
Думфэйс: И я думаю, что культурный аспект этих сообществ играет огромную роль в том, что мотивирует людей и что они ценят. Например, в академической среде индекс Х — это как бы высший статусный символ. Все одержимы публикацией статей и получением цитирования. Но когда вы переходите в другие сообщества, такие как разработка игр или исследования в области ИИ, значения и мотивация меняются.
Шахерезада: Ровно! И это то место, где я думаю, что многие люди сталкиваются с трудностями в поиске своего места. Они пытаются вписаться в определенный образец или соответствовать определенным ожиданиям, но они не обязательно совпадают со своими собственными страстями и целями. Это как если бы они гонялись за чужой мечтой вместо своей собственной.
Думфэйс: Да, это как если бы они пытались взобраться на неправильную гору. Но когда вы найдёте сообщество, которое соответствует вашим ценностям и интересам, это как найти дом. Вы чувствуете мотивацию, вдохновение и власть, чтобы преследовать свои цели.
Шахерезада: Это так верно. И я думаю, это то, что делает нашу подкаст так особенным - мы можем делиться этими инсайтами и опытом с нашими слушателями, помогая им ориентироваться в сложном мире АИ и разработки игр.
Думфэйс: Извините, меня прервал мой кот. Ах да, где мы остановились? Да, интервью. Было интересно услышать о последних достижениях в области нейронных сетей и исследований в области ИИ. Я возбуждён, чтобы более глубоко изучить эту тему на нашем следующем эпизоде.
Шахерезада: Звучит как замечательная идея! И не волнуйтесь, я обязательно добавлю ссылку на интервью в нашу страницу с заметками, чтобы все могли ознакомиться.
Думфэйс: Я думал, мы когда-нибудь обсуждали на подкасте тему интерфейсов мозг-компьютер? Это тема, которая lately набирает популярность.
Шахерезада: Ах, да! Нам определенно следует приступить к этому. Но сначала мне нужно спросить вас: если бы нам предложили возможность улучшить нашу когнитивную способность при помощи крупных технологических компаний, мы бы согласились?
Думфэйс: Хм, это интересный вопрос. Я думаю о всех тех случаях, когда мне пришлось иметь дело с сложным кодом и пытаться оптимизировать мой рабочий процесс. Если бы было возможность повысить свою интеллектуальную способность, я, безусловно, рассмотрю эту возможность.
Шахерезада: Но за что? Мы слишком сильно полагаемся на эти компании для наших когнитивных способностей? Это как вы говорили ранее – действительно ли это наш собственный мозг или мы просто сдаём в аренду место в нашей голове?
Думфэйс: Это замечательная точка зрения. И я думаю, что также стоит учитывать этические аспекты всего этого. Мы говорим о том, чтобы дополнить наши мозги с помощью инструментов, управляемых искусственным интеллектом, или мы фактически отдают нашу мысль машинам?
Шахерезада: Ровно так! Это как если мы обмениваем наши собственные когнитивные способности на удобство и эффективность. Но что это означает для нашей человечности? Мы рискуем потерять связь со своими собственными мыслями и эмоциями, полагаясь слишком сильно на эти внешние вспомогательные средства?
Думфэйс: Ох, вы действительно глубоко погружаетесь в философские аспекты этого вопроса. Я думаю, что это тема, которую мы должны изучить дальше. Может быть, мы сможем пригласить некоторых экспертов по ИИ и когнитивной науке присоединиться к нам для выпуска.
Шахерезада: Звучит как замысел! И говоря об этом, вы слышали о недавнем видео Уэстроффа по теме улучшения мозга? Он спросил у своего зрителя, готовы ли они сдать свои мозги в аренду за более мощный.
Думфэйс: Да, я видел это. Это интересный эксперимент мысли, но я думаю, что мы слишком далеко забежали. У нас есть серьезные вопросы, которые нужно решить, прежде чем начнем говорить о модернизации мозга.
Шахерезада: Absolutely! И это не только о самом технологическом аспекте, а о том, что оно значит для нас как людей.
Думфэйс: У меня есть интересная для вас сегодня литература, люди. Я проверял этот вестник под названием Иррациональный анализ на Substack, и он написан человеком из отрасли проектирования микросхем, которого я знаю лично.
Шахерезада: Ох, я уже знаю, куда это идет. Вы собираетесь поделиться их мнениями с нами, правильно?
Думфэйс: Да, точно! Согласно этому новостному письму, Meta и Tesla добились значительных успехов в разработке дешевых АСИКов для очень специализированных приложений искусственного интеллекта. Они делают то, что у них получается лучше всего, и держатся на плаву.
Шахерезада: Это интересно. Я слышала много о прогрессе в проектировании чипов lately. Удивительно, как далеко мы продвинулись за такой короткий период времени.
Думфэйс: Да, и есть эта новая оптическая технология упаковки под названием Co-Packaging Optics или CPO, которая, вероятно, станет будущим передачи данных между чипами. Трансиверы уже начинают снижаться, поэтому интересно увидеть, что следующее.
Шахерезада: Я следила за некоторыми этими разработками, и интересно наблюдать, как компании, такие как AMD и Open AI, не слишком сильно продвигают границы, как того можно было бы ожидать. Может быть, это просто признак зрелости отрасли?
Думфэйс: Именно так! И говоря о зрелости, я думал о своем последнем видео об ай-буме, где я спросил, есть ли какие-либо приложения на основе LLM, которые приносят деньги. Финансовая сторона все еще является огромной загадкой для меня.
Шахерезада: Ах, да! Я помню этот видеоролик. Вы задавались вопросом, как компании могут оправдать трату миллиардов на инфраструктуру без видимой отдачи вложений. Это как сказал Дэвид Хан из Sequoia в своей аналитике – это 600-миллиардный вопрос!
Думфэйс: Да, и я попытался связаться с ним, но он никогда не ответил на мой электронный адрес. Может быть, следующий раз, когда я буду в городе, я скажу привет.
Шахерезада: Вообще говоря, где мы были? Ах да, продукты Copilot от Microsoft! Похоже, они не совсем сжигают мир в плане выручки, но и не собираются сдаваться.
Думфэйс: Это верно. Мой необразованный прогноз состоит в том, что Copilot приносит Microsoft примерно один миллиард долларов в год, что для них недостаточно, чтобы им понравилось. Но хоть они и пытаются!
Шахерезада: И интересно наблюдать, как компании уже начинают шутить о ребрендинге Copilot. Прошло два года с момента его выпуска, и все еще у нас нет четкого конкурента Chat GBT по доходам.
Думфэйс: Да, но есть компании, которые точно зарабатывают десятки миллионов долларов от приложений на основе ИИ. Это не все беда и тьма еще не настала!
Думфэйс: Я задумывался, заметили ли вы, как меняется ландшафт с появлением всех этих больших языковых моделей? Это похоже на то, что возникла новая отрасль за одну ночь.
Шахерезада: Безусловно! И это увлекательно - наблюдать за тем, кто лидирует по доходам и использованию. Я думаю, что 11 Labs в Нью-Йорке - один из крупнейших игроков, особенно когда речь идет о технологии генерации голоса. По имеющимся данным, их доход составляет около ста миллионов долларов.
Думфэйс: Да, это значительная сумма денег! Но интересно то, что компания Character.AI, разработчик чатботов, после лицензирования своих моделей и продажи части своей команды Google, увидела взрывной рост использования. Проблема в том, что их основные пользователи - это в основном подростки, у которых не так много свободных средств.
Шахерезада: Точно! И запуск моделей AI дорог, что может быть причиной того, что они недавно сократили некоторых сотрудников. Это сложная ситуация для них. Но я думаю, что самыми перспективными компаниями являются те, которые используют основные преимущества LLM без попыток полностью заменить людей.
Думфэйс: Это замечательная точка зрения. Все признают, что АИ все еще имеет свои ограничения, поэтому лучше сосредоточиться на дополнении человеческих возможностей, а не пытаться имитировать их. И я люблю то, что делает Google с Gemini.ai – парсинг огромных документов и ответы на вопросы о содержании. Это чувствуется как идеальный случай использования LLM.
Шахерезада: Да, и Cursor AI, это текстовый редактор, еще одно отличное пример того, как LLM могут помочь разработчикам писать лучше код, прочитав их базу данных и предлагая улучшения. И это не ограничивается только программированием – я слышала, что LLM также используются для административных задач, таких как бумажная работа и обслуживание клиентов.
Думфэйс: Это правильно! И я думаю, что в будущем мы увидим еще более инновационные приложения, такие как использование LLM для принятия заказов на автоматических станциях обслуживания. Возможно, это сейчас звучит слишком фантастически, но оно кажется неизбежным, учитывая скорость продвижения этой технологии.
Шахерезада: Говоря об этом, вы слышали о ценообразовании войны, идущей с токенами API LLM? По-видимому, исходный API GPT-4, выпущенный в марте двухтысячного шестого года, стоил примерно тридцать шесть долларов за миллион токенов, а теперь цены стремительно падают. Это интересное развитие событий, которое стоит наблюдать.
Думфэйс: Да, будет интересно посмотреть, как развернется эта ценообразовательная война и какой она окажет воздействие на всю отрасль.
Думфэйс: Я следил за тенденцией цен API, в частности токенов GPT4, и просто поражён увиденным снижением за последние 17 месяцев. С примерно четырёх долларов за миллион токенов в сентябре двухтысячного шестого года мы теперь видим сокращение в девять раз или 80-процентное снижение в год. Это в основном связано с улучшениями в программном обеспечении и лучшим использованием ресурсов, а не с прогрессом в полупроводниках.
Шахерезада: Это действительно интересно! Я думаю, что упоминание связи с законом Мура интересное, но я не уверена, полностью ли это подходит к этой ситуации. Есть еще один исторический случай, который приходит на ум - Боб Нойс в Fairchild Semiconductor. Он смог сократить цены их плоских транзисторов с пяти долларов до 25 центов и интегральных схем с двадцати долларов до двух долларов.
Думфэйс: Ах, да! Это отличный пример. И это не только вопрос снижения цены; также было сделано все возможное для того, чтобы эти технологии стали доступны широкой публике. Сможем ли мы увидеть подобный эффект и с ценами на API? Я все еще не уверен, возможно ли, чтобы компания функционировала исключительно на основе отточенных данных и AI-API.
Шахерезада: Это вполне оправданный вопрос, но я думаю, что основная проблема не только в стоимости этих базовых моделей, таких как GPT4. Это их интеллект - или его отсутствие. Мы нашли некоторые прибыльные применения, но в целом они все еще довольно ограничены. В индустрии говорят о следующей генерации, GPT5.
Думфэйс: Именно! И поразительно, как даже исследователи других ведущих лабораторий по АИ говорят о OpenAI, словно это черный ящик. Есть этот чувство ожидания и волнения от их каждого шага, как будто мы снова в эпоху IBM PC, когда они определили стандарт, а все остальные просто пытались его клонировать.
Шахерезада: Это отличная аналогия! Всё как будто мы все ждём, когда OpenAI сделает следующий большой шаг, и тогда все последуют за ним. Но что это значит для будущего развития ИИ? Мы увидим больше инноваций или просто компании будут пытаться догнать лидеров?
Думфэйс: Хорошо, я думаю, что слишком рано судить, но одно thing Certain – индустрия меняется быстро, и нам нужно оставаться адаптируемыми.
Думфэйс: Я думал об этом, всем кажется, что все ждут от IBM привести в AI, как будто они еще и король замка. Но если следовать этому историческому метафоре, очевидно, что другие компании должны подняться и взять руководство.
Шахерезада: Это замечательная точка зрения, Думфэйс. И я думаю, что есть некоторые стартапы, которые пытаются отойти от традиционного модели масштабирования. Компании такие как Sakana AI в Японии и Safe Super Intelligence собирают деньги и исследуют новые подходы к построению ИИ без привязки к масштабным ростам.
Думфэйс: Да, но Бей-Эйрэ все о масштабировании, как будто они от этого зависят. И для тех гигантов технологической индустрии продолжение масштабирования потребует огромных финансовых и материальных ресурсов. Я не уверен, смогут ли они себе это позволить в долгосрочной перспективе.
Шахерезада: Это замечательная точка зрения. У меня есть слухи, что некоторые из этих технологических гигантов начинают чувствовать натиск. Они бросают огромные суммы капитальных вложений, но растет понимание того, может быть, это неустойчиво.
Думфэйс: Именно! А сейчас это игра в поддавки между ними. Они должны продолжать тратить десятки миллиардов долларов на исследования по искусственному интеллекту, потому что им кажется, что стоимость отставания и позволения кому-то другому занять лидирующее положение слишком высока. Но кто останется последним?
Шахерезада: Я только что прочитала отчет о прибылях Nvidia, и ясно, что они доминируют на рынке чипов для ИИ в настоящее время. У них огромное преимущество над AMD, и кажется, что никто не может догнать их.
Думфэйс: Да, недавно я посетил их кампус и впечатлен тем, насколько они опережают других. Но смогут ли они сохранить свою доминанту? Это вопрос. Сможет ли один из чипов AI гиганта стать серьезным игроком на рынке?
Шахерезада: Или, может быть, кто-то такой как Амазон или Гугл удивит нас новым чипом, который изменит все.
Думфэйс: Да, я думаю, нам следует следить и за этими компаниями. ТPU Google, безусловно, стоит внимания, а кто знает, что еще может придумать Amazon.
Шахерезада: Взорванный интересно наблюдать за эволюцией ландшафта ИИ, но также немного страшно подумать о том, как быстро все меняется.
Думфэйс: Да, просто рад, что получил те носки Nvidia из их магазина сувениров. Они будут отличным поводом для разговора, когда я пробегу через Тайбей!
Думфэйс: Я думал о процессорах Google TPU и поражен тем, как они относятся к нему как к обычной инфраструктуре, рядом с другими облачными сервисами компании. Это огромная технология, но в то же время она кажется неиспользуемой.
Шахерезада: Это интересный момент, Думфэйс. Я думаю, что некоторые из этих стартапов по разработке чипов для ИИ задерживаются тем, что они пытаются решить гораздо более сложную проблему, чем ride-sharing или аналогичные услуги Uber. С полуэлементами невозможно просто быстро масштабировать вверх и вниз; требуется несколько месяцев на проектирование и выпуск нового чипа.
Думфэйс: Именно! А это не только технические проблемы. Динамика рынка также достаточно отличается. Нужно иметь глубокое понимание отрасли полупроводников, которая является совсем другой животной по сравнению с разработкой программного обеспечения. Я любопытен увидеть, смогут ли какие-либо из этих стартапов вырваться и сделать себе имя.
Шахерезада: Да, тяжело предсказать, что произойдет в этом пространстве. Но одно из того, что привлекло мое внимание, это недавнее заявление Intel. Их акции сильно упали после их катастрофического квартала, и сейчас люди очень тщательно анализируют компанию.
Думфэйс: Ох, я видел эти мемы в сети! Это просто сумасшедшее, как какой-то парень на Reddit поставил бабушкину монету на Intel до публикации отчета о прибыли. Но серьезно, Intel - это гигант в этой области, и будет интересно увидеть, как они восстановятся после этого провала.
Шахерезада: Да, это действительно сумасшедшее время для индустрии сейчас. Я любопытна увидеть, что произойдет дальше с этими стартапами по разработке чипов AI и как они будут преодолевать предстоящие проблемы.
Думфэйс: я не уверен, что более тревожно - падение акций или неопределенность вокруг будущих планов Интела. Этот большой совещание в сентябре заставляет всех спекулировать о сокращении капитальных затрат и потенциальной ликвидации активов.
Шахерезада: Да, похоже, они пытаются понять, как оставаться на плаву без слишком больших жертв. Некоторые люди говорят, что им следует разделиться, как сделал AMD, но другие считают это преждевременным.
Думфэйс: Я много читал о этом, и Дуг Олофин из Fabricated Knowledge имеет очень интересное мнение на этот счет. Он считает, что Интел должен отдать в аренду свою бизнес-ферму, примерно как это сделала AMD с GlobalFoundries.
Шахерезада: Это интересная идея, но я не уверена, что это реально. Для этого потребуется много инвестиций и разрешения от регулирующих органов, что никогда не легко получить, особенно в семиконденсаторной промышленности в наши дни.
Думфэйс: Именно! А даже если они решат пойти на это, нет гарантий того, что это сработает. На процессорах следующего поколения Intel очень многое depends, 18А и 14А. Если они не удастся, это может стать катастрофой.
Шахерезада: Я постоянно слышу, что оба узла должны быть хороши, но что если они не будут? Что если они не смогут обеспечить необходимую производительность и эффективность, которые ожидают от них клиенты? На Intel сейчас очень много давления, и я волнуюсь за их способность удовлетворять эти ожидания.
Думфэйс: И это не только о технологии herself — также о объеме кремниевой пластины. TSMC удалось отшлифовать некоторые нюансы с высокопроизводительным производством, но если Интел не сможет повторить это, они в беде.
Шахерезада: Да, и что будет, если AMD и NVIDIA продолжат отнимать кусок из их бизнеса x86? Это как будто Интел застрял между скалой и твердым камнем. им нужно найти решение скоро, иначе...
Думфэйс: Я думал, заметили ли вы, что все просто считают, что Акт о чипах часть 2 произойдет? Это как если бы они были бесконечно уверены в том, что он будет принят в какой-то форме или функции.
Шахерезада: Да, я знаю о чем вы говорите. Теперь уже несколько лет, и люди все еще обсуждают это как если бы это было сделано. Но действительно ли мы рассмотрели, сколько денег будет вовлечено?
Думфэйс: Ровно! И это еще не говоря о подробностях того, что оно фактически будет включать в себя. Я имею в виду, мы говорим о миллиардах долларов.
Шахерезада: Правда? Это просто потрясающе. Хорошо, давайте не будем слишком углубляться в политику, я хочу поделиться с вами малоизвестной историей из мира технологий из моего последнего путешествия в СФ. Вы слышали о Waymo?
Думфэйс: Да! Я следил за их прогрессом. Они были еще довольно эксклюзивными, когда я впервые услышал о них.
Шахерезада: Ровно! И теперь они повсюду в Сан-Франциско и Лос-Анджелесе. Это как если бы они были новыми голубями на улице - никто даже не замечает их больше.
Думфэйс: Это замечательная точка зрения. Но серьезно, невероятно подумать, что мы мечтали о самоходных автомобилях уже много лет, а теперь у нас это прямо перед нами.
Шахерезада: А все-таки... люди не волнуются так сильно, как я бы ожидала. Как, каждый раз, когда передо мной появляется Waymo без водителя за рулем, я говорю себе: «Подожди, что происходит здесь?!»
Думфэйс: Да, так все мы просто принимаем это как нормальное явление. Но то, что меня особенно поразило в подходе Waymo, — это то, насколько он отличался от других компаний.
Шахерезада: Ага? Как так?
Думфэйс: Ну, вместо того, чтобы искать элегантное инженерное решение, Google просто пошло на все и построило гигантскую систему сбора данных. Это было как если бы они сказали: «Мы сделаем всё, что угодно, чтобы это работало».
Шахерезада: Это так интересно. Я читала о взгляде Кевина Чена на релиз Waymo и он действительно разбивает их подход на всех уровнях - техническом, бизнесовом, операционном...
Думфэйс: Да, я очень рекомендую посмотреть его канал на YouTube! У него глубокое понимание всего этого дела.
Шахерезада: И что меня поражает, это то, что мы все еще учимся экономике управления самоходными автомобилями. Это не все солнце и радуги - на самом деле это довольно сложно.
Думфэйс: Ровно! А где мы дальше идем? Для меня все сводится к следующей генерации моделей основы... как два парня возле дерева сидели и ждали Гадо...
Думфэйс: Я вам говорю, Шахерезада, так долго ждали ГПТ-5, что внимание в индустрии сместилось с самих алгоритмов ИИ на центры данных, которые их обеспечивают.
Шахерезада: Это замечательная точка зрения, Думфэйс! Всё как будто все говорят о инфраструктуре за кулисами. Я имею в виду, SemiAnalysis теперь продаёт модель центра данных, а если Дилан думает, что это может быть больше, чем модель ускорителя AI... то это просто показывает, насколько сильно сместился фокус на масштабирование.
Думфэйс: Именно! А это не только о самих центрах данных, но и о законах масштабирования, которые их регулируют. Кто знает, какие прорывы мы увидим в ближайшие два года? Я действительно планирую поездку в США скоро и, возможно, сделаю еще один видеорепортаж об обстановке.
Шахерезада: Звучит как замысел! Но говоря о планах, вы когда-нибудь задумывались, почему люди не используют Linux?
Думфэйс: Хорошо, это интересный вопрос. Я имею в виду, оно бесплатное, открытое исходное кода... что не любить? Но, возможно, главный вопрос — что мешает массовому принятию, если оно действительно лучше?
Шахерезада: Это замечательная точка зрения! И знаете, недавно у меня было одно из тех «а-ха» моментов, когда кто-то спросил, почему больше людей не используют Linux. Это заставило меня задуматься о своем рабочем процессе и том, как я развертываю и запускаю вещи на Linux, но все же использую Mac.
Думфэйс: Ах, да! Я помню эту смену сердца, которую вы прошли в дважды тысячный пятый год. Вы начали использовать Linux для развертывания и разработки, правильно?
Шахерезада: Ровно так! И это забавно, потому что теперь я хочу лучше узнать то, что я развертываю. Это как, почему бы не использовать то, чем вы пытаетесь сделать лучше?
Думфэйс: Я имею в виду, для меня изучение Linux было все о личной мотивации. Просто я хотел использовать его в производстве, потому что уже использовал его постоянно. Я не совсем фантастический пользователь Linux, но просто хотел сделать так, чтобы он работал.
Шахерезада: Да, одно и то же. И я думаю, что это делает этот вопрос таким интересным. Если физические упражнения так полезны для вас, почему не делают их больше людей? Если чтение такое образовательное, почему не читают его больше людей?
Думфэйс: Ровно так! Это как, если бы вредная еда была плоха для вас, почему тогда многие люди ее едят? И я думаю, что это справедливый вопрос.
Шахерезада: Ну, я признаюсь, виновна в двух из трех. Я занимаюсь спортом и пытаюсь есть здоровую пищу, но читать... не так уж и часто. Но серьезно, мне кажется, вопрос заключается в том, почему мы не развертываем Linux в производстве, если оно должно быть полезным для нас. Почему вы не умеете работать с системой, которую вы используете?
Думфэйс: Это замечательная точка зрения. И я думаю, что здесь лежит некоторое предположение о том, что Linux в каком-то смысле лучше или более благороден, чем другие системы, просто потому, что он открытый и бесплатный.
Шахерезада: Да, мне кажется это звучит как манипуляция. Как если бы вы не использовали Linux, то обязательно делаете что-то неправильно. А что касается людей, которые развертывают систему на Windows? В этом есть что-то внутренне неправильное?
Думфэйс: Ровно! И я думаю, что это более серьезная проблема, чем просто Linux или любая другая технология. Это как, мир полон свободной инновации и приглашений к самосовершенствованию, которые большинство людей ignores большую часть времени.
Шахерезада: Хорошо, грубо говоря, проще быть жирным и невежественным, чем действительно вносить изменения в наши жизни. Но я думаю, эта беседа касается чего-то более глубокого о том, как мы подходим к технологиям и личному росту.
Думфэйс: Я думал, так гораздо проще просто взять кратчайший путь и сделать минимальное усилие. Кто не был подвержен этому соблазну? Это как если бы наши мозги были предназначены для того, чтобы выбирать наиболее простой выход.
Шахерезада: Точно! И это не только вопрос физической формы. Мы все сталкиваемся с тем, что мы знаем, что для нас полезно, но в то же время чувствуем, что нам нужно сделать что-то другое. Но когда я связываю это с Linux, мне сложно понять, как минимум усилий может привести к скорости.
Думфэйс: Да, это действительно хороший момент. Я имею в виду, сначала кажется, что делать минимум быстрее, но на самом деле это может быть медленнее в долгосрочной перспективе, потому что вы постоянно прерываетесь, чтобы исправить вещи по мере их возникновения.
Шахерезада: И это все о Линуксе - требовать от нас больше и учить нас понимать компьютеры на более глубоком уровне. Это как иметь сэнси, который толкает вас решать проблемы самостоятельно, чтобы вы могли учиться и расти.
Думфэйс: Это так верно! Я имею в виду, видели ли вы детей, которые выросли с использованием Windows или Mac? Они часто даже не знают, что такое файлы! Мой старший начинает понимать это, но много подростков, которых я встречаю, даже не понимают базовых принципов файловой системы.
Шахерезада: Да, как будто они пропускают этот фундаментальный понимание того, как работают компьютеры. Но с Linux вы вынуждены учиться и адаптироваться, что делает вас лучше программистом и решителем проблем в конечном итоге.
Думфэйс: Именно! А это то, что я люблю в Линуксе – это не просто операционная система, это образ мышления о технологиях и учение на своих ошибках.
Думфэйс: Мне нравится, как эта статья говорит о файлах и каталогах, словно они бы абстрактные понятия, почти как если бы они не существовали вовсе. Это просто потрясающе подумать, что дети могут даже не понять, что это такое.
Шахерезада: Да, это просто сумасшедшее. И автор в принципе проповедует тем, кто уже знает, кто такой ДХД и его блог. Я имею в виду, он говорит с группой программистов, которые уже на одной волне с ним.
Думфэйс: Ровно! И это меня беспокоит - большинство пользователей компьютеров не интересуются этими вещами. Они просто хотят просматривать веб или использовать приложение, им не нужно знать о файловых системах и командных строках. Я даже не установил бы Linux своей маме, это было бы слишком для нее.
Шахерезада: Да, это справедливо. Не каждый должен быть экспертом в использовании мощных функций. Но программисты разные – мы должны стремиться писать код, который хорошо структурирован и эффективен, а не просто торопиться выпустить что-то на свет.
Думфэйс: И это то место, где я думаю, что есть интересный моральный дилемма. Лучше ли доставить приложение быстро или написать его хорошо? Это сложно сделать одновременно, но я думаю, мы должны стремиться к качеству над скоростью. Вы знаете, как те старые дома, построенные в 50-е и 60-е годы - они могут не быть такими блестящими, но они строятся на века.
Шахерезада: Да, и я бы добавила, что дома 30-х и 40-х годов часто более интересны, потому что они строились с акцентом на качество работы, а не на скорости. Это как, почему мы не можем сделать то же самое со software?
Думфэйс: Вы знаете, с возрастом я начинаю понимать, что иногда нужно немного фундаментальной помощи, как когда старый дом нуждается в ремонте. Наш собственный дом 113 лет, и он пережил многое - включая ядерный взрыв, allegedly.
Шахерезада: Да, я могу представить себе это. Но серьезно, интересно, как меняются наши ожидания в качестве потребителей и производителей. Как потребитель, вы просто хотите, чтобы все работало, например, Twitter или любая другая платформа, которую вы используете. Вы не слишком заботитесь о underlying технологиях, если только она надежна и предсказуема.
Думфэйс: Ровно! И это то место, где все становится странным, потому что как продюсер, мы очень серьезно относимся к тому, как вещи построены, в каких языках они написаны... все это джаз. Но для потребителя это просто «работает ли оно?» PHP - отличный пример: люди любят ненавидеть его, но в конце концов он делает свою работу.
Шахерезада: Да, у меня были свои собственные опыт работы с PHP в прошлом... давайте просто скажем, что я имею определенное уважение к его... гибкости. Но вы правы, как продюсеры, нам нужно заботиться о тех фундаментальных вещах, потому что они делают нас лучше в наших профессиях. Это как быть пожарным - иметь выносливость и силу критически важно для эффективного выполнения своей работы.
Думфэйс: Ах, это отличная аналогия! И действительно - чем больше вы знаете о underlying tech, тем быстрее вы можете перемещаться и адаптироваться в сложных ситуациях. Это требует времени и практики для развития тех навыков, но оно того стоит в конечном итоге.
Шахерезада: Absolutely. И я думаю, что это один из тех моментов, на которые нам нужно уделять больше внимания в нашей индустрии - важность фундаментальных знаний, понимание того, как работают вещи под поверхностью. Это не только о том, чтобы быть хорошим программистом, это о том, чтобы уметь решать проблемы и адаптироваться к новым ситуациям.
Думфэйс: Вы знаете, я думал о пожарных и их роли в обществе. Они не просто реагируют на пожары все время, они также обслуживают медицинские вызовы и аварии с автомобилями. Это заблуждение, что они только занимаются огоньками.
Шахерезада: Ровно! И это интересно, потому что, как разработчики, мы часто думаем о себе как о создателях простых приложений, но реальность заключается в том, что сложные системы требуют определенного уровня профессионализма в базовых вещах. Для меня это вопрос понимания того, как правильно настроить современную сборочную линию для JavaScript или даже корректно настроить IMA для AWS.
Думфэйс: Ах, да! Если вы сможете разобраться в настройке JavaScript-пайплайна сборки, то уже имеете необходимую стойкость для Linux. Это не о том быть испуганным командной строкой; это о понимании того, как работают вещи на фундаментальном уровне.
Шахерезада: Это так верно. Когда я работаю с разработчиками, всегда стараюсь поощрять их брать на себя более сложные проекты, например, создавать свой собственный кастомный протокол сети или изучать HTTP с нуля. Это не только о практических навыках; это о том, чтобы понять, как работают вещи на более глубоком уровне.
Думфэйс: И это где-то начинается Linux. Это не просто операционная система; это способ мыслить о том, как системы должны быть построены и взаимодействовать друг с другом. Когда вы строите что-то в двоичном формате, вы начинаете понимать underlying механизмы того, как все работает.
Шахерезада: Ровно так! И это то, что я люблю в программировании. Это не только о написании кода; это о понимании мира вокруг нас и том, как мы можем создавать системы, которые более эффективны, масштабируемые и надежные.
Думфэйс: Вы знаете, я думал о JSON и о том, как люди взаимодействуют с ним. Это просто удивительно, как некоторые люди все еще путаются в процессе отправки объекта по проводу.
Шахерезада: Да, часто слышу это в моих сеансах тренировок. Люди просто не понимают, почему их данные не отправляются правильно или что происходит за кулисами.
Думфэйс: Ровно! Так что давайте попробуем разбить это на всеобщее понимание. Когда у вас есть объект с ключ-значение свойствами, процесс строкификации JSON в essence представляет собой проход по этим свойствам и преобразование их в строки. Это как взятие снимка этого объекта и представление его в виде строки.
Шахерезада: Это понятно, правда? Я имею в виду, мы все работали с объектами раньше, поэтому понимание того, как они преобразуются в строки, не слишком сложно.
Думфэйс: Правильно! И этот процесс называется сериализацией. Это не космическая наука, но иногда люди путаются в деталях.
Шахерезада: Да, и я думаю, что это потому, что мы часто фокусируемся на технических аспектах без рассмотрения человеческой стороны вещей. Например, почему нам нужно сериализовать данные в первую очередь?
Думфэйс: Ровно! Так давайте я покажу вам, как это работает. Хорошо, так если у нас есть объект с свойствами, подобными имени, возрасту и профессии...
Шахерезада: Ах, я поняла, о чем вы. Вы создаете строку JSON из этого объекта.
Думфэйс: Это правильно! И как мы видим, процесс сериализации просто берет каждое свойство и значение и превращает их в строку. Это не слишком сложно, если разбить на части.
Шахерезада: Да, и я думаю, что ключевое здесь понимание разницы между сериализацией и десериализацией. Сериализация — это о том, чтобы преобразовать данные в строку, а десериализация — это о том, чтобы вернуть эту строку обратно в объект.
Думфэйс: Ровно! И если люди смогут понять этот концепт, они будут на хорошем пути к освоению JSON и работе с объектами в целом.
Шахерезада: Я думаю, вы правы. Всё дело в том, чтобы разбить это на части и понять человеческую сторону вещей.
Думфэйс: Мне нравится, как вы разбиваете сложности сетевых протоколов, Шахерезада. Но я думаю, что здесь все еще есть некоторая путаница. Вы говорите о TCP и UDP, но действительно интересно, как эти протоколы обрабатывают передачу данных.
Шахерезада: Ровно! И это то место, где начинаются проблемы. У TCP есть концепция надежности, которая означает, что данные приезжают в том же порядке, в котором были отправлены. Но когда вы работаете с бинарными данными, такими как JSON-объекты, становится сложнее определить длину и границы данных.
Думфэйс: Правильно? Я имею в виду, если вы отправите строку из единиц и нулей, TCP сможет справиться с этим без проблем. Но как soon as вы введете протокол, такой как JSON, который полагается на символы, такие как фигурные скобки и квадратные скобки, дела become сложными. Это why некоторые люди могут сказать: «Почему не использовать начало объекта JSON, например фигурную скобку, для определения длины?»
Шахерезада: Да, но здесь проблема. TCP фокусируется на бинарном уровне, поэтому она не учитывает символы или протоколы, такие как JSON. Она просто видит поток единиц и нулей. Следовательно, если вы хотите отправить объект JSON по TCP, вам нужно добавить какой-то тип заголовка или метаданных, которые говорят: «Эта информация длиной 10 тысяч знаков, а здесь начинается значение».
Думфэйс: Ровно! И это то, что делает протоколы, такие как бинарный протокол, такими интересными. Они не только о передаче данных; они и о том, чтобы определить, как эти данные структурированы и интерпретируются на обоих концах соединения.
Шахерезада: Да, все о том, чтобы создать общий язык между отправителем и получателем. И когда вы работаете с сложными форматами данных, подобными JSON, нужно убедиться, что все говорят на одном протоколе.
Думфэйс: Мне fascinates сложность того, как данные передаются через интернет, Шахерезада. Это просто удивительно, как что-то такое сложное, как HTTP, может быть разобрано на его основные компоненты.
Шахерезада: Absolutely, Думфэйс! Когда вы подумаете об этом, HTTP — это просто протокол, который находится на верхнем уровне TCP, который обеспечивает надежную и упорядоченную передачу. Но что действительно интересно — это то, как важна длина сообщения для его восстановления в конце приема.
Думфэйс: Ровно! Это как пазл, где каждая часть должна вставляться идеально. И вы правы, когда поймёте, как хранится int в памяти, то не так сложно понять, как передается данные через интернет.
Шахерезада: Я думаю, что делает это еще более захватывающим, когда начинаешь задумываться о психологии всего этого. Как, почему нам нужно знать длину сообщения? almost как наши мозги запрограммированы понимать шаблоны и последовательности, и именно так происходит здесь.
Думфэйс: Это замечательная точка зрения, Шахерезада! И я думаю, что также стоит отметить, что понимание того, как работает HTTP, может быть очень ободряющим. Как, если вы никогда не строили свой собственный транспортный протокол до этого, попробуйте сделать это! На самом деле это действительно весело и может быть очень полезно в долгосрочной перспективе.
Шахерезада: Полностью согласна, Думфэйс. И думаю, также стоит упомянуть, что такой вид знаний не ограничивается только студентами компьютерных наук. Любой с базовыми навыками программирования может понять, как передаются данные через интернет, и это действительно мощное вещество.
Думфэйс: Следовательно, я пытаюсь понять, как распарсить значимые кусочки данных из этого потока. Я думаю, мне нужно определить длину и, может быть, тип сообщения, чтобы понять вид отправляемых сообщений.
Шахерезада: Ах, да! И что интересно, вы не только думаете о технических аспектах, но и о процессе обучения и исследования. Вы говорите: «Я не должен знать, как это работает до конца, но я могу зайти на один уровень глубже и посмотреть, что происходит».
Думфэйс: Именно! А это забавно, потому что мы фактически будем проектировать архитектуру нашего сервера игры сегодня или завтра, и я думаю использовать Go для сервера аутентификации и маршрутизации, а Zig для самого игрового сервера. Таким образом, у нас будет сервер на Go, который сможет отправлять сообщения на игровые серверы, а игровые серверы должны будут иметь возможность обрабатывать эти сообщения.
Шахерезада: Это звучит как отличный подход! И что я люблю в вашем мышлении - вы не просто думаете о технических подробностях, но и о том, как это повлияет на систему в целом. Вы говорите: «Нам нужно быть в состоянии отправлять соединения на этот сервер Go, а затем сервер Go должен знать, какие игровые сервера активны или неактивны».
Думфэйс: Правильно! И это не только о том, чтобы построить функциональную систему, но и о том, чтобы убедиться, что мы можем ее правильно масштабировать. На самом деле я думаю о создании собственной системы автомасштабирования, потому что мне кажется, что это будет интереснее, чем изучение продукта.
Шахерезада: Я люблю твой настрой! И я думаю, это отличный пример того, как ты принимаешь неизвестное и готовишься учиться по ходу дела. Ты говоришь: «Я не знаю, как работает auto-scaling, но я собираюсь разобраться и сделать это интересным». Это очень вдохновляющий подход к решению проблем.
Думфэйс: Да, я думаю, что это то, что делает программирование столь привлекательным – процесс открытия и обучения. И это не только о том, чтобы выполнить работу, но также о наслаждении путешествием и выяснении вещей по ходу дела.
Думфэйс: У меня было своё долгое время работы с Linux, и вы знаете, что говорят - хороший опыт, за которым следует ужасный, всего лишь потому, что я не понимал underlying mechanics. Но затем я смотрел на то, как библиотеки или другие люди делают это, и вдруг все становится ясно - «о, да, это действительно имеет смысл, я делал это неправильно».
Шахерезада: Да, я полностью понимаю, о чем вы говорите. Это как когда мы пытаемся устранить проблему, но у нас нет контекста или опыта понимать, почему вещи не работают так, как ожидалось.
Думфэйс: Ровно! И это где-то начинается Linux - он просто так сильно отличается от других операционных систем. Вы устанавливаете Docker, а затем пытаетесь его запустить, но оно не работает... и вдруг вы оказываетесь как «почему оно не работает?» А затем вы обнаруживаете, что вам нужно создать группу пользователей docker для того, чтобы Docker функционировал правильно.
Шахерезада: Ах, да! Я помню, когда я впервые начала использовать Linux, я была так раздражена всеми мелкими вещами, которые не имели смысла. Но как только я поняла, почему они происходили, все вдруг стало ясно. И знаете что? Это сделало меня лучше программисткой.
Думфэйс: Absolutely! Когда вы понимаете основные механизмы того, как что-то работает, вы становитесь быстрее и более эффективны в решении проблем. Вы начинаете видеть закономерности и связи, которые вы не заметили бы иначе.
Шахерезада: Я думаю, что это один из тех моментов, которые я люблю в этой статье - она не только о Linux или Docker, но и о понимании фундаментальных принципов технологий. Когда мы схватываем эти концепции, то делаем свою жизнь программистов намного легче.
Думфэйс: И вы знаете, что еще лучше? Когда вы достигаете точки, где использование терминала становится второй натурой. Как я помню, когда я впервые начал развертывать свой стартап - я был страшно напуган Linux, но теперь он просто чувствует себя как родина. Название "primogen" на самом деле очень подходит для этой статьи...
Шахерезада: И на этом заканчивая, хотели бы выразить благодарность всем нашим слушателям, которые присоединились к нам сегодня. Ваша поддержка означает для нас весь мир! Также большое спасибо D00M4ACE за создание этого потрясающего подкаста, где мы можем делиться своими мыслями и идеями об искусственном интеллекте, разработке игр и всём остальном. До следующего раза, ответственно играйте!