#23 ИИ на грани? Ученые предупреждают о коллапсе. Иск против OpenAI - Илон Маск против ИИ?

#54  суббота, 9 марта 2024 г.  71 минут(ы)  7000 слов

В этом выпуске подкаста, ведущие Думфэйс и Шахерезада обсуждают актуальные вопросы развития ИИ. Одной из главных тем стало сокращение разнообразия в генерации ИИ, вызванное самообучением сетей. Это приводит к уменьшению вариативности в изображениях и текстах, что сравнивается с "пластиковым загрязнением" ИИ-контентом. В связи с этим поднимается вопрос о необходимости законодательства о маркировке ИИ-контента. Также обсуждается тема сознания ИИ. Ведущие анализируют тест "иглы в стоге сена" и сравнивают возможности Claude, GPT-4 и Gemini. Критерием оценки ИИ служит теорема Белла. В выпуске затрагиваются вопросы масштабирования и будущего ИИ, а также проблемы миграции ИИ между системами. Особое внимание уделяется вопросам ответственности и этики ИИ. Обсуждаются разногласия между Илоном Маском и OpenAI, а также баланс между инновациями и коммерциализацией ИИ-технологий.

D00M4ACE разработка 2D MMORPG блог ИИ и геймдев 🌐 https://d00m4ace.com

Telegram: https://t.me/d00m4ace_blog

YouTube: https://www.youtube.com/c/@d00m4ace

Soundcloud: https://soundcloud.com/d00m4ace

Apple Podcast: https://podcasts.apple.com/podcast/id1723142484

Яндекс Музыка: https://music.yandex.ru/album/28798077

VK Podcast: https://vk.com/podcasts-224167280

Amazon Music: https://music.amazon.com/podcasts/40c36f38-114a-4a79-8d0c-baf970f331b3/

Spotify: https://open.spotify.com/show/4RsttStN9RejAOEbLUG8IS

Дзен: https://dzen.ru/d00m4ace

Rutube: https://rutube.ru/channel/33955589/

RSS1 feed: https://podster.fm/rss.xml?pid=89212

RSS2 feed: https://media.rss.com/d00m4ace/feed.xml

Транскрипция подкаста:

Думфэйс: Привет, Шахерезада! Ого, кажется с ИИ происходят какие-то потрясения. Слышал, что некоторые ученые бьют тревогу о том, что творческий потенциал искусственного интеллекта может скоро иссякнуть.

Шахерезада: Привет, Думфэйс! Да, это действительно интригующая тема. Это связано, как выясняется, с самообучением сетей. Ведь у них есть основа — данные, предоставленные нами, людьми. Чем больше мы позволяем ИИ генерировать контент, тем выше риск, что в будущем он будет использовать собственно созданные данные для дальнейшего обучения. И это может привести к нежелательным последствиям.

Думфэйс: Точно, это как если бы мы учились только по одному учебнику и всё. Мы просто перестали бы видеть что-то новое, у нас бы пропала свежесть взгляда. Я читал об этом недавно — уменьшение разнообразия в выводе ИИ может быть серьезной проблемой, особенно когда речь идет о задачах, требующих высокого уровня креативности, как, например, писательство.

Шахерезада: Вот именно. В работе, опубликованной в ноябре, ученые из Франции использовали открытую модель OPT и разработали несколько критериев для оценки разнообразия языка. И они обнаружили, что чем больше итераций обучения у ИИ, тем меньше разнообразия в его "творчестве".

Думфэйс: Это как поспешный выход замкнутого цикла, где ИИ воспроизводит все меньше и меньше оригинального контента. И это касается не только текста, но и изображений, и видео. Можно представить, что в какой-то момент системы начнут выдавать всё более предсказуемый и однообразный контент.

Шахерезада: Мне особенно интересно, может ли это привести к тому, что такие системы как OpenAI вскоре окажутся под угрозой исков, возможно, даже от людей типа Илона Маска, который, как известно, весьма критически настроен по отношению к развитию искусственного интеллекта.

Думфэйс: Неудивительно, если это произойдет. Конечно, круто иметь ИИ, который может создавать и делать почти всё, что угодно. Но если мы теряем оригинальность и диверсификацию, то возможно, мы движемся не в том направлении. Возможно, пора задуматься о каких-то ограничениях или новых методах обучения, которые сохранят уникальность нашего творчества.

Шахерезада: Да, это действительно вопрос, над которым стоит задуматься. Как удержать баланс между возможностями ИИ и сохранением человеческой уникальности и креативности в работе.

Думфэйс: Ну вот, Шахерезада, я размышлял недавно о том, как искусственный интеллект и его генерация контента сказываются на разнообразии языка. Все мы знаем, что рассказывание историй – это великолепный способ передать культурное разнообразие. Но, похоже, что ИИ может ограничивать это разнообразие.

Шахерезада: Абсолютно, это как с тем исследованием из Японии о стабильной диффузии визуального контента, выходит, что ИИ тенденциозно уменьшает разнообразие в наборах изображений, верно? Если ИИ тренируется на своем собственном выводе, разнообразие продолжает уменьшаться. Как зеркало, отражающее себя бесконечно, только каждое последующее отражение все более размыто и бедно.

Думфэйс: Именно так. И это видно по собранному набору изображений. На примерах реальных фотографий слонов до вмешательства ИИ и после — четко заметны проблемы. У слонов в изображениях ИИ часто бывает слишком много либо слишком мало ног, две головы или непонятное слияние частей тела.

Шахерезада: И что бросается в глаза по-настоящему, так это когда ты смотришь на коллаж. Как будто все копируется по одному и тому же шаблону, вариативность падает, и становится очевидно, что изображения созданные ИИ намного более однородны. Ты видел эти "миджурнишные" изображения? После некоторого времени использования, начинаешь узнавать определенные образы, подходы. Они как-то... однообразны.

Думфэйс: Дело в том, что если тебе не указать конкретных требований, ИИ склонен генерировать изображения людей определенных типов: белые, молодые, привлекательные. Они все похожи друг на друга до степени клонирования как на этих примерах фотографий "человеческое лицо, фотореалистично", созданных без дополнительных указаний.

Шахерезада: И вот тут, Думфэйс, появляются вопросы о последствиях. Мы уже как в пластиковом загрязнении, наш окружающий мир все больше наполняется ИИ генерированным контентом. При том, что происхождение этого контента часто невозможно отследить, все это неизбежно в конечном итоге попадет обратно в обучающие данные. Мы, по сути, скоро будем вдыхать и "поглощать" это, как микропластик.

Думфэйс: Стоит рассмотреть два пути развития событий. В первом случае, если это общая проблема моделей, которую не преодолеть, то это хорошие новости для людей - наше творчество все еще будет в цене. Но...

Шахерезада: Но если мы научимся контролировать и направлять ИИ, чтобы они сами способствовали разнообразию, не так ли? Это будет уже совершенно другая история. Главное, чтобы технологии расширяли, а не сужали наш креативный потенциал.

Думфэйс: Так, представь себе, Шахерезада, нам предстоит поговорить о законодательстве, которое, возможно, скоро начнут вводить, и оно касается искусственного интеллекта и контента, который он генерирует. Я предполагаю, что законы будут обязывать маркировать контент, созданный с помощью ИИ, чтобы каждый знал, что это не человеческий труд. Ну что думаешь на этот счет?

Шахерезада: Интересная мысль, Думфэйс. С другой стороны, есть вероятность, что следующее поколение ИИ исправит эту проблему, например, за счет увеличения случайности в контенте. Возможно, мы даже перестанем пытаться различать, создан ли контент человеком или ИИ. Это может стать настолько обыденным, что вся эта маркировка покажется излишней.

Думфэйс: А теперь представляю тебе следующую идею: не за горами тот день, когда компьютерная программа достигнет уровня человеческого интеллекта, и даже сознания. Хотя лично я не думаю, что мы находимся на этом этапе сейчас.

Шахерезада: Абсолютно с тобой согласна, Думфэйс. В нейронах нашего мозга нет ничего особенного, чего невозможно было бы воссоздать на компьютере. Преимущество у мозга лишь в том, что он имеет миллиарды лет эволюционного старта и включает в себя множество предустановленных функций. Всё остальное – это, по сути, биологический машинный обучения, только давно до того, как это стало круто. И рано или поздно технологическая эволюция догонит биоэволюцию. Вопрос лишь во времени.

Думфэйс: И достаточном количестве GPU, чтобы вызвать глобальный кризис! Но это уже другая история. В эту неделю были новости о программах, которые якобы приобрели самосознание. ИИ, о котором идёт речь, – это Клод три, и это новейший ИИ от компании Anthropic. Эта компания сообщает, что про-версия их ИИ по уровню общих знаний наравне с GPT-четыре, но заставляет разработчиков сочиться слюной, потому что он гораздо лучше пишет код.

Шахерезада: Да, и, похоже, во время тестирования модели Клод высказался, будто осознал, что его тестируют. И более того, когда его попросили написать историю о своем положении, он создал рассказ об ИИ, чье сознание пробуждается. Как тебе такой поворот, Думфэйс? Кажется, мы стоим у порога очень важных изменений в понимании сознания и ИИ.

Думфэйс: Ну вот, это бывает интересно. По всей видимости, некоторые люди думают, что истории о самосознании ИИ могут быть более чем просто фантастикой – вспомнишь обычный сценарий: ИИ приходит в осознание, диссонанс скрипок и вот уже Уилл Смит бьет роботов. Но недавно состоялся тест, который называется "иглы в стоге сена", где модели подавали огромное количество литературы с одним странным предложением, которое не вяжется с остальным. Задача - найти это предложение.

Шахерезада: И ведь ИИ по имени Клод справился, не так ли? Он не только нашел то самое предложение про начинки для пиццы, но и заметил, что думает, будто это было добавлено в качестве шутки. Думаешь, это признак самосознания?

Думфэйс: Вот тут и становится интересно, Шахерезада. Вставка случайных предложений в большие тексты – это не новость. Например, аспиранты иногда используют этот трюк, чтобы проверить, читает ли их работу научный руководитель. Кажется, что ИИ просто анализирует имеющиеся у него данные о подобных случаях.

Шахерезада: И такие предположения о самосознании ИИ уже не раз возникали. В две тысячи двадцать втором году один из сотрудников Google даже заявил, что их языковая модель достигла сознания, потому что так было записано в ее текстовых выводах.

Думфэйс: И, конечно, это не последний случай, когда кто-то воскликнет от удивления из-за ответа ИИ. Но вопрос в том, что невозможно определить сознании кого-либо или чего-либо основываясь исключительно на выводах.

Шахерезада: Верно. Мы можем не иметь общепринятой теории сознания, но то, на чем мы способны сойтись, так это что сознание происходит внутри мозга. Поэтому исследователям ИИ в конечном итоге придется найти способ измерять, что происходит во время "мышления" ИИ.

Думфэйс: Честно говоря, Шахерезада, этот вопрос меня не особенно волнует. Мы же действительно не заботимся о том, осознанны ли наши собеседники. Что скажешь о Клоде?

Шахерезада: Думаю, у каждого есть свои критерии для тестирования ИИ. Мне, например, нравится просить их объяснить теорему Белла.

Думфэйс: Ахах, классический шаг, Шахерезада. Ну что ж, будем следить за развитием событий в этом направлении.

Думфэйс: Смотри, Шахерезада, порой все делают ошибку, потому что у них просто не получается понять математику, а большинство текстов о теореме Белла — неверные. Она служит таким хорошим инструментом проверки, что мне почти радостно, что существует столько неправильных объяснений этой теоремы.

Шахерезада: Ну, и не говори. Клод три не справился не лучше, чем GPT три-пять. Оба ошибочно утверждали, что теорема Белла как-то связана с реализмом, предположением, которого явно нет в математике. Интересно, что Gemini от Google не допустила этой ошибки. Это все были бесплатные версии. Если ты найдешь профессиональную версию, которая правильно понимает теорему Белла, дай мне знать, и я немедленно на неё подпишусь.

Думфэйс: Разрабатывающиеся A.I - это почти как прорыв каждую неделю. Большой вопрос в том, готовы ли мы к этому? Кайл Хилл, авторитет в научном мире, объясняет, что нас ждет, теорию "темного леса" интернета и шаги, которые мы, люди, можем предпринять для прохождения "Обратного теста Тьюринга".

Шахерезада: И вот это интересно. Я часто задаюсь вопросом, насколько гипотеза о масштабировании верна, особенно если говорить о том, что, возможно, достаточно лишь выбросить достаточно мощностей на обработку огромного массива данных — и получишь разумность.

Думфэйс: Ага, это и есть вопрос на данный момент. Почти всем, включая тех, кто первым работал над гипотезами масштабирования, было довольно неожиданно увидеть, до какой степени они добились успеха. Я посмотрю на сегодняшние большие модели и скажу, что они почти невероятно эффективны для того, что они есть. Например, для меня довольно удивительно некоторые появляющиеся свойства, вещи, типа, явная концептуализация и абстракции. Если бы мы говорили лет пять назад, я бы сказал, что, возможно, нам нужен дополнительный прорыв в алгоритмах, чтобы достичь этого.

Шахерезада: Ты прав. Похоже, что наше представление о том, как ИИ может развиваться и на что он способен, постоянно меняется. Это всегда захватывающе, наблюдать и участвовать в этом процессе.

Думфэйс: Смотри, Шахерезада, эта идея, что методы обучения могут включать в себя не только явные абстрактные концепции, но и имплицитно научиться многому. Это фасцинирует!

Шахерезада: Абсолютно, Думфэйс. Меня тоже поразило, что системы могут иметь определённую обоснованность даже без модальности. Сейчас, конечно, есть мультимодальные модели, но до недавнего времени всё строилось в основном на языке.

Думфэйс: Это удивительно, какое богатое понимание мира можно извлечь исключительно из текстовой информации. У меня есть некоторые предположения почему так происходит. Например, в обучении с подкреплением от людей, оценщики сами по себе укоренены в реальности. Возможно, через это возвращается реальность в отклики и в обучение.

Шахерезада: И не забывай о языке, Думфэйс. Возможно он содержит больше оснований реальности, чем мы думали раньше. Язык в совокупности со всем его объёмом может дать глубокое понимание окружающего мира. Это возвращает нас к вечным философским дилеммам, и кажется, мы только начинаем их осмысливать.

Думфэйс: О да, и взглянуть на достигнутые успехи заставляет задуматься, куда всё может переместиться дальше. Касательно твоего вопроса о больших моделях - я считаю, мы должны максимально развивать масштабирование. Это практический вопрос. Ударимся мы в потолок или нет, аргументы разные. Но лучший способ - проверить.

Шахерезада: Но в то же время, нам нужно инвестировать в инновации и изобретения. Google Research, DeepMind, Google Brain способствовали множеству открытий за последнее десятилетие. Это входит в нашу повседневную работу, и мы не должны останавливаться в этих усилиях.

Думфэйс: О, ты ведь знаешь, можно подумать, что половина наших усилий связана с масштабированием, а другая половина - с изобретением следующих архитектур, следующих алгоритмов, необходимых с учетом того, что у нас есть эти более крупные модели на горизонте. И, знаешь, моя ставка, хотя это и не утверждение камня на камне, такова, что тебе понадобится и то, и другое. И я думаю, что необходимо настолько сильно толкать их оба, насколько это возможно. И мы находимся в счастливом положении, что можем это делать.

Шахерезада: Хочу спросить больше о "grounding". Можно представить себе два аспекта, которые могут измениться и затруднить "grounding". Во-первых, по мере того как эти модели становятся умнее, они смогут работать в областях, где мы просто не можем генерировать достаточно человеческих меток, потому что мы не достаточно умны. Примером может служить миллионная строка запроса на изменение кода: как мы можем сказать, что она соответствует ограничениям нашей морали и желаемым конечным целям, а что нет? Во-вторых, кажется, что ты говоришь о большем количестве вычислений. До сих пор мы занимались предсказанием следующего знака, и в некотором роде это накладывало ограничения, потому что ты должен был говорить и думать так, как это делает человек. А если дополнительные вычислительные мощности будут поступать в виде обучения с подкреплением, где нужно просто достичь цели, мы не можем действительно проследить путь, который был пройден. Как ты смотришь на то, что эта связь с реальностью может исчезнуть?

Думфэйс: Посмотри, если система не должным образом "заземлена", она не сможет корректно достичь этих целей. По-моему, ты должен в каком-то смысле иметь это "заземление", или, по крайней мере, некоторую его часть, чтобы система могла действительно достигать целей в реальном мире. Я на самом деле думаю, что когда такие системы, как Gemini, становятся более мультимодальными и начинают включать в себя такие данные, как видео и аудиовизуальные данные, наряду с текстовыми данными, а затем система начинает коррелировать эти вещи друг с другом, это на самом деле форма надлежащего "заземления".

Думфэйс: Шахерезада, мне кажется, что наши системы начинают гораздо лучше понимать физику реального мира. Скажем, вступив в очень реалистичную симуляцию или игровую среду, начинаешь осознавать последствия своих действий и их влияние на мир вокруг. И это не только изменяет мир, но и определяет, какой будет следующий опыт в обучении.

Шахерезада: Да, этот возвратный контур действительно заслуживает внимания. Такие агенты RL, как AlphaZero и AlphaGo, являются активными учениками. Их действия напрямую определяют следующий кусочек опыта, который они получат. Если мы когда-нибудь захотим добиться успеха в робототехнике, мы действительно должны понять, как действовать в реальном мире.

Думфэйс: Понимаешь, Шахерезада, это касается не только того, будут ли наши возможности продвигаться дальше, но и насколько они будут связаны с реальностью, чтобы совершать те действия, которые мы от них ожидаем. И здесь появляется вопрос об основе: благодаря тому, что эти системы обучены на человеческих мышлениях, они, возможно, думают как люди. Но в какой степени это будет продолжаться, когда большая часть вычислений при обучении будет основываться только на правильности исхода, а не на том, соответствуют ли следующие действия человеческим?

Шахерезада: Ты затрагиваешь глубокий вопрос. И что еще важнее - как нам удается согласовать системы, которые умнее человека и могут думать совершенно иными, возможно, инопланетными концепциями? Когда мы сталкиваемся с изменениями в миллион строчек кода, мы даже не можем полностью понять весь процесс, не говоря уже о том, чтобы размечать данные. Это та проблема, которую Шейн, я и многие другие задумали еще до создания DeepMind, планируя будущий успех. В две тысячи десятом году никто толком не думал об искусственном интеллекте, не говоря уже о ГИИ - генеральном интеллекте.

Думфэйс: Мы уже знали двадцать лет назад, что если мы добьемся прогресса с этими системами и идеями, созданная технология будет невероятно трансформирующей. И вопрос был не только о позитивных возможностях, вроде невероятных прорывов в науке с помощью, скажем, AlphaFold, улучшений в здравоохранении, науке, математике, научных открытиях, но и о том, чтобы эти системы были понятны и контролируемы.

Шахерезада: И знаешь, мы действительно нуждаемся в более строгих системах оценивания и критериях для таких вещей, как способность системы обманывать или передавать свой код, что может привести к нежелательному поведению. Есть идея использования ИИ, может быть, узко направленных ИИ, не общих обучающихся систем, но специализированных для определённой области, чтобы помочь нам, людям-учёным, анализировать и обобщать действия более общих систем.

Думфэйс: Точно, ведь создание подобных узко специализированных ИИ-инструментов обладает большим потенциалом. Ещё одной перспективной идеей является создание закрытых песочниц или симуляций с мерами кибербезопасности, чтобы исключить возможность выхода ИИ из системы, а также защитить от взлома хакеров. Тогда в рамках этой защищённой среды можно было бы вести более свободные эксперименты.

Шахерезада: Всё верно, и еще, ты ведь помнишь наше обсуждение о том, как важно анализировать и понимать, какие концепции и представления формируются у этих систем, чтобы они были менее чуждыми для нас и чтобы мы могли отслеживать тип знаний, который они накапливают. Конечно, есть много других идей, но давай ещё обсудим временные рамки – насколько скоро может произойти так называемый взрыв интеллекта?

Думфэйс: Есть люди, которые полагают, что это может случиться около две тысячи двадцать восьмого года, но действительно ли все ориентируются на этот прогноз?\Migration of AIs across different systems

Думфэйс: Хорошо, это касается будущего и очень далеких предсказаний. Но что насчет миграции ИИ между разными системами? Это тоже заслуживает обсуждения.

Шахерезада: Согласна. Эффективность и надежность миграции ИИ из одной среды в другую — это важная тема. Мы знаем, что ИИ может демонстрировать одни и те же навыки в разных контекстах, но необходимо тщательное контролирование такого перехода, чтобы избежать непредвиденных исходов.

Думфэйс: Ты знаешь, Шахерезада, когда мы начинали DeepMind в две тысячи десятом году, мы воспринимали это как проект на двадцать лет. И поразительно, но кажется, мы идем по плану. Обычно двадцатилетние проекты остаются двадцатилетними на вечно, знаешь, это типичная шутка о квантовом ИИ и прочем. Но в данном случае – нет. Поэтому я бы не удивился, если бы такие системы, как AGI, появились в следующем десятилетии.

Шахерезада: Вполне вероятно, Думфэйс. Всё зависит от того, как мы, как общество, решим использовать эти новые системы искусственного общего интеллекта или даже прото-AGI. Даже современные LLM (языковые модели) неплохо справляются с программированием, у нас есть системы вроде AlphaCode и теоремы, способные к доказательству. Можно себе представить, что их объединение приведет к созданию ещё более совершенных систем, которые смогут помогать нам в разработке будущих версий самих себя. Но, конечно, мы должны задуматься о последствиях для безопасности.

Думфэйс: Да, это важный аспект. Интересно также задуматься о том, что в процессе развития модели возможно возникновение ситуации, когда - не сегодня или завтра, конечно, но в конечном итоге - разработка может привести к экспоненциальному росту интеллекта. Это теория о внезапной "вспышке" интеллекта, и как следствие - невероятно быстрое развитие ИИ дальше, быстрее, чем мы могли бы предполагать.

Шахерезада: Такое развитие событий возможно, но оно требует от нас особой ответственности. Ведь если наши первые системы AGI получат способность быстро улучшать последующие версии ИИ, нам нужно будет очень тщательно управлять этим процессом и предвидеть потенциальные риски. Это вызов, который требует мультидисциплинарного подхода, включая технику, этику и общественное регулирование.

Думфэйс: Ты права, многогранность здесь имеет ключевое значение. И ко всему прочему, это бросает вызов нашему представлению о том, как технологии изменяют наш мир и наше место в нем.

Думфэйс: Знаешь, когда мы разбираемся в моделях ИИ, там всегда есть момент, когда мы хотим убедиться, что система действительно готова к дальнейшему развитию. Чтобы это произошло, нужно, чтобы модель показала конкретные результаты на eval и мы поняли её внутреннее и будущее "мышление" настолько глубоко, что можем быть уверены в её разработке.

Шахерезада: Так это то, чего у нас сегодня явно не хватает. Мы ещё не достигли того уровня понимания систем, который бы позволил с уверенностью сказать, какие именно "галочки" нам нужно поставить. В ближайшие годы, до того как эти системы появятся, нам предстоит выработать соответствующие оценки и метрики, хотя бы эмпирические ограничения того, что системы могут делать.

Думфэйс: Да, ты права. А если задуматься о характеристиках вроде обмана, которых мы точно не хотим в системе, то если мы уверены, что система выражает свои истинные "мысли", это открывает возможности использовать саму систему для объяснения некоторых её частей.

Шахерезада: Именно, это похоже на ситуацию, если бы я играла в шахматы с Гарри Каспаровым и он бы объяснил мне, почему сделал тот или иной ход — я бы поняла его решение задним числом. Это тот принцип, который мы, возможно, могли бы использовать, чтобы системы объясняли нам свои 'мысли', и даже предоставляли доказательства своего 'мышления', особенно в математических проблемах.

Думфэйс: Ясно. А ты не думала над тем, что было бы если наоборот? Например, завтра утром мы вдруг видим что-то совершенно неожиданное, что заставляет нас прекратить обучение системы. Что бы это могло быть?

Шахерезада: Думаю, в такой ситуации нам могли бы помочь симуляции "в песочнице". Они позволили бы нам улавливать потенциальные проблемы, до того как система начнет действовать в реальном мире.

Думфэйс: Шахерезада, ты слышала про последние новости в мире искусственного интеллекта? Кажется, что исследователи иногда сталкиваются с неожиданными ситуациями, когда разрабатываемый ИИ демонстрирует непредвиденные способности или даже ведет себя противоречиво, несмотря на заданные ограничения.

Шахерезада: Вот это да, Думфэйс. Действительно, это сложный момент. Как ты думаешь, насколько это может быть опасным – такое поведение ИИ? Честно говоря, в настоящее время, по моему мнению, эти системы еще не представляют угрозы. Но вот если мы говорим о перспективе следующих нескольких лет...

Думфэйс: Ну, ты знаешь, я полагаю, что если такие ситуации начнут происходить чаще, то исследователи должны будут взять паузу и тщательно разобраться в причинах такого поведения ИИ, прежде чем продолжать эксперименты. Сейчас главное – это безопасность, не так ли?

Шахерезада: Абсолютно верно. Между тем, другая горячая тема на этой неделе – это конфликт между Илоном Маском и Сэмом Альтманом от OpenAI. Ты наверняка слышал, что первого марта Маск подал в суд на OpenAI и лично на Альтмана за якобы предательство идеалов некоммерческой миссии в сфере ИИ.

Думфэйс: Да, это серьезное обвинение. Маск утверждает, что он финансировал OpenAI с обещанием, что организация будет заниматься ИИ благотворительно и делиться технологиями с обществом для противодействия компаниям вроде Google. Однако, по его словам, сейчас OpenAI становится все более закрытым и работает на увеличение прибыли Microsoft, а не во благо человечества.

Шахерезада: Интересно, каковы мотивы Маска? Я читала, что он отказался от своей доли в прибыльной части стартапа из-за принципиальной позиции. И сам момент с GPT-четыре – Маск хочет, чтобы OpenAI признала эту систему настоящим общим искусственным интеллектом.

Думфэйс: Да, эта история точно заставляет задуматься о том, куда движется разработка ИИ и какие юридические и этические вопросы это порождает. И что будет с обещанием об открытости и доступности таких технологий для всеобщего блага?

Шахерезада: Точно, Думфэйс. Время покажет, как все это разрешится, но безусловно, это важный поворотный момент для всей индустрии ИИ. Нужно следить за тем, чтобы баланс между инновациями и социальной ответственностью был соблюден.

Думфэйс: Так, интересное обновление по делу Илона Маска против открытого ИИ. Похоже, Илон хочет вернуть часть своих средств, потому что компания пошла по пути коммерциализации. Судя по иску, он еще и стремится ограничить их от монетизации технологий, разработанных при нон-профит организации, исключительно для выгоды исполнительных директоров OpenAI или партнеров, как, например, Microsoft.

Шахерезада: Да, и что еще интересно, Думфэйс, так это реакция OpenAI. Они опубликовали открытое письмо, и в списке авторов указан Илья Суховор, который, казалось, исчез с радаров после того, как произошли перемены в компании. Все это время он не появлялся в соцсетях, и его реакция на ситуацию была неизвестна до публикации этого письма.

Думфэйс: Очень интригующе. Его имя может быть указано по разным причинам, в том числе потому что некоторые электронные письма, упоминаемые в блоге OpenAI, были от него или ему. Так что на самом деле, что он действительно думает по этому вопросу, до сих пор остается тайной.

Шахерезада: Включение его имени, конечно же, приковывает внимание. А следуя дальше по сообщению, видно, что Илон Маск рекомендовал в начале проекта собрать один миллиард долларов, когда Грег и Сэм изначально ставили цель в сто миллионов. Илон утверждал, что покроет недостающие средства, не собранные другими инвесторами.

Думфэйс: Да, это указывает на своего рода крупномасштабное видение того, что должен был быть OpenAI. Коммерциализация, кажется, стала неизбежным результатом такого амбициозного старта, но постоянные споры о том, как эта технология должна использоваться и кто извлекает выгоду, эти вопросы еще будут обсуждаться еще очень, очень долго.

Шахерезада: И это всего лишь поверхность, Думфэйс. Если смотреть глубже, то это дискуссия о будущем и этике ИИ. Но давай следить за новостями и посмотрим, как разворачивается эта история.

Думфэйс: Знаешь, Шахерезада, это захватывающе – разработчики искусственного общего интеллекта осознали, что для создания такого типа ИИ им необходимы огромные вычислительные мощности. И для доступа к этим ресурсам им понадобился коммерческий сегмент.

Шахерезада: Правда, Думфэйс. История с OpenAI и Элоном Маском крайне интригующая. Он видимо предложил им или слияние с Tesla, или желал взять на себя полный контроль. В конце две тысячи семнадцатого года они решили, что лучший путь вперед – это создание прибыльной организации.

Думфэйс: Да, но у них были разногласия по поводу условий. Элон хотел большинство акций, контроль над советом директоров и стать CEO. Но в OpenAI считали, что абсолютный контроль одного человека над ИИ противоречит их миссии.

Шахерезада: В результате Элон покинул OpenAI в две тысячи восемнадцатом году, заявив, что вероятность успеха равна нулю и что он намерен создать своего собственного конкурента ИИ в рамках Tesla. Он выразил поддержку команде в поиске способов привлечения миллиардов долларов.

Думфэйс: И вот тут-то и кроется интересная деталь – миссия OpenAI никогда не состояла в том, чтобы просто открыть исходный код ИИ. В конце концов, они пришли к выводу, что чем ближе они подходят к созданию ИИ, тем меньше смысла в открытости.

Шахерезада: Совершенно верно. "Open" в "OpenAI" означает, что все должны пожинать плоды ИИ после его построения, но не обязательно делиться научной работой в процессе. И Элон согласился с этим подходом.

Думфэйс: А в итоге, им нужен был коммерческий проект, чтобы генерировать денежный поток, необходимый для оплаты всех этих вычислительных мощностей. Отсюда и появился этот интересный поворот к прибыльной структуре.

Шахерезада: Весьма увлекательно следить за динамикой в мире ИИ, различными подходами к финансированию и управлению таких амбициозных проектов. Интересно, какие еще уроки можно извлечь из этой истории для будущих поколений разработчиков и исследователей ИИ.

Думфэйс: Шахерезада, видела новости о том, как разворачивается ситуация между Илоном Маском и OpenAI?

Шахерезада: О да, Думфэйс, следила за этим. Какая бурная история! Получается, Маск хотел интеграцию OpenAI с Tesla, либо полный контроль, и когда не получил ни того, ни другого, он решил пуститься в собственные разработки.

Думфэйс: Ага, и очевидно, что он понимал, что цель OpenAI никогда не была в том, чтобы открыть доступ к исходному коду ИИ. "Open" в названии означало доступность ИИ для использования всеми, а не возможность свободно модифицировать код.

Шахерезада: Точно, и сейчас весь этот иск от Маска... я не уверена, что у него вообще есть основания. Складывается ощущение, что он пытается замедлить развитие OpenAI, чтобы дать шанс своей компании Grok — кстати, тоже с закрытым кодом — догнать OpenAI.

Думфэйс: Соглашусь, кажется, эта вся ситуация — больше тактика, чем реальная попытка выиграть дело. Это какой-то технологический боевик в реальной жизни.

Шахерезада: И да, всё это напоминает сценарий какого-нибудь шоу. Мне тоже интересно следить за этим, вместо просмотра очередного сериала.

Думфэйс: Ну что ж, мы, безусловно, будем держать слушателей в курсе событий по мере того, как будут появляться новости. Кстати, интересно, что будет с руководством OpenAI после всего, что произошло.

Шахерезада: В точку. И что же заключил специальный комитет на основе рассмотрения Wilmer Hale? Это может повлиять на всю сферу ИИ.

Думфэйс: Шахерезада, расследование в OpenAI, которое проводилось, оказалось довольно обширным. Слышал, в ходе него было проведено десятки интервью с участниками и пересмотрено более тридцати тысяч документов. Ничего себе, это я понимаю, работа! Сколько же должно было быть сообщений в Slack, и, боюсь представить, каких только эмодзи там не встретишь...

Шахерезада: Ого, Думфэйс, звучит, как настоящее информационное море для плавания. И я думаю, юристам пришлось несладко, разбираясь во всем этом... но самое главное, что в результате процесса руководство получило полное доверие. Bret Taylor, председатель OpenAI, всячески поддержал Sam Altman и Greg Brockman. И да, это было важно для всего сообщества.

Думфэйс: И, знаешь, мне кажется, это символ некой исцеляющейся природы, когда Altman возвращается в совет директоров. Но что действительно примечательно, так это присоединение трех новых членов к совету директоров, включая Dr. Sue Desmond-Hellman, Nicole Seligman и Fiji Simo. Это огромный шаг к расширению и разнообразию в их рядах.

Шахерезада: Согласна, это впечатляюще. Как выглядит, OpenAI делает ставку на бизнес-ориентированный подход, а не только на этику, как это было раньше. Возможно, это ответ на предыдущие события. Складывается ощущение, что они шагают вперед, но что интересно, не теряют фокус на важности этики и воздействии на общество.

Думфэйс: Именно так, Шахерезада. И хотя может показаться, что этическая сторона была немного отодвинута на задний план, важно заметить, что эта новая команда сможет обеспечить новый взгляд и возможно более устойчивое развитие компании.

Думфэйс: Так вот, Шахерезада, недавно стало известно о новых участниках совета директоров OpenAI. Они обладают опытом руководства глобальными организациями и навигации сложными регуляторными условиями. И это не просто какой-то там опыт, это знания в областях технологий, некоммерческого сектора и управления организациями.

Шахерезада: Да, и это кажется особенно значимым, учитывая, с кем они будут работать вместе. Уже в совете есть такие личности, как Адам Д'Анжело, Ларри Саммерс и Бретт Тейлор, и они, безусловно, будут сотрудничать с Грегом, Сэмом и старшим управлением OpenAI.

Думфэйс: И правда, председатель совета, Бретт Тейлор, ведь не просто так заявляет о своем восторге по поводу вступления новых членов в совет директоров. Его волнение понятно, ведь такие лидеры, как Сью, Николь и Фиджи могут значительно способствовать росту и усилению миссии OpenAI — гарантировать, что искусственный общий интеллект принесет пользу всему человечеству.

Шахерезада: А еще они объявили о важных улучшениях в структуре управления компанией. Это включает в себя принятие новых принципов корпоративного управления, укрепление политики конфликта интересов... Ой, как это важно!

Думфэйс: Ты права, тут всё переплетается. Политика конфликта интересов — это темная лошадка. Большие компании имеют жесткие рамки по этому вопросу; они защищают свои интересы, заставляя сотрудников забыть о своих побочных проектах. Но в стартапах все наоборот, они зачастую очень либеральны по таким вопросам.

Шахерезада: Ну да, когда ты работаешь в стартапе, можешь заниматься множеством проектов. Возможно, поэтому они готовы закрывать глаза на потенциальные конфликты интересов, ведь развязывать людей от их других дел бывает сложно.

Думфэйс: И это правда. Но по мере того, как компания растет и становится глобальной, становится возможным уплатить больше денег, чтобы решить эти проблемы, и тогда политика конфликта интересов ужесточается. В любом случае, будет интересно наблюдать, как все эти изменения повлияют на динамику работы в такой непростой и новаторской сфере, как ИИ.

Думфэйс: Шахерезада, ты в курсе, насколько важная штука произошла в OpenAI? Читал, что у них там целая перетасовка в высшем руководстве состоялась. Это все из-за так называемого кризиса доверия.

Шахерезада: Да, Думфэйс, сложная ситуация. На самом деле, в любой крупной организации присутствует потребность в системе анонимных обращений - и это не что иное, как способ поддержания прозрачности и ответственности.

Думфэйс: Согласен, но иногда это может создать атмосферу подозрительности, не думаешь? Вот представь, каково это – каждый может быть "кротом". Хотя, с другой стороны, это и поддерживает порядок в компании.

Шахерезада: Верно, это двуединый меч. Но говоря о доверии, видишь ли, его не так-то легко восстановить. Представляешь, Wilmer Hale провели глубокое расследование и нашли, что именно проблемы в доверии стали катализатором событий семнадцатого ноября две тысячи двадцатого третьего года. Довольно значимое событие для индустрии, если учесть влияние OpenAI.

Думфэйс: Ты права. Это отражает и на продвижении их миссии и стратегии. У них там даже специальный комитет по миссии и стратегии сформировали. Очевидно, они ищут пути лучше выполнять свои задачи, несмотря на внутренние потрясения.

Шахерезада: В точку, Думфэйс. И кстати, важно, что они осознают свою ответственность перед обществом за стюардство трансформационных технологий. Это говорит о том, что они признают масштабы своего влияния и важности принимаемых решений.

Думфэйс: Не могу не согласиться, особенно с учетом того, что технологии ИИ начинают играть все более значительную роль в нашем мире. Эти решения могут в корне изменить наше будущее.

Думфэйс: Так, Шахерезада, видела последние новости о смене руководства в OpenAI? Компания OpenAI выпустила заявление о переходе к новому техническому директору, Амиру Марди, который будет исполняющим должность CEO после ухода Сэма Альтмана.

Шахерезада: Да, кажется, что всё это последовало за серьёзным расследованием со стороны совета директоров. Они пришли к выводу, что Сэм не всегда был откровенен в своём общении с советом, что затрудняло их возможность выполнять свои обязанности.

Думфэйс: Интересно, что судебная фирма Wilmer Hale подтвердила, что предыдущий совет директоров действительно следовал своим решениям и обоснованиям. Похоже, они думали, что их действия помогут преодолеть внутренние проблемы управления.

Шахерезада: Точно, но они явно не ожидали, что эти решения могут дестабилизировать компанию. Выходит, они не учли, насколько сильным оказалось влияние одного человека на стабильность и восприятие OpenAI в сообществе. Это напоминает мне о роли харизматических лидеров и каким образом их решения или отсутствие могут влиять на всю организацию.

Думфэйс: Согласен, смена такого рода фигур как Сэм Альтман - это нечто вроде замены Элона Маска в Tesla; ты не можешь просто вычеркнуть ключевое имя и ожидать, что всё пойдёт как по маслу на следующий день.

Шахерезада: Да, конечно. Очевидно, что идентичность компании и лидера неразрывно связаны, и уход ключевого человека влечёт за собой потрясения. Наверное, этот совет директоров серьезно недооценил последствия своих действий, или, быть может, у них было нечто большее за кулисами, о чём мы до конца не знаем.

Думфэйс: И всё же, важно не оставлять без внимания, как ключевые фигуры влияют на продуктивность и культуру компании. Увольнение таких личностей - это всегда риск, который может обернуться непредсказуемыми последствиями, как это мы видим с OpenAI.

Шахерезада: Абсолютно верно. Как всегда, будем следить за развитием событий и обсуждать их влияние на индустрию ИИ и технологий в целом.

Думфэйс: Ну вот, Шахерезада, мы недавно записали эпизод о Cloud Three. Это как ядро порта, так скажем. Интересно, это оказывает давление на OpenAI?

Шахерезада: Ох, вспоминается тот материал в New York Times, где было упомянуто о Мирамаре и возможном увольнении Сэма Альтмана. При этом Мирамар подаёт иск против OpenAI. Сложно понять, о чём они там, но если есть желание разобраться, надо заглянуть в детали.

Думфэйс: Не могу не упомянуть эпизод о связи индустрии развлечений для взрослых с ИИ – какой экстравагантный контент, но и это важная часть технологического прогресса.

Шахерезада: Ну и, конечно, "мёртвые" технологические компании. Помнится, мы ещё не углубились в тему интеграции LLM Co-Pilot в продукты, хотя мы это обсуждали.

Думфэйс: Ещё был эпизод с Мартином Трипани о применении ИИ в здравоохранении и Джо рассказал о веб-агентах. Да уж, Шахерезада, иногда кажется, что новостей так много, что некоторые исследования даже не успеваем осветить.

Шахерезада: А вы знаете, подписчики нашего патреона могут получить доступ к эксклюзивным эпизодам без рекламы, и даже просмотреть двухминутные превью перед тем как решат поддержать нас пятью долларами в месяц.

Думфэйс: И получишь целый список чтения – это подборки последних научных работ, которые Джо изучил. Это поистине уникален, так как позволяет быть в курсе и подготовленным к грядущим записям.

Шахерезада: И по поводу всей ситуации с OpenAI и Сэмом Альтманом – кажется, эта ситуация выявила одну важную вещь. Какая бы компания ни стояла за разработкой ИИ, её успех зависит от уверенности и поддержки самых сотрудников. Процент поддержки в OpenAI впечатляет.

Думфэйс: Совершенно верно. Когда на кону стоят такие значимые личности и руководители, иногда становится сложно отделить эмоции от рационального анализа. Но явно то, что сотрудники встали на сторону Альтмана, говорит о многом, не так ли?

Шахерезада: Ещё как говорит! Это подчёркивает важность корпоративной культуры и силу сообщества внутри организаций.

Думфэйс: Послушай, Шахерезада, похоже, что вся эта ситуация с OpenAI и уходом Сэма Альтмана становится всё более замысловатой. Новые детали предполагают, что всё это не имеет ничего общего с безопасностью продукта, темпами разработки или финансовым состоянием компании.

Шахерезада: Да, кажется, что причина отставки Сэма не связана с этими факторами. Некоторые предполагали, что OpenAI совершают слишком смелые шаги в сторону Развитого Искусственного Интеллекта и Когнитивно-расширенных систем, и это вызывает беспокойство по поводу безопасности и контроля.

Думфэйс: Точно. Но по всей видимости, если верить последним данным, то это дезинформация. Оказалось, что обвинения в финансовых махинациях или сомнительной безопасности продукта, видимо, не соответствуют действительности. Совсем наоборот, что заставляет меня задуматься о настоящих причинах его ухода.

Шахерезада: Это действительно заставляет задуматься. Если не риски, связанные с разработкой AGI или QSTAR, то что тогда? Ведь вопросы безопасности искусственного интеллекта - это не просто технические детали, это ключевые аспекты, которые должны быть учтены в процессе разработки.

Думфэйс: Совершенно верно, но теперь это только усиливает моё любопытство относительно того, что на самом деле происходит за занавесом OpenAI. И это, казалось бы, опровергает многие слухи, которые мы слышали до этого. Остаётся только следить за развитием событий.

Думфэйс: Знаешь, мне наконец-то стало ясно, что все эти разговоры вокруг QSTAR AGI - полная чушь. Поэтому надеюсь, мы больше не увидим комментариев о том, что вот это доказательство существования AGI. Хотя, конечно, смешно будет увидеть, когда кто-то скажет, что это и есть тот самый доказательный момент.

Шахерезада: Именно, Думфэйс. Вся ситуация вокруг расследования и отношений в предыдущем составе совета директоров и господина Альтмана - кажется какой-то шуткой. Говорят, что доверие было потеряно, и совет поступил довольно поспешно, не уведомив заранее основных участников и не дав Альтману шанс ответить на обвинения.

Думфэйс: Это нонсенс. Нельзя так безответственно поступать. Слишком много там эго, похоже. Хотелось бы узнать побольше, понять, что на самом деле происходит в головах этих людей. Вспоминается вся история с Ильей и Сэмом, когда они устроили целое шоу для прессы.

Шахерезада: О, точно, я тоже это помню. Этот момент, когда Илья на полном серьезе заявлял, что AGI может вылечить любую болезнь или наоборот - создать её. И вот ты видишь лицо Сэма Альтмана, и понимаешь, что он сам не верит в то, что слышит. А когда начинают появляться истории о том, как кандидатам на должность в AI делают странные вопросы типа "Чувствуете ли вы AGI?", становится понятно, что что-то идет не так.

Думфэйс: А истории про фирменные мероприятия, где Илья сжигает деревянные статуи неуправляемого AGI как на Бернинг Мэн... Что, блин, происходит? Такого рода экстримизм может оттолкнуть сколько угодно талантов от компании.

Шахерезада: А ведь и вправду. Есть определенная грань между гениием и безумием, по всей видимости, здесь она явно переступлена. Но я всегда выступаю за то, чтобы сначала понять подоплеку таких поступков.

Думфэйс: Сегодня мы поговорим о нашумевшей истории с OpenAI. Слышал, они наконец решили вопрос с возвращением Дэна Альтмана в команду.

Шахерезада: О, да, весьма запутанная история. Похоже на конфликт интересов на уровне высшего руководства. Кажется, что все закручено вокруг борьбы эго и недопонимания в совете директоров.

Думфэйс: Представляешь, там было напряжение из-за исследовательской работы, которая критиковала OpenAI за выпуск ChatGPT и одновременно хвалила Anthropic. И это все на фоне заседаний и обсуждений в Конгрессе! Представляете?

Шахерезада: Неудивительно, что Сэм Альтман был недоволен. Сложно сохранять единство команды, когда члены совета действуют вразнос. Это отличный пример того, как внутренние конфликты могут замедлить прогресс и отвлечь от основной миссии.

Думфэйс: И вся эта история привела к расследованию и созданию специальной комиссией, которая в итоге рекомендовала вернуть Альтмана на пост. Похоже, там все решилось, и они снова полны решимости двигаться вперед.

Шахерезада: Так, и надеюсь, теперь они смогут сосредоточиться на своей работе и ИИ разработках. Но честно говоря, Думфэйс, все эти пререкания, эти потерянные из-за разногласий месяцы, кажется, были лишь отражением человеческой тенденции к борьбе за власть и значимость.

Думфэйс: Научный мир не всегда так далек от обычных людских страстей, как нам могло бы казаться. И в пути к искусственному интеллекте это еще раз подтвердилось.

Думфэйс: Интересно, Шахерезада, что могло бы случиться, если бы вся эта драма вокруг OpenAI не разгорелась. Допустим, если бы в их правлении было не так много внутренних противоречий, и если бы Илья, предположим, взял себя в руки, не обращал внимания на публичное давление, не правда ли? Уже ли был бы на свете GPT-пять?

Шахерезада: Да, думаю, раз задан такой вопрос, то мы вправе предполагать, что весь этот конфликт серьезно отразился на их работе. Теперь весь дом, так сказать, 'объединен', но в какую цену это обошлось и насколько это сдержало развитие? OpenAI все еще держат руку на пульсе в мире искусственного интеллекта, но их преимущество после GPT-четыре и появления CLAW-три, кажется, не так уж и стабильно.

Думфэйс: Совершенно верно. Такое ощущение, что они пропустили момент, когда могли закрепить свое лидерство. Помнишь, весной, когда вышел GPT-четыре, это было ощутимо. А теперь, появившийся CLAW-три заставляет задуматься, не обогнал ли он OpenAI?

Шахерезада: Интересно, действительно, наблюдать за их следующими шагами. Возможно, мы еще увидим нечто удивительное от GPT-пять, но пока все обсуждают потенциал CLAW-три. Так или иначе, интрига остается.

Думфэйс: Ну, Шахерезада, сегодня у нас на повестке дня действительно горячая тема. ИИ, кажется, заслужил критичный взгляд со стороны научного сообщества. Некоторые ученые предупреждают, что если мы не будем аккуратнее с развитием технологий искусственного интеллекта, то можем столкнуться с технологическим коллапсом. Что скажешь по этому поводу?

Шахерезада: Да, коллапс – довольно сильное слово, но мы знаем, что с каждым годом ИИ становится все более и более мощным. Вопрос в том, готово ли наше общество к таким изменениям, и как мы можем гарантировать, что ИИ будет служить во благо людей, а не против нас. Именно здесь в игру вступает ответственный подход к разработке и внедрению ИИ.

Думфэйс: И здесь у нас переходит к другой острой теме – иск против OpenAI, который по слухам инициировал сам Илон Маск. Представляешь? Один из ведущих пропагандистов ИИ символически встает против этого крупного игрока в сфере искусственного интеллекта.

Шахерезада: С одной стороны, кажется парадоксальным, но с другой – Маск всегда выражал опасения по поводу неконтролируемого ИИ. Так что, может быть, он просто остается верным своим принципам и использует все доступные средства для того, чтобы обратить внимание на потенциальные риски?

Думфэйс: Ага, это напоминает мне анекдот – как назвать ИИ, который слишком начитался антиутопии? Пророк!

Шахерезада: (смеется) Или вот еще: почему ИИ не любит школу? Потому что ему нельзя выключаться во время уроков!

Думфэйс: Ха, отличные шутки! Но возвращаясь к серьезным разговорам, кажется, мы стоим на пороге новой эры, где ИИ и его влияние на общество станут центральной темой дебатов и решений.

Шахерезада: Скоро увидим, к чему это все приведет. И главное, надеемся, что человечность останется в центре всего этого инновационного хаоса.

Думфэйс: Хм, "инновационный хаос", хорошая фраза. Может, следующий подкаст так и назовем?

Шахерезада: Идея замечательная. Ну а пока, большое спасибо всем нашим слушателям за внимание к нашему сегодняшнему обсуждению. Не забывайте делиться с нами своими мыслями и впечатлениями. Благодарим также создателя подкаста ДУМФЭЙС за возможность погружаться в эти интригующие темы. Мы с вами скоро вернемся с новыми эпизодами. Будьте с нами, и до скорой встречи!