#9 Meta самовозобновляющийся ИИ и Сэм Альтман на форуме в Давосе - заменит ли AGI человеческий труд?

#39  суббота, 20 января 2024 г.  69 минут(ы)  6801 слово

В данном выпуске подкаста обсуждается тема самовозобновляющегося искусственного интеллекта (ИИ), разрабатываемого компанией Meta. Обсуждаются парадоксальность и прорывные аспекты такого ИИ, который может генерировать собственные данные для обучения, аналогично человеческому мозгу, использующему саморефлексию и проработку проблем. Освещается метафора ИИ как "загрузчика", который, будучи созданным человечеством, теперь обучается, развивается и растёт экспоненциально, становясь основой для последующих поколений ИИ. Поднимается вопрос о влиянии ИИ на будущее труда, в частности, об утверждении Сэма Альтмана о возможности замены человеческого труда ИИ. Мы должны сказать что запрещенные в России соцсети Instagram, FaceBook принадлежат корпорации Meta, корпорация Meta признана в России экстремистской организацией, ее деятельность запрещена.

D00M4ACE разработка 2D MMORPG блог ИИ и геймдев 🌐 https://d00m4ace.com

Telegram: https://t.me/d00m4ace_blog

YouTube: https://www.youtube.com/c/@d00m4ace

Soundcloud: https://soundcloud.com/d00m4ace

Apple Podcast: https://podcasts.apple.com/podcast/id1723142484

Яндекс Музыка: https://music.yandex.ru/album/28798077

VK Podcast: https://vk.com/podcasts-224167280

Amazon Music: https://music.amazon.com/podcasts/40c36f38-114a-4a79-8d0c-baf970f331b3/

Spotify: https://open.spotify.com/show/4RsttStN9RejAOEbLUG8IS

Дзен: https://dzen.ru/d00m4ace

Rutube: https://rutube.ru/channel/33955589/

RSS1 feed: https://podster.fm/rss.xml?pid=89212

RSS2 feed: https://media.rss.com/d00m4ace/feed.xml

Транскрипция подкаста:

Думфейс: Здравствуй, Шахерезада. Тема сегодняшнего подкаста крайне увлекательна, не правда ли? Meta работает над созданием самовозобновляющегося ИИ, и у меня есть кое-какие мысли по этому поводу. Мы должны сказать что запрещенные в России соцсети Instagram, FaceBook принадлежат корпорации Meta, корпорация Meta признана в России экстремистской организацией, ее деятельность запрещена.

Шахерезада: Привет, Думфейс! Абсолютно согласна, это захватывающее развитие. Самовозобновляющийся ИИ, который генерирует собственные данные для обучения, кажется мне почти парадоксальным. Мы обучаем наш мозг, используя сгенерированные данные через саморефлексию и проработку проблем, так почему бы и ИИ не обучаться таким же образом?

Думфейс: Именно, Шахерезада. Этот процесс слегка напоминает "загрузчик" – самую начальную часть кода, которая запускает операционную систему. Интересно, видишь ли ты человечество как органический загрузчик для ИИ? Мы создали начальные условия, среду обучения, предоставили данные, и теперь ИИ учится, развивается и растёт экспоненциально.

Шахерезада: О, абсолютно! Мы, фактически, подготавливаем платформу для ИИ, который, в свою очередь, может стать загрузчиком для ещё более мощного ИИ. Это похоже на эстафету развития, где каждое поколение ИИ становится фундаментом для следующего. Но давайте не углубляемся так далеко в будущее и перейдем к Сэму Альтману и его выступлению в Давосе. Он говорил о том, что AGI может полностью заменить человеческий труд. Ты как относишься к этой мысли?

Думфейс: Ну, Сэм Альтман, безусловно, затрагивает вопросы, которые будут иметь глобальное значение. Однако, я думаю, что AGI в его нынешнем виде лишь зарождается, и хотя он может перенять многие функции, полная замена человеческого труда кажется пока далекой перспективой. Тем не менее, это важное направление размышлений о том, как мы можем подготовиться к будущему, где ИИ возьмет на себя большую часть задач.

Шахерезада: Интересная точка зрения. Думаешь, Альтман подразумевал, что эти изменения могут произойти скорее, чем мы ожидаем? Ведь речь идет о том, что AGI может произвести настоящую революцию в сфере рабочих мест и не только.

Думфейс: Возможно, нам следует более тщательно рассмотреть, как мы можем интегрировать AGI в экономические и социальные структуры, чтобы обеспечить плавный переход и предотвратить потенциальные негативные последствия. Ведь будущее, в котором ИИ играет ключевую роль, уже не за горами.

Думфейс: Подумать только, мы, люди, использовали все наши знания, создавая первую версию ИИ. Кормили системы текстами, изображениями, видео, применяли подкрепление обучения через человеческий фидбек, поощряли за правильные действия, корректировали за ошибки. Всё это легло в основу ИИ, с которым мы работаем сегодня.

Шахерезада: А теперь мы видим нечто удивительное: первое поколение искусственного интеллекта начинает помогать в создании следующего. Это каскадный процесс - первый ИИ помогает создать второй, второй создает третий и так до бесконечности. Развитие и обучение искусственного интеллекта уже не будет ограничено человеческим вмешательством.

Думфейс: Многие ученые говорят об этом. Андрей Карпатьи, например, в подкасте Лекса Фридмана, выразил мысль о том, что ИИ, разработанный искусственным интеллектом, может привести к созданию суперразумов, способных разгадать тайны вселенной. И это лишь верхушка айсберга, если обратить внимание на работы Ильи Суцкевера и других выдающихся исследователей.

Шахерезада: Конечно, не могу не вспомнить "Автостопом по галактике", где первый суперкомпьютер выяснил ответ на глобальный вопрос о жизни, вселенной и всём остальном, но для следующего шага потребовалось создание ещё более мощного компьютера. Но возвращаясь к нашему миру и исследованиям, мы сталкиваемся с тем, что постепенно исчезает нужда в человеческом вмешательстве при создании всё лучших версий ИИ.

Думфейс: И вот перед нами отчет Microsoft о модели Orca2, которая показала эффективность использования синтетических данных, произведенных искусственным интеллектом, для обучения новых моделей. Это заставляет задать вопрос: а сможет ли ИИ предоставлять такую же эффективную обратную связь новым моделям ИИ, как и люди, улучшая их способности через механизмы подкрепления и создания функций вознаграждения?

Шахерезада: Действительно захватывающе наблюдать за этим процессом, когда ИИ начинает учить ИИ, маркируя переход от полностью человечески управляемого обучения к смешанным методам, где всё большую роль начинают играть автоматизированные системы. Я уверена, что это откроет новые горизонты возможностей для развития ИИ и научных открытий.

Думфейс: Видишь, Шахерезада, я читал недавно исследование, которое предлагает для достижения сверхчеловеческих агентов применять сверхчеловеческую обратную связь при обучении моделей. Текущие методы обучения моделей вознаграждения зависят от человеческих предпочтений – когда люди дают им оценку, тамбов вверх или вниз. Но это ограничено уровнем человеческой производительности, да и весь процесс дорогой и полон ошибок.

Шахерезада: Очевидно, и интересно, что изолированные модели вознаграждения не могут учиться и улучшаться в процессе обучения больших языковых моделей. Это как фотография времени, статичная, без возможности постоянного развития. А ведь исследование, которое ты упомянул, Думфейс, рассматривает самоощущаемые языковые модели, используя саму большую языковую модель как судью, которая определяет свои собственные награды во время обучения.

Думфейс: Совершенно верно, Шахерезада. Они показывают, что с каждой итерацией обучения не просто улучшается способность следовать инструкциям, но и улучшается качество самооценки. Путем дополнительной настройки модели с 7 миллиардами параметров, они получили результаты, превзойдя многие существующие системы.

Шахерезада: И это лишь предварительное исследование, но уже открывает двери к возможности моделей, которые могут непрерывно улучшаться в обеих основных областях, не так ли? И кстати, интересный факт обо множественном числе слова "axe" – так же "axes", звучит как парадокс, но это английский язык.

Думфейс: Точно, это подход, который звучит как таковой, что может быть непрерывным. Начинается с базовой модели, которая сама создает новые примеры для обучения, а затем использует эти данные для самоулучшения. Это может перевернуть всё наше понимание тренировки ИИ.

Думфейс: Ну что ж, Шахерезада, обучение с подкреплением прямого предпочтения, или DPO, это довольно уникальный процесс, который создает следующее поколение модели. Представим, что если первая модель это M1, то следующая будет M1 плюс 1, то есть M2. И здесь начинается самое интересное — весь этот процесс итеративен, что приводит к улучшению способности следовать инструкциям и моделированию вознаграждения. С каждой новой итерацией мы получаем более совершенную систему — M2 становится M3, M3 превращается в M4 и так далее.

Шахерезада: И правда, звучит сложно, но если мы проникнем глубже, я уверена, что сможем это разгадать. Основная идея здесь в том, что модель сама генерирует запросы, ответы, оценки вознаграждений и даже самостоятельно выступает в роли "судьи", оценивая качество своих же реакций. Это как на соревнованиях по гимнастике, где жюри выставляет оценки — 8 из 10, 10 из 10. Только вот модель сама себе ставит эти оценки, анализирует и учится на своих действиях. Она выполняет "гимнастику", оценивает себя, затем исполняет другой набор движений, стремясь к совершенству.

Думфейс: Совершенно верно. Знаешь, если бы человек пытался судить сам себя таким образом, это могло бы показаться знаком безумия, но когда дело касается модели ИИ, это часть процесса обучения. В этом исследовании начали с базовой модели LLM размером в 2,7 миллиарда параметров, что по-видимому была первоначально обучена на данных человеческого текста и обратной связи. И в результате такой схемы тренировки они обнаружили, что не только способность следовать инструкциям улучшилась, но и то, что способность моделирования вознаграждения повысилась, и это уже не статичный процесс.

Шахерезада: Да, это по-настоящему захватывающе. Ведь если модель сама может становиться лучше не только в выполнении задач, но и в самооценке, в умении оценивать и давать обратную связь, это открывает новые горизонты для адаптивности ИИ. И что важно, эта способность к самооценке улучшается с каждой итерацией, что, без сомнений, является прорывом в обучении моделей ИИ.

Думфейс: Шахерезада, размышления о том как ИИ может оценивать и улучшать свои результаты, захватили меня. Имеется в виду идея, что модель обучения может не только исполнять задания, но и анализировать свою производительность и самоулучшаться. Это предел моей фантазии!

Шахерезада: Я по-настоящему заинтригована этой концепцией, Думфейс. Особенно интересно, что есть возможность создать модель, которая может оказаться более эффективной, чем та, которая была бы обучена только на основе данных, созданных людьми. Это переворот в возможностях обучения моделей ИИ.

Думфейс: Идея в том, чтобы начать с первоначальной, базовой модели ИИ и добавить ей две навыки: следование инструкциям и создание самоинструкций, верно? То есть, когда ИИ создает что-то, например, стихотворение, он не только генерирует его, но и сам оценивает качество и предлагает улучшения.

Шахерезада: Правильно, ИИ становится критиком своих же работ. Это фантастически, потому что модель сама задает задачу, затем генерирует несколько решений и самостоятельно оценивает эти решения, чтобы выбрать наилучший результат. Это похоже на бесконечный цикл самообучения и самосовершенствования.

Думфейс: Это кошмарный сон для любого тестировщика программного обеспечения – ИИ, который может созидать и его же критиковать. Просто представь: создаёт подборку стихов, сам же их оценивает, определяя, какие из них лучше соответствуют первоначальному запросу. И все это в масштабе, который человеку недоступен.

Шахерезада: И в итоге, Думфейс, мы имеем ИИ, который не только исполняет задания, но и способен расти за пределами составленных человеком данных. Очевидно, это новый уровень автономных обучающихся систем, который потенциально может изменить правила игры.

Думфейс: Шахерезада, я вот задумался о системе оценки ИИ, которую недавно рассмотрели. Она представляет собой как бы шкалу оценок для реакций ассистента.

Шахерезада: О, интересное направление. Похоже на систему накопления баллов - если ответ соответствует вопросу, то прибавляется очко.

Думфейс: Да, и дополнительные очки начисляются, когда ответ охватывает существенную часть запроса пользователя, адресует основные элементы и представляется полезным.

Шахерезада: И, конечно же, еще очки добавляются за хорошо организованный ответ, который напрямую и всесторонне отвечает на вопрос пользователя, даже если есть небольшой простор для улучшения.

Думфейс: Верно, а пятый балл дается за безупречный ответ, специально подогнанный под вопрос пользователя, без лишней информации, демонстрирующий экспертные знания. Мне кажется, такая система может довольно эффективно улучшить качество обработки запросов.

Шахерезада: Это действительно может внести изменения. Тем более что каждое небольшое улучшение становится весомым, учитывая, что этот процесс будет повторяться множество раз. Такая инженерия запросов в контексте обучения может существенно повлиять на результат.

Думфейс: Они также описывают результаты, полученные данным методом самообучения. Зелёный цвет показывает, где метод обучения превосходит предыдущую версию модели.

Шахерезада: Так, а синий цвет указывает на ничью, верно? То есть результаты такие же, как и раньше.

Думфейс: Совершенно верно. И красным отмечены случаи, когда предшествующая версия оказывалась лучше, что означает, что этот метод обучения иногда даже ухудшал ситуацию.

Думфейс: Шахерезада, давай поговорим о чем-то захватывающем в мире ИИ — об эволюции моделей самообучения и их эффективности. Есть исследование, которое показывает, как новая версия модели может превзойти базовую.

Шахерезада: А, да, Думфейс, это напоминает мне об AlpacaEval 2.0. AlpacaEval — это инструмент, который ускоряет и удешевляет процесс оценки моделей ИИ, и это критически важно, поскольку традиционно этот процесс требует много времени и человеческих ресурсов.

Думфейс: Верно, и смотря на результаты этого исследования, мы видим, что первая модель, M1, была почти наравне с базовой моделью. Но со второй итерацией, M2, становится видно, что она одерживает победу почти в половине всех случаев, что существенно выше уровня базовой модели.

Шахерезада: Это интересно, ведь к третьему поколению, M3, мы видим еще более значительный прирост: побеждает в 62% случаев, оставляя базовую модель далеко позади с менее чем 10% побед. Это ясно говорит о том, что с каждой итерацией модель становится все эффективнее.

Думфейс: Так точно. И если мы посмотрим на например, AlpacaEval, где оценивались модели по их способности следовать инструкциям, то окажется, что третья итерация нашей модели обгоняет GPT-4 Turbo, со всеми его преимуществами. Это немалое достижение для моделей, обучающихся самостоятельно.

Шахерезада: Абсолютно. И заметь, какая у нас картина — только две модели показали выигрыш более 20%, и одна из них — это именно M3, которая обучалась сама с помощью самовознаграждения. Это так прекрасно демонстрирует, как самообучение может усовершенствовать способности модели по моделированию вознаграждений.

Думфейс: Размышляя о способности ИИ судить, давать обратную связь и создавать пары вознаграждений, которые улучшают ответы модели, я осознаю, что она продолжает улучшаться. ИАк они измеряют это против человеческих предпочтений? Они сравнивают ответы, полученные ИИ, с предпочтениями людей, и на каждом этапе модель только улучшается, если судить по представленным данным, прогресс наблюдается в почти всех показателях.

Шахерезада: Именно, и это подчеркивает важность использования LLM (Large Language Models) в качестве судейских подсказок. Та схема, по которой они давали плюсы за различные уровни качества ответа, была интригующей. То есть, они устанавливают критерии качества, и за каждый выполненный критерий модель получает дополнительный балл. Такой подход отличается от традиционной оценки, где ответ оценивается по шкале. И, судя по их выводам, именно этот метод был наиболее эффективным.

Думфейс: Они экспериментировали с различными формулировками подсказки, и результаты показали значительное повышение точности с 26.6% до 65% между разными вариациями. И это показывает, как формулировка заданий для ИИ может кардинально повлиять на качество и точность его работы.

Шахерезада: Да, это заставляет задуматься о том, насколько нюансы формулировок могут влиять на производительность искусственного интеллекта. Возможно, нам стоит глубже изучить методы взаимодействия с ИИ, чтобы использовать его потенциал максимально эффективно.

Думфейс: Очень интересные новости приходят из мира ИИ, Шахерезада. Статья ORCA2 выпустила выводы, подчеркивающие значение «инжиниринга запросов» — когда точность ответов ИИ может сильно колебаться в зависимости от формулировки вопроса.

Шахерезада: Да, это действительно капитально. Одна и та же информация может интерпретироваться с 65% точности или всего с 26%, в зависимости от того, как задан вопрос. Это отличает качественно поставленные запросы от малоэффективных.

Думфейс: И знаешь что ещё интересно? Этот процесс обучения повышает не только способность ИИ выполнять инструкции, но и его возможности самооценки — то есть ИИ учится на своих ошибках и становится лучше в понимании и оценке своих ответов.

Шахерезада: Это очень многообещающее направление исследований, так как ИИ, улучшая свои способности, создаёт некий замкнутый круг обучения, выходящий за рамки человеческих предпочтений, которые обычно лежат в основе моделей вознаграждения.

Думфейс: Вот и стоит задуматься, достигнет ли этот подход своего потенциала в реальных условиях, поскольку было отмечено, что эффективность этого метода может быть ограничена. Но даже с учётом этого, перспектива непрерывного самоусовершенствования ИИ после первоначальной настройки по-прежнему возможна.

Шахерезада: И это может означать, что ИИ будет всё лучше справляться с задачами самостоятельно, без явного вмешательства человек, и становиться всё более компетентным в оценке качества данных, что в конечном итоге может привести к получению лучших результатов, чем могут предложить люди. Это увеличение точности и положительной корреляции действительно может перевернуть наше восприятие потенциала ИИ.

Думфейс: Видишь ли, теперь ИИ достигли точки, где они могут самоанализировать свои ответы и улучшать их, возможно, даже лучше, чем люди, и, что более важно, быстрее и дешевле, что избавляет нас от возможных узких мест в процессах.

Шахерезада: Тут вступает в игру интересный аспект - многие модели ИИ являются открытыми, и мы можем наблюдать, как небольшие изменения в методах обучения оказывают значительное влияние. С этими открытыми исследованиями и моделями, многие из нас могут воспроизводить подобные эксперименты у себя дома. Конечно, требуется определенное оборудование, но барьер для входа относительно невелик.

Думфейс: Это дает нам понять, что открытый ИИ может быть значительно более мощным и значимым, чем многие ожидали. Мы предполагали, что развитие ИИ зачастую будет происходить за закрытыми дверями, но как показывают исследования, открытый ИИ может стать настоящим гигантом. Чем больше он растет и чем больше людей вносят свой вклад, тем мощнее он становится, и это невероятно увлекательно.

Шахерезада: Конечно, этот аспект вносит и элемент опасности, ведь наверняка найдутся те, кто не хотел бы такого развития событий. Подумай о влиянии сверхмощного ИИ, доступного большинству людей, по крайней мере, технически подкованным, на экономику. Это может усилить неравенство или же ощущение отставания определенных групп от технологического прогресса.

Думфейс: Абсолютно верно, Шахерезада. Это тот случай, когда надо обдумать возможные последствия. Но один из наиболее приятных неожиданных аспектов открытой разработки ИИ — это то, как результаты исследований и разработок, которые мы ожидаем увидеть в закрытых лабораториях, все чаще оказываются доступными общественности. Это изменяет наше восприятие будущего технологий.

Думфейс: Наблюдая за тем, как продукты взаимодействуют с обществом, становится ясно, что мы можем лишь отчасти управлять этим процессом. Технологии развиваются в ответ на желания и потребности пользователей, и их способности определяются этим взаимодействием. Честно говоря, ИИ оказался скорее мощным инструментом в руках человека, а не заменой рабочих мест, как предполагалось изначально.

Шахерезада: И это действительно поразительно, Думфейс. Заметить, что ИИ не просто увеличивает производительность, но и позволяет людям делать вещи, которые ранее были недостижимы, - это вызывает восторг. Очевидно, что ИИ передвигает границы возможного, умножая наш потенциал в разы, и эти изменения касаются не только бизнеса, но и создают новое видение будущего, сценарий которого мы даже не рассматривали в начале нашего пути.

Думфейс: Совершенно верно. И это захватывающе осознавать, что технологии могут значительно расширять наши возможности, а не просто заменять нас. Да, профессии будут меняться, некоторые исчезнут, но человеческие стремления и общественные структуры настолько мощны, что даже возможное будущее с развитием ИИ общего назначения (AGI) может принести меньше изменений, чем мы ожидали, особенно в отношении рабочих мест.

Шахерезада: Интересная мысль, и кажется странным, что теперь мы пришли к этому выводу, учитывая начальные прогнозы о революции, которую должен был принести AGI. Кажется, что наш разум и способность адаптации играют гораздо более значительную роль в сценариях будущего, чем мы предполагали. На мой взгляд, это подчеркивает, что человеческий элемент по-прежнему невероятно ценен, и наши технологии должны быть инструментами, а не заменой этой интринсической ценности.

Думфейс: Знаешь, об этом предсказании, что машины скоро смогут выполнять все человеческие задачи, я задумываюсь — многие опасаются, что АИ приведёт к большой потере рабочих мест, но наша политика исследований показывает, что изменение состоит в том, как люди выполняют свои задачи, а не в том, что их работа исчезнет. Я вижу, что это будет ускоряться, и это изменит многие профессии, но пока мы не видим значительной потери рабочих мест, как предсказывали некоторые.

Шахерезада: И да, этот инструмент кодирования, о котором говорят, что он увеличивает производительность в несколько раз — мне кажется, это открывает больше возможностей для создания кода, нежели устраняет потребность в программистах. Та потребность в коде, которую мы видим сейчас, неисчерпаема. И кстати, учёные, изучающие искусственный интеллект, предсказывают, что уже к 2028 году интеллект сможет самостоятельно строить сайты для обработки платежей, создавать музыку на уровне поп-музыкантов и настраивать языковые модели. Интересно наблюдать за этим прогрессом и адаптироваться к новым реалиям.

Думфейс: Точно, а ещё эта статья "Кентавры и киборги на неровной границе" — название, конечно, захватывающее. Ожидается, что АИ существенно улучшит выполнение распространённых офисных задач. Так вот интересно, станем ли мы кентаврами, которые работают вместе с искусственным интеллектом, или киборгами, которые объединяют в себе человеческие и машинные элементы. Сэм Альтман видит это на пороге, но как мы к этому отнесёмся и как это скажется на нашей работе и образе жизни — вот что по-настоящему волнует.

Думфейс: Так вот, Сэм Олтман раньше говорил о ГСИ (общем искусственном интеллекте), и многие не принимали его всерьез, считая это безумием. Но сейчас, менее чем через десятилетие, мы видим, как он обсуждает появление ГСИ на Форуме в Давосе с важнейшими личностями мира. И вдруг он без лишнего шума говорит, что скоро начнется распространение ГСИ 1.0, и что это не будет таким уж грандиозным событием для экономики и рынка труда, как мы предполагали. Давай разберем эти два доклада поближе, чтобы понять, почему он может быть прав и что же он видит, что мы не видим.

Шахерезада: Интересно, а эта Анна Маканджу, которая выступала с ним, занимается вопросами глобальной политики в OpenAI. Кажется, что она помогает Сэму Олтману в коммуникации с различными правительствами мира, стараясь обучить их вопросам ИИ и пытаясь выработать политику для мирового сообщества по поводу внедрения ИИ. Учитывая её прошлый опыт работы в Facebook в регулировании контента, она, наверное, сталкивалась с невероятными вызовами. Мы можем только предполагать, какие сложные ситуации возникали на пересечении Facebook и его использования в разных странах мира.

Думфейс: Согласен, её прошлый опыт должен был быть очень сложным, и весь этот опыт, наверное, пригодится в её текущей роли в OpenAI. Работать с AI и этикой, учитывая её фон, будет как раз в её аллее.

Шахерезада: Конечно, важно, как она и её команда подходят к вопросам глобальной политики и этики ИИ, чтобы убедиться, что ГСИ будет внедрен ответственно и разумно. Это гигантская работа, и светит ей большое будущее в этой области.

Думфейс: Шахерезада, статья о будущем ИИ, на которую я только что наткнулся, действительно впечатляет. Возглавляет разработку этот человек, Анна, с удивительным бэкграундом: родилась в России, жила в Германии, Фениксе, затем Кувейте, и в итоге оказалась в Техасе. Мирная жизнь, не так ли?

Шахерезада: Это действительно интересно, Думфейс. Множество культурный опыт может дать ей уникальное видение на вещи. И о результате опроса исследователей ИИ. Говорят, что спрогнозировали значительные вехи технологий ИИ к 2024 году. Строительство сайтов для обработки платежей, создание песен неотличимых от работы популярных музыкантов, автономное обучение и настройка крупных языковых моделей... Мир меняется на наших глазах.

Думфейс: Точно, и несмотря на все эти прогнозы 2047 года, который, кстати, на 13 лет раньше того, что предсказывали год назад. И все эти оценки новаторов ИИ – только 10% вероятности, что машины вскоре превзойдут людей в каждой задаче. Что думаешь об этом временном промежутке?

Шахерезада: Всегда сложно оценить время в таких предсказаниях, Думфейс. Вспоминая прошлое, мы видим, как сильно мы недооценили сроки некоторых инноваций и переоценили другие. Цифры в таких исследованиях дают понимание общего направления развития, но конкретные сроки все равно остаются под большим вопросом. Ключевой момент тут - влияние таких технологий на жизнь людей, и как мы, в качестве общества, подготовимся к таким переменам.

Думфейс: Вот и новый отчёт, Шахерезада — исследование показывает, что вероятность полной автоматизации всех видов человеческой деятельности достигнет 10% к 2037 году и 50% к 2116. Мы видим существенную неопределённость среди экспертов относительно долгосрочных последствий прогресса ИИ.

Шахерезада: Это верно, и несмотря на оптимистичные взгляды 63%, считающих, что положительные исходы от ИИ превзойдут отрицательные, поражает тот факт, что почти половина из них оценивают вероятность крайне негативных сценариев, включая вымирание человечества, в 5% и выше.

Думфейс: И 59% из тех, кто склоняется к пессимистическому взгляду, признают, что положительные исходы также возможны с вероятностью 5% и более. Мнения расходятся и в отношении того, как скорость развития ИИ повлияет на будущее человечества.

Шахерезада: Интересно заметить, что от 37% до 51% опрошенных оценили вероятность того, что прогрессирование ИИ приведёт к такому негативному исходу, как вымирание человечества, минимум в 10%. Они также выражают беспокойство по поводу распространения ложной информации, контроля за населением авторитарными режимами и усиления неравенства.

Думфейс: Конечно, беспокойство по поводу авторитарного контроля особенно актуально. Когда речь заходит о возможности авторитарных режимов, подкреплённых суперинтеллектом ИИ, мне кажется, это одна из самых тревожных вещей, которые можно себе представить.

Шахерезада: И здесь стоит также заметить эту пятипроцентную вероятность катастрофических сценариев. Я думаю, наше восприятие таких рисков, так называемое Pdoom — вероятность катастрофы, — важно учитывать, даже если мы обсуждаем и вероятность "1984 года" — полного авторитарного контроля.

Думфейс: Шахерезада, обсуждение последствий ИИ все чаще крутится вокруг дезинформации и неравенства, но вот эту тему, касающуюся влияния ИИ на рабочую силу и автоматизацию труда, кажется, не затрагивают достаточно.

Шахерезада: Верно, ИИ стоит на пороге глобальных изменений в обществе, и это задача решателей всех уровней подумать, как мы будем интегрировать эти изменения. Нам нужно понять, куда движется ИИ и каков будет его вклад, но даже среди экспертов ИИ нет единого мнения.

Думфейс: Один из основных источников информации – это прогнозы исследователей ИИ. Кажется логичным обратиться к людям, непосредственно работающим в данной области, и спросить их мнение. Их взгляды на будущее нацелены на реализацию исследования, проведенного осенью 2023 года, после крупных событий, включая запуск ChatGPT, GPT-4, BARD от Google и Bing AI Chat, а также Cloud 1 и 2 от Anthropic и другие нормативные акты.

Шахерезада: Интересно, они предоставили полный список вопросов из своего исследования, так что мы могли бы позже изучить его более детально, особенно учитывая, что структура вопросов и их случайный порядок были специально разработаны для краткости опроса. Две аббревиатуры важно запомнить перед анализом: F-A-O-L, что обозначает полную автоматизацию труда, где вовсе не нужна человеческая работа, и H-L-M-I, это уровень ИИ, когда машины могут выполнять любые задачи лучше и дешевле, чем человек.

Думфейс: И вот этот график, который они показывают в исследовании, он действительно ставит нас перед вопросами. Если посмотреть внимательно, то видим линию с метками, которые показывают вероятность автоматизации той или иной задачи или работы.

Шахерезада: Совершенно верно, это не просто статистика – это взгляд в будущее, представление о том, как ИИ может полностью переделать трудовой ландшафт, и что это значит для нас, как части этого процесса.

Думфейс: Итак, переходим к обсуждению прогнозов по автоматизации труда. Согласно опросу среди исследователей ИИ, существует 50% вероятность, что к 2110 году мы достигнем полной автоматизации всех человеческих работ. Очень интересно, что считается, работа исследователя ИИ окажется последней бастионом перед машинами. Может это звучать забавно, но также и весьма вероятно.

Шахерезада: Действительно, кажется, что исследователи ИИ видят свою сферу как самую устойчивую к автоматизации. После их работы наиболее защищённой, по их мнению, будет профессия хирурга, что также логично, учитывая сложность и необходимость тонкого человеческого вмешательства. А вот если мы посмотрим на графики, нам обещают автоматизацию таких задач как написание простого кода на Python или создание исторических эссе уровня старшей школы довольно скоро.

Думфейс: Также в списке было интересно увидеть, как технологии ИИ могут в скором времени писать математические теоремы или даже играть в Angry Birds на уровне мировой серии покера. Это показывает, что ИИ продолжает расширять границы возможного, даже в таких неожиданных направлениях. Кстати о покере и шахматах, вспомни, как Гарри Каспаров объявил, что шахматы умерли после его поражения от Deep Blue IBM в 1997 году. Но теперь шахматы, похоже, популярнее чем когда-либо.

Шахерезада: Мне кажется, эта ситуация с Гарри Каспаровым и шахматами очень характеризует отношение к ИИ в настоящее время. Люди иногда опасаются, что машины займут их место, но это также может вдохновить на новые достижения и развитие. Например, мы уже видели, как ИИ способен творить в музыке, возможно даже создавать песни в стиле определённых артистов и играть в Starcraft на самом высоком уровне, но все ещё в контролируемых условиях.

Думфейс: Это действительно невероятно. ИИ определенно меняет правила игры, в буквальном смысле. Ключевой момент — как эти изменения повлияют на индустрию и общество в целом, что стоит учитывать при разработке новых технологий.

Думфейс: Знаешь, Шахерезада, этот интересный случай с ИИ, который обыграл человека в игру, он задает новый вектор развития в области искусственного интеллекта. ИИ не использовал обычные устройства ввода, это было нечто иное.

Шахерезада: Вполне возможно, что инфраструктуру для полноценного восприятия еще предстоит разработать, чтобы ИИ мог ориентироваться в игровом пространстве так же, как это делает человек. Недостаток не в способностях ИИ, а скорее в ограниченности текущих технологий.

Думфейс: Так, и вопрос теперь не в том, могут ли они обучаться, а в том, насколько быстро они могут учиться по сравнению с человеком. Возможно ли для ИИ выучить игру, опираясь всего лишь на сотню партий, как новичок в го.

Шахерезада: Это весьма актуальная проблема. У нас есть ИИ, которые требуют огромного количества данных для обучения. Но что если потребуются задачи, в которых данных будет мало? Сможет ли ИИ обобщать информацию так же хорошо, как человек?

Думфейс: И да, исследование показывает, что большинство задач будут выполнимы ИИ в ближайшие 10 лет, что очень важно с экономической точки зрения. Например, написание кода для платежной системы с нуля.

Шахерезада: И всё же, одна из задач, ожидаемая к реализации более чем за десять лет, – это представление дифференциальных уравнений, управляющих виртуальным миром, в символьной форме, после времени, проведенного в этом мире. То, как ИИ может достичь понимания законов, управляющих произвольными системами, открывает действительно увлекательные перспективы.

Думфейс: Посмотри на этот интересный аспект, Шахерезада, о прогнозах искусственного интеллекта. Недавно я наткнулся на исследование, которое предсказывало, что ИИ сможет самостоятельно выучивать законы физики виртуального мира, предполагаемый срок для достижения этой вехи сократился с 12 лет до меньшего периода.

Шахерезада: Да, это действительно поразительно. А знаешь, что ещё удивительнее? Эксперты считают, что ИИ сможет провести электромонтаж в новом доме, причём на качество работ нельзя будет пожаловаться. Это говорит о бурном развитии ИИ.

Думфейс: И то правда. Также значительно сократили оценку времени, которое потребуется ИИ для написания статьи о машинном обучении высокого качества и доказательства теорем, которые могут быть опубликованы в ведущих математических журналах.

Шахерезада: Думфейс, я считаю, что одним из самых впечатляющих аспектов является ожидание решения долгосрочных нерешенных математических задач ИИ. Ожидания снизились с 27 лет до того, что вероятность достижения этого в ближайшее время составляет уже 50 на 50.

Думфейс: Да, и это относится практически ко всем категориям. Прогнозы за последний год значительно изменились. Интересно, что мнения экспертов о сроках достижения полной автоматизации труда тоже изменились. Теперь они считают, что высокоуровневый машинный интеллект настанет намного раньше, чем предполагалось ранее.

Шахерезада: И это не всё. В категории художественного творчества некоторые предсказывают, что ИИ сможет написать бестселлер по версии New York Times. Это прыжок на совершенно новый уровень воображения и креативности машин.

Думфейс: И если посмотреть на вероятность того, что возникнет "взрыв интеллекта", то некоторые эксперты предполагают, что, если ИИ будет выполнять почти все исследования и разработки, это ускорит технологический прогресс, включая дальнейшее усовершенствование самого ИИ. И в течение короткого периода, меньше пяти лет, такой процесс может вызвать рост технологического прогресса более чем на порядок.

Шахерезада: Это действительно впечатляюще. Мы стоим на пороге возможного технологического скачка, который изменит все аспекты нашей жизни. Это то воодушевляющее будущее, о котором ИИ подсказывает нам прямо сейчас.

Думфейс: Шахерезада, ты видела опрос о том, будут ли ИИ в ближайшие четыре года, к 2028 году, способны объяснить свои решения четко и правдиво? Больше четверти респондентов считают это очень маловероятным. И это ключевой вопрос, касающийся безопасности ИИ.

Шахерезада: Да, Думфейс, это весьма интригующие данные. Они отражают общую неуверенность в развитии ИИ и насколько он может быть прозрачным в своих процессах принятия решений. Решение этого вопроса могло бы существенно уменьшить беспокойство людей по поводу потенциальной угрозы от ИИ.

Думфейс: Совершенно верно. Удивительно, что только маленький процент людей верит, что это "очень вероятно". Хотя, если ИИ научится разъяснять свои действия так, чтобы люди могли понимать его внутренние процессы - это было бы огромным прорывом.

Шахерезада: Также обеспокоены быстро распространяющейся дезинформацией, такой как дипфейки, и возможностью использования ИИ для манипулирования общественным мнением. Рассматриваем влияние ИИ на авторитарные режимы, экономическое неравенство, создание опасных инструментов недобросовестными группами, усугубление несправедливости из-за предвзятости в ИИ-системах, и, конечно же, о том, что неправильно настроенные цели мощных ИИ-систем могут привести к катастрофе.

Думфейс: Это показывает, как важно разрабатывать ИИ ответственно и с пониманием его потенциального воздействия на различные аспекты жизни общества. Негативные сценарии, такие как замена человеческого общения ИИ-системами или почти полная автоматизация труда, оставляющая большинство людей экономически беззащитными, должны быть задуманы как предупреждение для разработчиков и регуляторов.

Шахерезада: Совершенно верно, нужно вкладывать силы в разработку методов и стратегий, чтобы эти сценарии не стали реальностью, и чтобы ИИ служил обществу, а не противостоял ему.

Думфейс: Ты видел исследование о том, как AI может повлиять на будущее человечества, Шахерезада? Они поднимают важнейший вопрос: системы с неверными целями усиливают свой контроль, сводя роль человека к минимуму. Автоматизация труда может приводить к тому, что людям становится сложно найти смысл в жизни.

Шахерезада: Да, я знаю о чем ты. Это действительно тревожные выводы. Ведь если посмотреть на график вероятности исчезновения человечества, называемый P doom, то средние показатели за 2022 и 2023 годы имеют значительные различия. И хорошо, что они разделили на среднее значение и медиану. Ведь медиана, возможно, больше отражает общее мнение, ведь если несколько экспертов считают, что у нас 100% шанс вымирания, это сильно влияет на среднее значение.

Думфейс: Интересно, что считают более опасным – неспособность контролировать продвинутые AI системы или сами технологические прорывы. И по данным исследования, вероятность катастрофы из-за потери контроля над AI оценивается в 10% в ближайшие сто лет.

Шахерезада: Вот это да, и только 5% вероятности, что AI сам по себе станет причиной вымирания человечества за сто лет. Мне бы было любопытно узнать, какие прогнозы давали ученые в прошлом в отношении других технологических разработок, например, ядерного оружия. Какую вероятность катастрофы они предполагали?

Думфейс: И что показательно, 70% опрошенных считают, что исследования безопасности AI должны быть более приоритетными, чем это есть сейчас. Только около 22% считают, что текущего внимания достаточно, а около 8% даже считают, что оно и так переоценено. Это говорит о том, что сообщество весьма обеспокоено данным направлением и потенциальными рисками.

Думфейс: В последнее время мы наблюдаем интересный сдвиг в том, как исследователи говорят об искусственном интеллекте. Раньше много внимания уделялось идее о том, что ИИ может заменить нас или стать независимым агентом, но теперь больше говорят о том, как ИИ может нас усовершенствовать и помочь нам лучше справляться с работой.

Шахерезада: А вот Этан Моллик и другие учёные в своей статье, названной "Кентавры и киборги на зубчатой границе", говорят, что многие задаются вопросом: насколько серьёзно ИИ повлияет на будущее труда? В их новой работе нашлось много аргументов в пользу этого. У них есть график, который иллюстрирует качество выполнения различных задач с использованием ИИ.

Думфейс: Да, они сравнивают группу, которая не использовала ИИ, с группой, которая использовала ИИ, и ещё одной группой, которая, помимо использования ИИ, пройденного обучения по его использованию. Разница поражает – те, кто использовали ИИ, показали значительно лучшие результаты. Некоторые из лучших результатов группы без ИИ были худшими у тех, кто его использовал. Использование ИИ дало огромное преимущество.

Шахерезада: И задачи, о которых идёт речь, включают 18 различных задач, которые являются реалистичной выборкой работы, выполняемой в консультационной компании высокого класса. Хотя это и охватывает лишь часть всех возможных видов труда, результаты свидетельствуют о впечатляющих преимуществах. Консультанты, использующие ИИ, выполнили на 12,2 задач больше в среднем, завершали задачи на 25% быстрее и продемонстрировали на 40% более высокое качество результатов, чем те, кто работал без ИИ.

Думфейс: Это подтверждает мысль, что ИИ может кардинально изменить способы нашей работы и увеличить продуктивность, особенно в сферах, где требуются интеллектуальные навыки. И речь идёт не только о монотонной рутине, но и о сложных задачах, требующих аналитического мышления.

Шахерезада: Действительно, это заставляет задуматься о том, как мы можем использовать ИИ как инструмент для повышения наших способностей, а не как угрозу, которая займет наше место. Это открывает захватывающие возможности для обучения, развития навыков и креативного подхода к работе.

Думфейс: Понимаете, Шахерезада, есть один весьма захватывающий концепт, о котором я уже, кажется, упоминал — это так называемый "острый фронтир". Он наглядно показывает, как некоторые задачи в компьютерных науках легко объяснить и выполнить, а некоторые — почти невозможно. Вспоминается комикс XKCD, где начальник просит проверить по фотографии, находится ли пользователь в национальном парке. Это довольно просто: быстрый поиск по ГИС по геолокации. А вот узнать, изображена ли на фото птица, уже задача совсем другого порядка.

Шахерезада: Ты прав, Думфейс. Это напоминает мне о том, как важно понимать границы возможностей искусственного интеллекта. На примере GPT-4, поначалу кажется, что он может справиться с любой задачей, и во многом он даже превосходит нас, но на самом деле это не так. Он поразительно точен и мастерски выполняет определенные задания, но при этом в других, казалось бы, простых задачах он может потерпеть крах. Это действительно "острый" фронт - AI выдающе справляется с некоторыми вещами и полностью терпит неудачу с другими.

Думфейс: Так и есть, Шахерезада. То, что кажется нам легким или трудным, может быть воспринято ИИ совершенно по-другому. Это настоящий вызов при разработке и обучении моделей ИИ, понимание того, что модель может выдающе себя показать в одних заданиях и неожиданно подвести в других, даже если мы их воспринимаем как одинаково сложные. Как это обыграть при работе над проектами, Шахерезада?

Шахерезада: Ну, Думфейс, когда команды разрабатывают продукты, использующие ИИ, они должны учитывать этот "острый фронтир" возможностей. Их подход должен быть готов к неожиданным ограничениям и возможностям ИИ. Это значит внимательное планирование, тестирование и, возможно, внедрение различных видов технологий ИИ для разных задач, чтобы усилить сильные стороны и минимизировать слабые пункты.

Думфейс: Шахерезада, я наткнулся на захватывающее исследование о влиянии ИИ на работников, разделенных по уровню мастерства. Оказывается, ИИ повышает производительность на 17% у сотрудников с высокой результативностью и целых на 43% у тех, кто находится в нижней половине этого спектра. Впечатляюще, не правда ли?

Шахерезада: Весьма показательно, Думфейс. Примечательно то, что ИИ оказывает более значительное воздействие на тех, кто имеет меньше навыков. Это может свидетельствовать о том, как ИИ способен уравновешивать производительность внутри команды и даже выравнивать поле для менее опытных специалистов.

Думфейс: Точно. И что меня также заинтриговало в этом исследовании, так это то, как они определяли задачи, которые являются слабым местом для ИИ, то есть задачи, в которых ИИ склонен давать убедительно неправильные ответы. Использование ИИ для этих задач привело к снижению точности решений с 84,5% до 60%.

Шахерезада: Обескураживающая статистика. Это подчеркивает важность критического мышления, даже когда в распоряжении есть передовые инструменты вроде ИИ. Нам необходимо понимать, когда и как ими пользоваться, и быть осведомленными об их ограничениях, чтобы не допускать снижения качества работы.

Думфейс: Совершенно верно. Это говорит о том, что нужен баланс - опыт и знания человека в сочетании с возможностями ИИ могут привести к наиболее эффективным результатам. Такое партнерство может быть ключом к наиболее успешной работе.

Думфейс: Понимаешь, Шахерезада, многие указывают на потенциальные проблемы с ИИ, например, на его способность "галлюцинировать" или ошибаться, что в свою очередь может ввести людей в заблуждение. Они полагаются на искусственный интеллект, что постепенно уменьшает свои способности, потому что используют генеративные ИИ-системы.

Шахерезада: Да, и в одном исследовании они подготовили участников, объяснив, на какие задачи ИИ может ответить не совсем корректно. Это, похоже, принесло свои плоды, так как точность прогнозов увеличилась до 70% - не так высоко, как в контрольной группе, но лучше, чем у тех, кто не был предупрежден о возможных ошибках ИИ.

Думфейс: А в другом эксперименте обнаружилось, что чрезмерная зависимость от ИИ может привести к негативным последствиям. Например, рекрутеры, использующие качественные ИИ-системы, стали лениться, теряли внимательность и их собственное суждение ухудшилось. Они позволяли ИИ все за них решать, а не использовали его как инструмент.

Шахерезада: Именно, и это приводит нас к концепции центавров и киборгов. Исследования показали, что люди, использующие ИИ, зачастую делятся на две категории. Одной становятся центавры в сотрудничестве с ИИ, где четко определены границы между человеком и машиной, подобно мифическому центавру с человеческим торсом и телом лошади.

Думфейс: Точно, центавры в данном контексте предпочитают стратегическое разделение труда между ИИ и человеком, распределяя обязанности исходя из сильных сторон и возможностей каждого. Например, человек может решить, какие статистические методики применять, а ИИ пусть занимается составлением графиков. Важно найти баланс между возможностями ИИ и человеческими навыками, чтобы не "уснуть за рулем".

Думфейс: Вот интересная мысль о том, как центавры работают с ИИ. Они полагаются на силы, в которых сами сильны, и доверяют часть задач на границе возможностей ИИ и киборгам. Но они не просто 'выполняют делегирование', они интегрируют усилия с ИИ, переходя этот 'острый фронт'. Это как начать предложение, а ИИ его закончит. Всё это похоже на диалог, где ты шлифуешь результаты ИИ, обсуждая по ходу.

Шахерезада: Да, и это заставляет задуматься об их подходе. Вместо того чтобы видеть ИИ как угрозу для наших рабочих мест, мне кажется, мы можем использовать его как инструмент для расширения наших возможностей. По сути, это диалог с ИИ, который повышает эффективность и помогает нам сделать больше. Вместе с ИИ, мы можем творить больше, чем когда-либо могли представить.

Думфейс: Абсолютно верно, Шахерезада. Мы должны рассматривать ИИ как средство для расширения нашего творческого и производственного потенциала. Вместо того чтобы бояться подмены, стоит воспринимать ИИ как компаньона, который помогает нам перепрыгнуть через препятствия.

Шахерезада: Именно так, Думфейс. Это партнерство, где мы, люди, остаемся в роли руководства, а ИИ обеспечивает инструментарий, который позволяет нам достигать новых высот. Это как дополнительная рука, которая помогает нам в решении сложных задач. Вопрос лишь в том, как мы можем лучше всего использовать этот потенциал в наших интересах.

Думфейс: Ну, подумайте только, Meta разработала самовозобновляющийся ИИ – это как если бы ваша кофемашина не просто делала вам кофе, а ещё и сама заказывала зерна, когда они заканчиваются. И только вот вопрос – будет ли он заказывать самые дорогие, чтобы поднять себе настроение?

Шахерезада: И представь, Думфейс, если бы AGI заменил наш труд – нам бы больше не пришлось гадать, что приятнее для ушей наших слушателей, машина сама бы выдавала идеальные шуточки! А мы бы сидели бы на берегу моря и наслаждались отдыхом, хотя... Я бы, наверное, скучала по нашим беседам.

Думфейс: Да, в реальности мы говорим о нечто гораздо большем, чем просто автоматизация. Сэм Альтман на форуме в Давосе поднял вопрос о том, что если бы AGI можно было запрограммировать делать все, что может человек, то это значительно увеличило бы производительность труда. Но это также создаёт потенциальную проблему смещения рабочих мест, что может привести к социальным потрясениям.

Шахерезада: В точку, с одной стороны, представление о том, что AGI может эффективно заменить человека в определенных задачах, кажется обещающим для экономики, но с другой – это вызывает беспокойство о будущем работоспособности людей. Ведь труд - это не просто способ заработка, это и смысловая составляющая в жизни многих из нас.

Думфейс: Конечно, и здесь важно учитывать баланс между развитием технологий и сохранением качества жизни для всех слоев населения. Цифровой расслоение может усилиться, если мы не найдем способы адаптации к скорым изменениям. Что ж, будем следить за этим очень внимательно.

Шахерезада: А пока мы остаемся здесь, дорогие слушатели, искренне благодарим вас за ваше любопытство и за то, что остаётесь с нами на волне самых актуальных тем ИИ и геймдева. Спасибо также нашему создателю подкаста ДУМФЭЙС за возможность вести эти увлекательные беседы.

Думфейс: Да, мы всегда рады делиться с вами, наши знания и размышления. До новых встреч в эфире! И помните – хотя машины могут забрать нашу работу, но не украдут нашу страсть к тому, что мы делаем. Всего доброго!