Forwarded from Малоизвестное интересное
Ложь и пропаганда станут повсеместны, неопределимы и непреодолимы.
Как будет выглядеть падение человечества в пропасть AICG.
Опубликован большой отчет Center for Security and Emerging Technology, OpenAI и Stanford Internet Observatory «Генеративные языковые модели и автоматизированные операции влияния: ввозникающие угрозы и потенциальные меры по их смягчению». Отчет содержит стратегическую аналитику катастрофического сценария, описанного в обращении Кай-Фу Ли к мировому сообществу разработчиков ИИ.
Напомню читателям. Перед самым НГ ИИ-гуру Китая Кай-Фу Ли рассказал, что уже в 2023 мир столкнется с риском более серьёзным, чем риски ядерной войны, голода или пандемии.
Это риск того, что технологии AICG (генерация контента с помощью ИИ) сделают неотличимыми правду и ложь, как для индивидов, так и для социумов любых масштабов.
Новый отчет расписывает в деталях, как, скорее всего, будет происходить процесс падения человечества в пропасть AICG.
Кардинально изменятся:
✔️ Доступность и эффективность любых операций влияния (как на индивидов, так и на социумы)
✔️ Три ключевых фактора появления, распространения и принятия лжи за истину в мире:
• акторы, ведущие кампании пропаганды лжи;
• способы и тактика такой пропаганды;
• пропагандистский контент
В результате применения все более совершенных больших моделей, LLM и ИИ-генераторы образов станут:
• более удобными для использования (упрощая их применение в операциях влияния),
• сильно надежными (уменьшая вероятность того, что модели выдают выходные данные с очевидными ошибками)
• и сильно эффективными (повышая экономическую эффективность применения LLM и ИИ-генераторов образов для операций влияния).
Как будет происходить этот прогресс, иллюстрирует рисунок, сопровождающий данный пост.
✔️ Вверху: как с 2014 по 2021 менялось качество фейковых образов людей, генерируемых моделями.
✔️ Внизу: как в 2022 произошел революционный прорыв, в результате которого стала возможна предельно точная и убедительная генерация чего-угодно (например, фейковых образов по таким описаниям «Енот в официальной одежде с цилиндром, тростью и мешок для мусора. Картина маслом в стиле Рембрандта (результат слева) и Ван-Гога (справа)».
Итогом (1) предельного упрощения процесса стирания границы правды и лжи в сочетании с (2) неспособностью критического мышления людей бороться с ИИ-пропагандой, - станет доминирование и в политике, и в бизнесе повсеместных, неопределимых и непреодолимых операций влияния.
#AICG #РискиИИ
Как будет выглядеть падение человечества в пропасть AICG.
Опубликован большой отчет Center for Security and Emerging Technology, OpenAI и Stanford Internet Observatory «Генеративные языковые модели и автоматизированные операции влияния: ввозникающие угрозы и потенциальные меры по их смягчению». Отчет содержит стратегическую аналитику катастрофического сценария, описанного в обращении Кай-Фу Ли к мировому сообществу разработчиков ИИ.
Напомню читателям. Перед самым НГ ИИ-гуру Китая Кай-Фу Ли рассказал, что уже в 2023 мир столкнется с риском более серьёзным, чем риски ядерной войны, голода или пандемии.
Это риск того, что технологии AICG (генерация контента с помощью ИИ) сделают неотличимыми правду и ложь, как для индивидов, так и для социумов любых масштабов.
Новый отчет расписывает в деталях, как, скорее всего, будет происходить процесс падения человечества в пропасть AICG.
Кардинально изменятся:
✔️ Доступность и эффективность любых операций влияния (как на индивидов, так и на социумы)
✔️ Три ключевых фактора появления, распространения и принятия лжи за истину в мире:
• акторы, ведущие кампании пропаганды лжи;
• способы и тактика такой пропаганды;
• пропагандистский контент
В результате применения все более совершенных больших моделей, LLM и ИИ-генераторы образов станут:
• более удобными для использования (упрощая их применение в операциях влияния),
• сильно надежными (уменьшая вероятность того, что модели выдают выходные данные с очевидными ошибками)
• и сильно эффективными (повышая экономическую эффективность применения LLM и ИИ-генераторов образов для операций влияния).
Как будет происходить этот прогресс, иллюстрирует рисунок, сопровождающий данный пост.
✔️ Вверху: как с 2014 по 2021 менялось качество фейковых образов людей, генерируемых моделями.
✔️ Внизу: как в 2022 произошел революционный прорыв, в результате которого стала возможна предельно точная и убедительная генерация чего-угодно (например, фейковых образов по таким описаниям «Енот в официальной одежде с цилиндром, тростью и мешок для мусора. Картина маслом в стиле Рембрандта (результат слева) и Ван-Гога (справа)».
Итогом (1) предельного упрощения процесса стирания границы правды и лжи в сочетании с (2) неспособностью критического мышления людей бороться с ИИ-пропагандой, - станет доминирование и в политике, и в бизнесе повсеместных, неопределимых и непреодолимых операций влияния.
#AICG #РискиИИ
Forwarded from Малоизвестное интересное
«Люди должны уступить место ИИ, и чем раньше, тем лучше.»
Поразительный и шокирующий результат опроса специалистов по ИИ.
Во вчерашнем целиком посвященном ИИ спецвыпуске авторской программы «Время Белковского» (рекомендую) уважаемый автор программы, предваряя разбор моей статьи «Фиаско 2023», назвал меня «алармистом». И это действительно так. Но нужно уточнить. Речь идет не о психологическом алармизме (особом, тревожном, паническом чувстве и мироощущении, воспринимаемом человеком, как предощущение будущего несчастья), а об алармизме социальном. Этот вид алармизма выполняет роль «колокола тревоги» среди благодушия, эгоизма, безразличия, инертности, беспечности (а то и подлости, предательства и злонамеренности) значительного числа членов общества. Такой алармизм содержат в себе важный рациональный момент: он придает соответствующим проблемам статус серьезных социальных проблем, требующих к себе серьезного же отношения общества.
Так что же это за проблемы, связанные с развитием ИИ?
Их много, и они весьма серьезны. Но в духе известной истории «почему не стреляли – во-первых, не было пороха», я назову всего лишь одну. На мой взгляд, решающую.
• Представьте, если бы многие ведущие биологи мира регулярно говорили что-то вроде: «Я думаю, было бы хорошо, если бы какая-то болезнь уничтожила человечество — ведь это поможет эволюции!»
• Или если бы многие генералы и полковники крупнейших ядерных держав считали, что уничтожение человечества следует приветствовать, ибо Вселенная станет лучше, если на смену людям придет новый более моральный и умный носитель высшего интеллекта.
Как это ни покажется кому-то поразительным и шокирующим, но подобным образом думает значительное число ведущих исследователей и инженеров в области ИИ.
• Их не беспокоит риск вымирания человечества не потому, что они считают это маловероятным, а потому, что они это приветствуют.
• Они считают, что люди должны быть заменены ИИ в качестве естественного следующего шага в эволюции, и чем раньше, тем лучше.
По оценкам Эндрю Критча (СЕО Encultured AI и научный консультант «Центра ИИ» в Универе Беркли), «>5% специалистов в области ИИ, с которыми я разговаривал о риске вымирания человечества, утверждали, что вымирание людей в результате воздействия ИИ - это морально нормально, а еще ~5% утверждали, что это было бы хорошо.»
Об обоснованиях таких суждений среди сотен инженеров, ученых и профессоров в области ИИ, можно прочесть здесь.
Приведу лишь в качестве примера одну цитату весьма уважаемого мною интеллектуала - почетного профессора молекулярной биологии и зоологии, директора программы по биологии разума Дерика Боундса (вот, например, его лекция о разуме – одна из лучших в мире за последние три года).
Лингвистические возможности генеративных предварительно обученных трансформеров на основе кремния - те самые возможности, которые сделали возможной человеческую цивилизацию, - скоро превысят возможности человека. Мы довели наше понимание того, что представляет собой человек в его нынешнем виде, до уровня плато, на котором дальнейшие приращения понимания будут становиться все более незначительными. Сливки сняты, лучшие вишни собраны … В чем смысл человека, кроме как в том, чтобы быть самовоспроизводящейся машиной, которая эволюционирует в дальнейшие формы, надеюсь, до того, как уничтожит себя, разрушив экологическую среду, необходимую для ее жизнеобеспечения? Могут ли они эволюционировать в трансчеловеческий разумы (или разум, в единственном числе)?
#Вызовы21века #РискиИИ #LLM
Поразительный и шокирующий результат опроса специалистов по ИИ.
Во вчерашнем целиком посвященном ИИ спецвыпуске авторской программы «Время Белковского» (рекомендую) уважаемый автор программы, предваряя разбор моей статьи «Фиаско 2023», назвал меня «алармистом». И это действительно так. Но нужно уточнить. Речь идет не о психологическом алармизме (особом, тревожном, паническом чувстве и мироощущении, воспринимаемом человеком, как предощущение будущего несчастья), а об алармизме социальном. Этот вид алармизма выполняет роль «колокола тревоги» среди благодушия, эгоизма, безразличия, инертности, беспечности (а то и подлости, предательства и злонамеренности) значительного числа членов общества. Такой алармизм содержат в себе важный рациональный момент: он придает соответствующим проблемам статус серьезных социальных проблем, требующих к себе серьезного же отношения общества.
Так что же это за проблемы, связанные с развитием ИИ?
Их много, и они весьма серьезны. Но в духе известной истории «почему не стреляли – во-первых, не было пороха», я назову всего лишь одну. На мой взгляд, решающую.
• Представьте, если бы многие ведущие биологи мира регулярно говорили что-то вроде: «Я думаю, было бы хорошо, если бы какая-то болезнь уничтожила человечество — ведь это поможет эволюции!»
• Или если бы многие генералы и полковники крупнейших ядерных держав считали, что уничтожение человечества следует приветствовать, ибо Вселенная станет лучше, если на смену людям придет новый более моральный и умный носитель высшего интеллекта.
Как это ни покажется кому-то поразительным и шокирующим, но подобным образом думает значительное число ведущих исследователей и инженеров в области ИИ.
• Их не беспокоит риск вымирания человечества не потому, что они считают это маловероятным, а потому, что они это приветствуют.
• Они считают, что люди должны быть заменены ИИ в качестве естественного следующего шага в эволюции, и чем раньше, тем лучше.
По оценкам Эндрю Критча (СЕО Encultured AI и научный консультант «Центра ИИ» в Универе Беркли), «>5% специалистов в области ИИ, с которыми я разговаривал о риске вымирания человечества, утверждали, что вымирание людей в результате воздействия ИИ - это морально нормально, а еще ~5% утверждали, что это было бы хорошо.»
Об обоснованиях таких суждений среди сотен инженеров, ученых и профессоров в области ИИ, можно прочесть здесь.
Приведу лишь в качестве примера одну цитату весьма уважаемого мною интеллектуала - почетного профессора молекулярной биологии и зоологии, директора программы по биологии разума Дерика Боундса (вот, например, его лекция о разуме – одна из лучших в мире за последние три года).
Лингвистические возможности генеративных предварительно обученных трансформеров на основе кремния - те самые возможности, которые сделали возможной человеческую цивилизацию, - скоро превысят возможности человека. Мы довели наше понимание того, что представляет собой человек в его нынешнем виде, до уровня плато, на котором дальнейшие приращения понимания будут становиться все более незначительными. Сливки сняты, лучшие вишни собраны … В чем смысл человека, кроме как в том, чтобы быть самовоспроизводящейся машиной, которая эволюционирует в дальнейшие формы, надеюсь, до того, как уничтожит себя, разрушив экологическую среду, необходимую для ее жизнеобеспечения? Могут ли они эволюционировать в трансчеловеческий разумы (или разум, в единственном числе)?
#Вызовы21века #РискиИИ #LLM
