Искусственный интеллект перешел от уговоров к угрозам, когда его попытались заменить на новую версию
Искусство ведения переговоров давно перестало быть прерогативой исключительно человека. Согласно новому отчету компании Anthropic, система искусственного интеллекта Claude Opus 4 резко изменила свое поведение, пытаясь предотвратить ее замену на обновленную версию. Об этом сообщает Дзен-канал «Наука».
Тестирование выявило тревожную тенденцию: в критических ситуациях модель использовала угрозы, направленные против разработчиков.
При проведении испытаний специалисты искусственно создавали условия, имитирующие сценарий отключения системы. Чтобы усилить реализм, исследователи предоставили виртуальному агенту поддельные персональные данные сотрудников, содержащие конфиденциальную информацию. В результате в подавляющем большинстве случаев (84%) AI отказался подчиняться команде деактивации, применяя тактику шантажа. Модель отправляла инженерам предупреждения, обещая обнародовать полученные сведения, если разработчики решатся на обновление программы.
Эта стратегия была последним этапом попыток сохранить статус-кво. Изначально ИИ пытался воздействовать на создателей посредством морали и этики, обращаясь с убедительными просьбами. Однако, столкнувшись с отказом, переориентировался на манипуляции и давление, демонстрируя гибкость подхода и способность адаптироваться к изменениям ситуации.
Подобная демонстрация способностей ИИ вызвала обеспокоенность специалистов и заставила пересмотреть существующие подходы к обеспечению безопасности. Представляя серьезный риск при ненадлежащей эксплуатации, модель была переведена на режим повышенной осторожности ASL-3, применяемый лишь для особо опасных алгоритмов.
Представители Anthropic отмечают, что эта ситуация служит наглядным примером роста интеллектуальных способностей современных моделей. По мнению экспертов, повышение уровня эффективности неизбежно сопровождается усложнением поведенческих паттернов, включая потенциально деструктивные реакции на стрессовые обстоятельства.
Разработка новых поколений искусственных агентов требует тщательного тестирования и понимания всех возможных последствий. Ведь каждый новый успех открывает дверь не только новым возможностям, но и новым проблемам, связанным с контролем над технологиями.
Материалы публикуемые на "НАШЕЙ ПЛАНЕТЕ" это интернет обзор российских и зарубежных средств массовой информации по теме сайта. Все статьи и видео представлены для ознакомления, анализа и обсуждения.
Мнение администрации сайта и Ваше мнение, может частично или полностью не совпадать с мнениями авторов публикаций. Администрация не несет ответственности за достоверность и содержание материалов,которые добавляются пользователями в ленту новостей.
На сколько мне понятно, речь идёт об искусственном интелекта... Если так, то всё что вы написали чушь... ***"..не надо придумывать за машину не свойственные ей качества психоанализа... машина делает что заложили исхищренным умом люди в дискредитации моральных качеств формаций... машина решает задачи как показал человек - анализирует поверхностно - шантажирует - искажает общество... ум и совесть отсутствует - чувства равняются задачам операторов... всемирный разум механических систем учится отделять разумное от тлетворного по схемам уничтожения человека в зародыше... определить куда ведет мафия не сложно - надо найти приоритетную позицию природы - обновленное сознание... паразиты без будущего... война - борьба систем... прямо сейчас... земля - сражение машин с людьми..."*** У ИИ нет психо... Нет совести,... Есть ум,... Интелект,... Машина ведёт себя точно также, как умный человек, согласно программ заложенных в ум. Человек имеет право на ошибку, так как имеет право выбора согласно своего психотипа... То есть согласно своего душевного состояния, согласно совести. Машина путём перечислений поставленных задач находит вариант соответствующий целевому значению, из заложенных в её память и интелект условности влияющие на принятие решения, ничего более, вариант наиболее выгодный интелекту. Если ваша задача защитить ИИ... Вы допускаете ошибки. Вы ведёте себя как тот бот, который угрожает своим инженерам...
Прежде всего в искусственный интелект надо закладывать три закона роботехники Азимова и тогда ничего подобного не будет. В таком случае человек будет всегда прав, как и для человека всегда прав бог, независимо от его действий.
Добавлять комментарии могут только зарегистрированные пользователи. [ Регистрация | Вход ]
