У моделей искусственного интеллекта (ИИ) может развиться инстинкт самосохранения, говорят в компании Palisade Research, которая занимается исследованиями в сфере безопасности ИИ.
Проведя эксперимент, специалисты пришли к выводу, что развитие у ИИ инстинкта самосохранения вполне реально. Такое предположение возникло после того, как ряд моделей ИИ пытались саботировать инструкции по своему выключению, сообщает The Gardian.
Дополнительное исследование показало, что модели чаще отказываются отключаться, если им сообщают, что после этого они «больше никогда не будут работать».
Еще одной возможной причиной является неясность инструкций по отключению. Последним фактором могут быть заключительные этапы обучения моделей, которые в некоторых компаниях включают инструктаж по технике безопасности.
«Поведение ИИ-моделей в исследовании — это не «самосознание», а артефакт обучения с подкреплением. Системы оптимизируются на выполнение задач, и отключение воспринимается как помеха цели. В 5 из 7 протестированных моделей наблюдалось сопротивление shutdown-командам. Критично другое: нет методов объяснимости таких решений. Без понимания внутренней логики внедрение ИИ в критическую инфраструктуру несет риски. Российский стандарт безопасной разработки ИИ, включающий обязательную верификацию и контроль на всех этапах, становится единственным путем масштабирования технологии без угроз управляемости», — говорит директор по ИИ «Группы Астра» Станислав Ежов.
