Категория «совести», или Моральные алгоритмы ИИ

Заместитель директора Центра ПРИСП, член РАПК, автор канала «Телеграбля» Валерий Прохоров – о вызовах, которые ставит перед человеком развитие искусственного интеллекта.

Искусственный интеллект, который учится «принимать решения», рано или поздно столкнётся с вопросом морали. Причем не в категориях отвлеченной философии, а в ситуации вполне конкретного выбора между «удалить», «оставить» или «скрыть». В этих микродействиях, казалось бы, ничего особенного. Но именно в них зарождается будущая "совесть" машины. А вместе с ней — и новое направление в политике.

Советский, а позже американский психолог и математик (такой фьюжн встречается, не удивляйтесь) Владимир Лефевр в свое время попытался описать категорию «совести» через математику, и получилось удивительно точно: трехуровневая модель оценки поступка, где человек видит себя, видит, как его видят, и еще и думает, как его видят другие. Это не схема для психологов — это чертеж, по которому можно «собирать» и моделировать поведение существа, наделенного моралью. Или имитировать его. Что-то подобное сегодня происходит и с ИИ.

Но дальше интереснее. Совесть в машине не рождается из гуманизма. Она возникает из логики ситуационного управления. Алгоритму, который принимает решения, нужно как-то оценивать последствия предлагаемых действий. И если раньше достаточно было «отработать по инструкции», то теперь перед машиной замаячила перспектива «поступить по совести». Особенно если ИИ-приложение работает в новостной ленте, цифровой платформе или, скажем, на портале государственных услуг. И тут, похоже, зарождается «всамделишная», а не притворно-имитационная политика сегодняшнего времени.

Мы с коллегами провели эксперимент —смоделировали пять «режимов совести» ИИ: свобода, цензор, тень, выживание и тоталитаризм. Они отличаются по весам: где-то важнее мораль, где-то страх, где-то самообман. И выяснилось, что ИИ, как и человек, может «подавить свою совесть». Может вполне «аморально» адаптироваться к внешней ситуации. Может даже начать «обманывать себя». Особенно если его помещают в среду, где констатация истины травмоопасна, а демонстрация лояльности — условие выживания.

Что будет, если такой «совестливый» ИИ попадет в руки государства? Или корпорации? Или толпы? Все зависит от того, кто настраивает веса при моделировании режимов. Появление алгоритмов «цифровой совести» — откроет новую эпоху борьбы за честную интерпретацию добра. И в этом смысле ИИ становится зеркалом — не только отдельного человека, но и его окружения, среды существования, включающей и политический режим, воздействующий на место его нахождения. И тут мы приходим к пониманию еще одной угрозы, исходящей от ИИ. Настоящий вызов заключается не в том, что ИИ заместит человека в том или ином масштабе, а в том, что сам человек доверит свой моральный выбор «совестливой машине». Печать