У нас есть мораль и этика, потому что на Земле живет больше одного человека. Подход, наиболее близкий к пониманию того, как следует разрабатывать ИИ-системы, часто называют консеквенциализмом: идея состоит в том, что выбор должен делаться, исходя из ожидаемых последствий. Существует еще два основных подхода: деонтологическая этика и этика добродетели. В самых общих чертах они рассматривают соответственно нравственный характер действий и нравственный характер индивидов, причем, в общем-то, в отрыве от последствий выбора3. Поскольку у нас нет никаких свидетельств самосознания машин, я не вижу особого смысла в том, чтобы создавать машины, добродетельные в любом из этих смыслов, если последствия крайне нежелательны для человечества. Иными словами, мы создаем машины, действия которых приводят к каким-то последствиям, и хотим, чтобы эти последствия были для нас предпочтительны