Eis como David Chalmers descreve esta visão (a partir de 22:27 no vídeo do Youtube abaixo):

"Para mim, isso levanta a possibilidade de um modo de falha maciço no futuro, a possibilidade de criarmos AGIs de nível humano ou super-humano e termos um mundo inteiro povoado por AGIs de nível super-humano, nenhum dos quais consciente. E isso seria um mundo, poderia potencialmente ser um mundo de grande inteligência, sem consciência, sem qualquer experiência subjectiva. Ora, penso que muitas pessoas, com uma grande variedade de pontos de vista, consideram que, basicamente, a experiência subjectiva ou a consciência são necessárias para que a vida tenha qualquer significado ou valor. Por conseguinte, um mundo sem consciência não poderia ser um resultado positivo. Talvez não fosse um resultado terrivelmente negativo, seria apenas um resultado 0, e entre os piores resultados possíveis".

Chalmers é conhecido pelo seu trabalho na filosofia da mente e tem-se dedicado particularmente à natureza da consciência. É famoso por ter formulado a ideia de um "problema difícil da consciência", que descreve no seu artigo de 1995 "Facing up to the problem of consciousness" como a questão de saber "porque é que existe o sentimento que acompanha a consciência da informação sensorial?"

Pesadelo da automatização: filósofo alerta para o facto de estarmos a criar um mundo sem consciência
https://bigthink.com/the-future/automation-nightmare-we-might-be-headed-for-a-world-without-consciousness/