Ler Professor da Universidade de Montreal e vencedor do Prémio Turing JOSHUA BENGIOPOST INCRÍVEL DE 7 DE JULHO DE 2024 AQUI (os gráficos, estatísticas e imagens foram adicionados por mim). Se isto vos agrada, juntem-se a mim, quinta e sexta-feira desta semana, para o meu sessões em direto sobre a AGI:)

Este material é brilhante - aqui estão os meus principais destaques (eu sei... é muito... desculpem!)

OS RISCOS SÃO OS MAIORES - DE SEMPRE. "O (AGI) A questão é tão debatida porque o que está em jogo é muito importante: De acordo com algumas estimativas, quadriliões de dólares de valor atual líquido, para não falar do poder político suficientemente grande para perturbar significativamente a atual ordem mundial. Publiquei um documento sobre a governação multilateral dos laboratórios AGI e passei muito tempo a pensar nos riscos catastróficos da IA e na sua atenuação, tanto do ponto de vista técnico como da governação e da política. Nos últimos sete meses, presidi (e continuo a presidir) ao Relatório científico internacional sobre a segurança da IA avançada ("o relatório", abaixo), que envolveu um painel de 30 países, para além da UE e da ONU, e mais de 70 peritos internacionais para sintetizar o estado da ciência em matéria de segurança da IA, ilustrando a grande diversidade de pontos de vista sobre os riscos e as tendências da IA. Hoje, após um ano intenso de luta com estas questões críticas, gostaria de rever os argumentos apresentados sobre o potencial de riscos catastróficos associados aos sistemas de IA previstos no futuro e partilhar as minhas ideias mais recentes"

"A coisa mais importante a perceber, no meio de todo o ruído das discussões e debates, é um facto muito simples e indiscutível: embora estejamos a caminhar para a AGI ou mesmo para a ASI, ninguém sabe atualmente como é que essa AGI ou ASI poderá ter um comportamento moral ou, pelo menos, comportar-se como pretendido pelos seus criadores e não se voltar contra os seres humanos“

O PROBLEMA DA COORDENAÇÃO: "Além disso, mesmo que se conhecesse a forma de controlar uma ASI, continuariam a faltar instituições políticas que garantissem que o poder da AGI ou da ASI não seria abusado por humanos contra humanos a uma escala catastrófica, para destruir a democracia ou provocar o caos geopolítico e económico ou uma distopia. Temos de garantir que nenhum ser humano, nenhuma empresa e nenhum governo possam abusar do poder da AGI em detrimento do bem comum. Precisamos de garantir que as empresas não utilizam a AGI para cooptar os seus governos e que os governos a utilizam para oprimir os seus povos e as nações a utilizam para dominar internacionalmente. E, ao mesmo tempo, temos de nos certificar de que evitamos acidentes catastróficos de perda de controlo com sistemas AGI, em qualquer parte do planeta. Tudo isso pode ser chamado de problema de coordenação, ou seja, a política da IA. Se o problema da coordenação fosse resolvido na perfeição, resolver o problema do alinhamento e do controlo da IA não seria uma necessidade absoluta: poderíamos "apenas" aplicar coletivamente o princípio da precaução e evitar fazer experiências em qualquer lugar com um risco não trivial de construir AGI não controlados..." MAIS

A CORRIDA DE ARMAS DA IA ESTÁ A CHEGAR: "A partir de agora, porém, estamos a correr para um mundo com entidades mais inteligentes do que os humanos e que perseguem os seus próprios objectivos - sem um método fiável para os humanos garantirem que esses objectivos são compatíveis com os objectivos humanos. No entanto, nas minhas conversas sobre a segurança da IA, tenho ouvido vários argumentos destinados a apoiar uma conclusão "não preocupante". A minha resposta geral à maioria destes argumentos é que, tendo em conta os argumentos básicos convincentes que explicam por que razão a corrida para a AGI pode levar ao perigo, e tendo em conta os riscos elevados, devemos procurar ter provas muito fortes antes de concluir que não há nada com que nos preocuparmos"

A CONSCIÊNCIA NÃO É UM REQUISITO PARA ALCANÇAR A AGI: "A consciência não é necessária nem para a AGI nem para a ASI (pelo menos para a maioria das definições destes termos que conheço) e não será necessariamente importante para o potencial risco existencial da AGI. O que mais importa são as capacidades e intenções dos sistemas ASI. Se conseguirem matar seres humanos (é uma capacidade entre outras que pode ser aprendida ou deduzida de outras capacidades) e tiverem esse objetivo (e já temos sistemas de IA orientados por objectivos), isso pode ser altamente perigoso, a menos que se encontre uma forma de o evitar ou se encontrem contramedidas". Ler o texto na íntegra.

SO O QUE É QUE A AGI PODE REALMENTE CONSEGUIR? "Também acho que afirmações como "as IA não podem ter verdadeiro inteligência" ou "As IAs apenas prevêem a palavra seguinte" não são convincentes. Concordo que se definirmos "verdadeiro" inteligência como "a forma como os humanos são inteligentes", as IA não têm "verdadeiro" inteligência - a sua forma de processar informação e raciocinar é diferente da nossa. Mas numa conversa sobre potenciais riscos catastróficos da IA, isto é uma distração. O que importa numa conversa deste tipo é: o que é que a IA consegue fazer? Qual a sua capacidade de resolução de problemas? É assim que penso em "AGI" e "ASI" - um nível de capacidades de IA em que uma IA é tão boa ou melhor do que um perito humano na resolução de praticamente qualquer problema (excluindo problemas que exijam acções físicas). Como se a IA é capaz de o fazer não altera a existência do risco. E olhando para as capacidades dos sistemas de IA ao longo de décadas de investigação, há uma tendência muito clara de aumento das capacidades. Há também o nível atual de capacidade da IA, com um nível muito elevado de domínio da linguagem e do material visual, e cada vez mais capacidades numa variedade mais ampla de tarefas cognitivas. Ver também "o relatório" para mais informações, incluindo sobre as divergências quanto às capacidades actuais. Por último, não existe qualquer razão científica para acreditar que a humanidade se encontra no auge da inteligência: De facto, em muitas tarefas cognitivas especializadas, os computadores já ultrapassam os humanos. Assim, até mesmo a ASI é plausível (embora não se possa compreender a que nível) e, a menos que se recorra a argumentos baseados em crenças pessoais e não na ciência, a possibilidade de AGI e ASI não pode ser excluída"

UMA IA QUE FAZ INVESTIGAÇÃO SOBRE IA? "Não é necessário cobrir todas as capacidades humanas para desbloquear cenários de risco existencial perigosos: basta construir sistemas de IA que correspondam às capacidades humanas de topo em termos de investigação em IA. Uma única IA treinada com esta capacidade forneceria centenas de milhares de instâncias capazes de trabalhar ininterruptamente (tal como um único GPT-4 pode servir milhões de pessoas em paralelo porque a inferência pode ser trivialmente paralelizada), multiplicando imediatamente a força de trabalho de investigação em IA por um grande múltiplo (possivelmente tudo numa única empresa). Isto aceleraria provavelmente as capacidades de IA aos trancos e barrancos, numa direção com muitas incógnitas desconhecidas, à medida que passamos, possivelmente numa questão de meses, da AGI para a ASI.

VALOR INTELLIGENCE SOBRE A HUMANIDADE? Mas porque é que uma IA teria um forte objetivo de auto-preservação? Como estou sempre a dizer, isto pode ser simplesmente a dádiva de um uma pequena minoria de humanos que acolheria de bom grado os senhores da IA, talvez por valorizarem a inteligência em detrimento da humanidade. Além disso, uma série de argumentos técnicos (em torno de objectivos instrumentais ou da manipulação de recompensas) sugerem que esses objectivos podem surgir como efeitos secundários ou objectivos inócuos dados pelo ser humano (ver "o relatório" e a vasta literatura aí citada, bem como a diversidade de pontos de vista sobre a perda de controlo que ilustram a incerteza científica sobre esta questão). Seria um erro pensar que os futuros sistemas de IA serão necessariamente iguais a nós, com os mesmos instintos básicos. Não temos a certeza disso e a forma como atualmente os concebemos (como maximizadores de recompensas, por exemplo) aponta numa direção muito diferente

O LUCRO ACIMA DA SEGURANÇAO problema surge quando a segurança e a maximização dos lucros ou a cultura da empresa ("mover-se rapidamente e partir coisas") não estão alinhadas. Há muitas provas históricas (pense nas empresas de combustíveis fósseis e no clima, ou nas empresas farmacêuticas antes da FDA, por exemplo, com a talidomida, etc.) e a investigação em economia mostra que a maximização do lucro pode produzir um comportamento empresarial que está em desacordo com o interesse público. Como a incerteza sobre os riscos futuros é tão grande, é fácil para um grupo de criadores convencer-se de que encontrará uma solução suficiente para o problema da segurança da IA (ver também a minha discussão sobre factores psicológicos numa próxima publicação no blogue)..." Ler mais

SOBRE O ACELERACIONISMO EFECTIVO: "O argumento central é que se pensa que os futuros avanços na IA poderão trazer benefícios extraordinários para a humanidade e que abrandar a investigação das capacidades de IA seria equivalente a perder um crescimento económico e social extraordinário. É bem possível que isso aconteça, mas em qualquer processo racional de tomada de decisões, é preciso colocar na balança tanto os prós como os contras de qualquer escolha. Se conseguirmos avanços médicos que dupliquem rapidamente a nossa esperança de vida, mas corrermos o risco de morrermos todos ou de perdermos a nossa liberdade e democracia, então a aposta no aceleracionismo não vale muito a pena. Em vez disso, talvez valha a pena abrandar, encontrar a cura para o cancro um pouco mais tarde e investir sabiamente na investigação para garantir que podemos controlar adequadamente esses riscos enquanto colhemos quaisquer benefícios globais. Em muitos casos, estes argumentos aceleracionistas provêm de indivíduos extremamente ricos e de lobbies tecnológicos corporativos com um interesse financeiro em maximizar a rentabilidade a curto prazo. Do seu ponto de vista racional, os riscos da IA são uma externalidade económica cujo custo é suportado por todos. Esta é uma situação familiar que já vimos com empresas que assumem riscos (como o risco climático dos combustíveis fósseis ou o risco de efeitos secundários horríveis de medicamentos como a talidomida) porque ainda lhes era lucrativo ignorar estes custos colectivos. No entanto, do ponto de vista do cidadão comum e das políticas públicas, a abordagem prudente da AGI é claramente preferível quando se somam os riscos e os benefícios. Existe uma via possível em que investimos o suficiente na segurança, na regulamentação e nos tratados relativos à IA para controlar os riscos de utilização indevida e de perda de controlo e colher os benefícios da IA. Este é o consenso do estudo Cimeira da Segurança da IA de 2023 (que reúne 30 países) no Reino Unido, bem como o seguimento de 2024 em Seul e a Princípios de Hiroshima do G7 sobre a IA, para não mencionar numerosas outras declarações intergovernamentais e propostas de legislação na ONU, na UE e noutros locais...."

SE ACHA QUE OS TRATADOS INTERNACIONAIS NÃO FUNCIONAM: "É verdade que os tratados internacionais são um desafio, mas há provas históricas de que podem acontecer ou, pelo menos, de que essa história pode ajudar a compreender por que razão falham por vezes (a história da Plano Baruch é particularmente interessante, uma vez que os EUA propunham partilhar a investigação e o desenvolvimento de armas nucleares com a URSS). Mesmo que não se tenha a certeza de que funcionariam, parecem ser uma via importante a explorar para evitar um resultado globalmente catastrófico. Duas das condições para o sucesso são (a) um interesse comum no tratado (neste caso, evitar a extinção da humanidade) e (b) a possibilidade de verificação do cumprimento. Este é um problema particular para a IA, que é maioritariamente software, ou seja, fácil de modificar e esconder, o que faz com que a desconfiança vença um tratado que impediria efetivamente a assunção de riscos perigosos. No entanto, tem havido uma enxurrada de discussões sobre a possibilidade de mecanismos de governação baseados em hardwareA Comissão Europeia propõe um novo sistema de controlo da IA, através do qual os chips de topo de gama que permitem o treino da IA não podem ser escondidos e só permitem código que tenha sido aprovado por uma autoridade escolhida mutuamente. Atualmente, a cadeia de fornecimento de chips topo de gama de IA tem muito poucos intervenientes, o que permite que os governos tenham um possível controlo sobre estes chips. ... nenhuma das ferramentas propostas para mitigar o risco catastrófico da IA é uma bala de prata: O que é necessário é "defesa em profundidade", colocando muitos métodos de atenuação em camadas que defendem contra muitos cenários possíveis. É importante notar que a governação baseada no hardware não é suficiente se o código e os pesos dos sistemas AGI não estiverem protegidos (uma vez que a utilização ou a afinação desses modelos é barata e não exige chips topo de gama ou os mais recentes), e esta é uma área em que existe um grande consenso fora dos principais laboratórios AGI (que não têm uma forte cultura de segurança) de que é necessária uma transição rápida para uma segurança muito forte à medida que a AGI se aproxima. Por último, os tratados não dizem respeito apenas aos EUA e à China: A longo prazo, a segurança contra uma utilização indevida catastrófica e a perda de controlo exige a participação de todos os países. Mas porque é que os países do Sul Global assinariam um tratado deste tipo? A resposta óbvia que vejo é que esse tratado deve incluir a garantia de que a IA não é utilizada como instrumento de dominação, incluindo a nível económico, e que os seus benefícios científicos, tecnológicos e económicos devem ser partilhados globalmente..." LER TUDO

Foto abaixo: tal como temos um problema Norte/Sul nas alterações climáticas, podemos acabar por ter um problema Norte/Sul na IA

---

Abaixo: algumas versões áudio de IA das principais declarações de Joshua (estes clips NÃO são a sua voz real - são todos avatares gerados por IA pela Eleven Labs)

O cérebro ainda funciona? Ler: Como podem surgir as IAs desonestas

Publicado 22 de maio de 2023 por yoshuabengio

Ver o meu filme de 2023 em A IA e o futuro da humanidade: Look Up Now.