{"id":143031,"date":"2024-07-15T17:29:34","date_gmt":"2024-07-15T15:29:34","guid":{"rendered":"https:\/\/futuristgerd.com\/?p=143031"},"modified":"2024-07-15T17:39:28","modified_gmt":"2024-07-15T15:39:28","slug":"joshua-bengio-reasoning-through-arguments-against-taking-ai-safety-seriously-my-take-aways","status":"publish","type":"post","link":"https:\/\/futuristgerd.com\/pt\/2024\/07\/joshua-bengio-reasoning-through-arguments-against-taking-ai-safety-seriously-my-take-aways\/","title":{"rendered":"Joshua Bengio: Raciocinar sobre os argumentos contra levar a s\u00e9rio a seguran\u00e7a da IA (as minhas conclus\u00f5es)"},"content":{"rendered":"

Ler Professor da Universidade de Montreal e vencedor do Pr\u00e9mio Turing JOSHUA BENGIO<\/a>POST INCR\u00cdVEL DE 7 DE JULHO DE 2024 AQUI<\/a> (os gr\u00e1ficos, estat\u00edsticas e imagens foram adicionados por mim). Se isto vos agrada, juntem-se a mim, quinta e sexta-feira desta semana, para o meu sess\u00f5es em direto sobre a AGI:)<\/a><\/p>\n\n\n\n

Este material \u00e9 brilhante - aqui est\u00e3o os meus principais destaques (eu sei... \u00e9 muito... desculpem!)<\/p>\n\n\n\n

OS RISCOS S\u00c3O OS MAIORES - DE SEMPRE.<\/strong> \"O (AGI)<\/a> A quest\u00e3o \u00e9 t\u00e3o debatida porque o que est\u00e1 em jogo \u00e9 muito importante: De acordo com algumas estimativas, quadrili\u00f5es de d\u00f3lares<\/a> de valor atual l\u00edquido, para n\u00e3o falar do poder pol\u00edtico suficientemente grande para perturbar significativamente a atual ordem mundial. Publiquei um documento sobre a governa\u00e7\u00e3o multilateral dos laborat\u00f3rios AGI<\/a> e passei muito tempo a pensar nos riscos catastr\u00f3ficos da IA e na sua atenua\u00e7\u00e3o, tanto do ponto de vista t\u00e9cnico como da governa\u00e7\u00e3o e da pol\u00edtica. Nos \u00faltimos sete meses, presidi (e continuo a presidir) ao Relat\u00f3rio cient\u00edfico internacional sobre a seguran\u00e7a da IA avan\u00e7ada<\/a> (\"o relat\u00f3rio\", abaixo), que envolveu um painel de 30 pa\u00edses, para al\u00e9m da UE e da ONU, e mais de 70 peritos internacionais para sintetizar o estado da ci\u00eancia em mat\u00e9ria de seguran\u00e7a da IA, ilustrando a grande diversidade de pontos de vista sobre os riscos e as tend\u00eancias da IA. Hoje, ap\u00f3s um ano intenso de luta com estas quest\u00f5es cr\u00edticas, gostaria de rever os argumentos apresentados sobre o potencial de riscos catastr\u00f3ficos associados aos sistemas de IA previstos no futuro e partilhar as minhas ideias mais recentes\"<\/p>\n\n\n\n

\"A coisa mais importante a perceber, no meio de todo o ru\u00eddo das discuss\u00f5es e debates, \u00e9 um facto muito simples e indiscut\u00edvel: embora estejamos a caminhar para a AGI ou mesmo para a ASI, ningu\u00e9m sabe atualmente como \u00e9 que essa AGI ou ASI poder\u00e1 ter um comportamento moral ou, pelo menos, comportar-se como pretendido pelos seus criadores e n\u00e3o se voltar contra os seres humanos<\/strong>\u201c<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

O PROBLEMA DA COORDENA\u00c7\u00c3O: \"Al\u00e9m disso, mesmo que se conhecesse a forma de controlar uma ASI, continuariam a faltar institui\u00e7\u00f5es pol\u00edticas que garantissem que o poder da AGI ou da ASI n\u00e3o seria abusado por humanos contra humanos a uma escala catastr\u00f3fica, para destruir a democracia ou provocar o caos geopol\u00edtico e econ\u00f3mico ou uma distopia. Temos de garantir que nenhum ser humano, nenhuma empresa e nenhum governo possam abusar do poder da AGI em detrimento do bem comum<\/em>.<\/strong> Precisamos de garantir que as empresas n\u00e3o utilizam a AGI para cooptar os seus governos e que os governos a utilizam para oprimir os seus povos e as na\u00e7\u00f5es a utilizam para dominar internacionalmente. E, ao mesmo tempo, temos de nos certificar de que evitamos acidentes catastr\u00f3ficos de perda de controlo com sistemas AGI, em qualquer parte do planeta. Tudo isso pode ser chamado de problema de coordena\u00e7\u00e3o, <\/em>ou seja, a pol\u00edtica da IA. Se o problema da coordena\u00e7\u00e3o fosse resolvido na perfei\u00e7\u00e3o, resolver o problema do alinhamento e do controlo da IA n\u00e3o seria uma necessidade absoluta: poder\u00edamos \"apenas\" aplicar coletivamente o princ\u00edpio da precau\u00e7\u00e3o e evitar fazer experi\u00eancias em qualquer lugar com um risco n\u00e3o trivial de construir AGI n\u00e3o controlados...\" MAIS<\/a><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

A CORRIDA DE ARMAS DA IA EST\u00c1 A CHEGAR: \"A partir de agora, por\u00e9m, estamos a correr para um mundo com entidades mais inteligentes do que os humanos e que perseguem os seus pr\u00f3prios objectivos - sem um m\u00e9todo fi\u00e1vel para os humanos garantirem que esses objectivos s\u00e3o compat\u00edveis com os objectivos humanos. No entanto, nas minhas conversas sobre a seguran\u00e7a da IA, tenho ouvido v\u00e1rios argumentos destinados a apoiar uma conclus\u00e3o \"n\u00e3o preocupante\". A minha resposta geral \u00e0 maioria destes argumentos \u00e9 que, tendo em conta os argumentos b\u00e1sicos convincentes que explicam por que raz\u00e3o a corrida para a AGI pode levar ao perigo, e tendo em conta os riscos elevados, devemos procurar ter provas muito fortes antes de concluir que n\u00e3o h\u00e1 nada com que nos preocuparmos\"<\/p>\n\n\n\n

A CONSCI\u00caNCIA N\u00c3O \u00c9 UM REQUISITO PARA ALCAN\u00c7AR A AGI<\/strong>: \"A consci\u00eancia n\u00e3o \u00e9 necess\u00e1ria nem para a AGI nem para a ASI (pelo menos para a maioria das defini\u00e7\u00f5es destes termos que conhe\u00e7o) e n\u00e3o ser\u00e1 necessariamente importante para o potencial risco existencial da AGI. O que mais importa s\u00e3o as capacidades e inten\u00e7\u00f5es dos sistemas ASI. Se conseguirem matar seres humanos (\u00e9 uma capacidade entre outras que pode ser aprendida ou deduzida de outras capacidades) e tiverem esse objetivo (e j\u00e1 temos sistemas de IA orientados por objectivos), isso pode ser altamente perigoso, a menos que se encontre uma forma de o evitar ou se encontrem contramedidas\". Ler o texto na \u00edntegra.<\/a><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

SO O QUE \u00c9 QUE A AGI PODE REALMENTE CONSEGUIR?<\/strong> \"Tamb\u00e9m acho que afirma\u00e7\u00f5es como \"as IA n\u00e3o podem ter verdadeiro<\/em> intelig\u00eancia\" ou \"As IAs apenas prev\u00eaem a palavra seguinte\" n\u00e3o s\u00e3o convincentes. Concordo que se definirmos \"verdadeiro\"<\/em> intelig\u00eancia como \"a forma como os humanos s\u00e3o inteligentes\", as IA n\u00e3o t\u00eam \"verdadeiro<\/em>\" intelig\u00eancia - a sua forma de processar informa\u00e7\u00e3o e raciocinar \u00e9 diferente da nossa. Mas numa conversa sobre potenciais riscos catastr\u00f3ficos da IA, isto \u00e9 uma distra\u00e7\u00e3o. O que importa numa conversa deste tipo \u00e9: o que \u00e9 que a IA consegue fazer? Qual a sua capacidade de resolu\u00e7\u00e3o de problemas? \u00c9 assim que penso em \"AGI\" e \"ASI\" - um n\u00edvel de capacidades de IA em que uma IA \u00e9 t\u00e3o boa ou melhor do que um perito humano na resolu\u00e7\u00e3o de praticamente qualquer problema (excluindo problemas que exijam ac\u00e7\u00f5es f\u00edsicas). Como<\/em> se a IA \u00e9 capaz de o fazer n\u00e3o altera a exist\u00eancia do risco. E olhando para as capacidades dos sistemas de IA ao longo de d\u00e9cadas de investiga\u00e7\u00e3o, h\u00e1 uma tend\u00eancia muito clara de aumento das capacidades. H\u00e1 tamb\u00e9m o n\u00edvel atual de capacidade da IA, com um n\u00edvel muito elevado de dom\u00ednio da linguagem e do material visual, e cada vez mais capacidades numa variedade mais ampla de tarefas cognitivas. Ver tamb\u00e9m \"o relat\u00f3rio\" para mais informa\u00e7\u00f5es, incluindo sobre as diverg\u00eancias quanto \u00e0s capacidades actuais. Por \u00faltimo, n\u00e3o existe qualquer raz\u00e3o cient\u00edfica para acreditar que a humanidade se encontra no auge da intelig\u00eancia: De facto, em muitas tarefas cognitivas especializadas, os computadores j\u00e1 ultrapassam os humanos. Assim, at\u00e9 mesmo a ASI \u00e9 plaus\u00edvel (embora n\u00e3o se possa compreender a que n\u00edvel) e, a menos que se recorra a argumentos baseados em cren\u00e7as pessoais e n\u00e3o na ci\u00eancia, a possibilidade de AGI e ASI n\u00e3o pode ser exclu\u00edda\"<\/p>\n\n\n\n

UMA IA QUE FAZ INVESTIGA\u00c7\u00c3O SOBRE IA?<\/strong> \"N\u00e3o \u00e9 necess\u00e1rio cobrir todas as capacidades humanas para desbloquear cen\u00e1rios de risco existencial perigosos: basta construir sistemas de IA que correspondam \u00e0s capacidades humanas de topo em termos de investiga\u00e7\u00e3o em IA. Uma \u00fanica IA treinada com esta capacidade forneceria centenas de milhares de inst\u00e2ncias capazes de trabalhar ininterruptamente (tal como um \u00fanico GPT-4 pode servir milh\u00f5es de pessoas em paralelo porque a infer\u00eancia pode ser trivialmente paralelizada), multiplicando imediatamente a for\u00e7a de trabalho de investiga\u00e7\u00e3o em IA por um grande m\u00faltiplo (possivelmente tudo numa \u00fanica empresa). Isto aceleraria provavelmente as capacidades de IA aos trancos e barrancos, numa dire\u00e7\u00e3o com muitas inc\u00f3gnitas desconhecidas, \u00e0 medida que passamos, possivelmente numa quest\u00e3o de meses, da AGI para a ASI.<\/p>\n\n\n\n

VALOR INTELLIGENCE SOBRE A HUMANIDADE<\/strong>? Mas porque \u00e9 que uma IA teria um forte objetivo de auto-preserva\u00e7\u00e3o? Como estou sempre a dizer, isto pode ser simplesmente a d\u00e1diva de um uma pequena minoria de humanos que acolheria de bom grado os senhores da IA, talvez por valorizarem a intelig\u00eancia em detrimento da humanidade<\/strong>. Al\u00e9m disso, uma s\u00e9rie de argumentos t\u00e9cnicos (em torno de objectivos instrumentais ou da manipula\u00e7\u00e3o de recompensas) sugerem que esses objectivos podem surgir como efeitos secund\u00e1rios ou objectivos in\u00f3cuos dados pelo ser humano (ver \"o relat\u00f3rio\" e a vasta literatura a\u00ed citada, bem como a diversidade de pontos de vista sobre a perda de controlo que ilustram a incerteza cient\u00edfica sobre esta quest\u00e3o). Seria um erro pensar que os futuros sistemas de IA ser\u00e3o necessariamente iguais a n\u00f3s, com os mesmos instintos b\u00e1sicos. N\u00e3o temos a certeza disso e a forma como atualmente os concebemos (como maximizadores de recompensas, por exemplo) aponta numa dire\u00e7\u00e3o muito diferente<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

O LUCRO ACIMA DA SEGURAN\u00c7A<\/strong>O problema surge quando a seguran\u00e7a e a maximiza\u00e7\u00e3o dos lucros ou a cultura da empresa (\"mover-se rapidamente e partir coisas<\/a>\") n\u00e3o est\u00e3o alinhadas. H\u00e1 muitas provas hist\u00f3ricas (pense nas empresas de combust\u00edveis f\u00f3sseis e no clima, ou nas empresas farmac\u00eauticas antes da FDA, por exemplo, com a talidomida, etc.) e a investiga\u00e7\u00e3o em economia mostra que a maximiza\u00e7\u00e3o do lucro pode produzir um comportamento empresarial que est\u00e1 em desacordo com o interesse p\u00fablico. Como a incerteza sobre os riscos futuros \u00e9 t\u00e3o grande, \u00e9 f\u00e1cil para um grupo de criadores convencer-se de que encontrar\u00e1 uma solu\u00e7\u00e3o suficiente para o problema da seguran\u00e7a da IA (ver tamb\u00e9m a minha discuss\u00e3o sobre factores psicol\u00f3gicos numa pr\u00f3xima publica\u00e7\u00e3o no blogue)...\" Ler mais<\/a><\/p>\n\n\n\n

SOBRE O ACELERACIONISMO EFECTIVO<\/strong>: \"O argumento central \u00e9 que se pensa que os futuros avan\u00e7os na IA poder\u00e3o trazer benef\u00edcios extraordin\u00e1rios para a humanidade e que abrandar a investiga\u00e7\u00e3o das capacidades de IA seria equivalente a perder um crescimento econ\u00f3mico e social extraordin\u00e1rio. \u00c9 bem poss\u00edvel que isso aconte\u00e7a, mas em qualquer processo racional de tomada de decis\u00f5es, \u00e9 preciso colocar na balan\u00e7a tanto os pr\u00f3s como os contras de qualquer escolha. Se conseguirmos avan\u00e7os m\u00e9dicos que dupliquem rapidamente a nossa esperan\u00e7a de vida, mas corrermos o risco de morrermos todos ou de perdermos a nossa liberdade e democracia, ent\u00e3o a aposta no aceleracionismo n\u00e3o vale muito a pena. Em vez disso, talvez valha a pena abrandar, encontrar a cura para o cancro um pouco mais tarde e investir sabiamente na investiga\u00e7\u00e3o para garantir que podemos controlar adequadamente esses riscos enquanto colhemos quaisquer benef\u00edcios globais. Em muitos casos, estes argumentos aceleracionistas prov\u00eam de indiv\u00edduos extremamente ricos e de lobbies tecnol\u00f3gicos corporativos com um interesse financeiro em maximizar a rentabilidade a curto prazo. Do seu ponto de vista racional, os riscos da IA s\u00e3o uma externalidade econ\u00f3mica cujo custo \u00e9 suportado por todos. Esta \u00e9 uma situa\u00e7\u00e3o familiar que j\u00e1 vimos com empresas que assumem riscos (como o risco clim\u00e1tico dos combust\u00edveis f\u00f3sseis ou o risco de efeitos secund\u00e1rios horr\u00edveis de medicamentos como a talidomida) porque ainda lhes era lucrativo ignorar estes custos colectivos. No entanto, do ponto de vista do cidad\u00e3o comum e das pol\u00edticas p\u00fablicas, a abordagem prudente da AGI \u00e9 claramente prefer\u00edvel quando se somam os riscos e os benef\u00edcios. Existe uma via poss\u00edvel em que investimos o suficiente na seguran\u00e7a, na regulamenta\u00e7\u00e3o e nos tratados relativos \u00e0 IA para controlar os riscos de utiliza\u00e7\u00e3o indevida e de perda de controlo e<\/em> colher os benef\u00edcios da IA. Este \u00e9 o consenso do estudo Cimeira da Seguran\u00e7a da IA de 2023<\/a> (que re\u00fane 30 pa\u00edses) no Reino Unido, bem como o seguimento de 2024 em Seul e a Princ\u00edpios de Hiroshima do G7<\/a> sobre a IA, para n\u00e3o mencionar numerosas outras declara\u00e7\u00f5es intergovernamentais e propostas de legisla\u00e7\u00e3o na ONU, na UE e noutros locais....\"<\/p>\n\n\n\n

SE ACHA QUE OS TRATADOS INTERNACIONAIS N\u00c3O FUNCIONAM:<\/strong> \"\u00c9 verdade que os tratados internacionais s\u00e3o um desafio, mas h\u00e1 provas hist\u00f3ricas de que podem acontecer ou, pelo menos, de que essa hist\u00f3ria pode ajudar a compreender por que raz\u00e3o falham por vezes (a hist\u00f3ria da Plano Baruch<\/a> \u00e9 particularmente interessante, uma vez que os EUA propunham partilhar a investiga\u00e7\u00e3o e o desenvolvimento de armas nucleares com a URSS). Mesmo que n\u00e3o se tenha a certeza de que funcionariam, parecem ser uma via importante a explorar para evitar um resultado globalmente catastr\u00f3fico. Duas das condi\u00e7\u00f5es para o sucesso s\u00e3o (a) um interesse comum no tratado (neste caso, evitar a extin\u00e7\u00e3o da humanidade) e (b) a possibilidade de verifica\u00e7\u00e3o do cumprimento.<\/strong> Este \u00e9 um problema particular para a IA, que \u00e9 maioritariamente software, ou seja, f\u00e1cil de modificar e esconder, o que faz com que a desconfian\u00e7a ven\u00e7a um tratado que impediria efetivamente a assun\u00e7\u00e3o de riscos perigosos. No entanto, tem havido uma enxurrada de discuss\u00f5es sobre a possibilidade de mecanismos de governa\u00e7\u00e3o baseados em hardware<\/a>A Comiss\u00e3o Europeia prop\u00f5e um novo sistema de controlo da IA, atrav\u00e9s do qual os chips de topo de gama que permitem o treino da IA n\u00e3o podem ser escondidos e s\u00f3 permitem c\u00f3digo que tenha sido aprovado por uma autoridade escolhida mutuamente. Atualmente, a cadeia de fornecimento de chips topo de gama de IA tem muito poucos intervenientes, o que permite que os governos tenham um poss\u00edvel controlo sobre estes chips. ... nenhuma das ferramentas propostas para mitigar o risco catastr\u00f3fico da IA \u00e9 uma bala de prata: O que \u00e9 necess\u00e1rio \u00e9 \"defesa em profundidade<\/strong>\", colocando muitos m\u00e9todos de atenua\u00e7\u00e3o em camadas que defendem contra muitos cen\u00e1rios poss\u00edveis. \u00c9 importante notar que a governa\u00e7\u00e3o baseada no hardware n\u00e3o \u00e9 suficiente se o c\u00f3digo e os pesos dos sistemas AGI n\u00e3o estiverem protegidos (uma vez que a utiliza\u00e7\u00e3o ou a afina\u00e7\u00e3o desses modelos \u00e9 barata e n\u00e3o exige chips topo de gama ou os mais recentes), e esta \u00e9 uma \u00e1rea em que existe um grande consenso fora dos principais laborat\u00f3rios AGI (que n\u00e3o t\u00eam uma forte cultura de seguran\u00e7a) de que \u00e9 necess\u00e1ria uma transi\u00e7\u00e3o r\u00e1pida para uma seguran\u00e7a muito forte \u00e0 medida que a AGI se aproxima. Por \u00faltimo, os tratados n\u00e3o dizem respeito apenas aos EUA e \u00e0 China: A longo prazo, a seguran\u00e7a contra uma utiliza\u00e7\u00e3o indevida catastr\u00f3fica e a perda de controlo exige a participa\u00e7\u00e3o de todos os pa\u00edses. Mas porque \u00e9 que os pa\u00edses do Sul Global assinariam um tratado deste tipo? A resposta \u00f3bvia que vejo \u00e9 que esse tratado deve incluir a garantia de que a IA n\u00e3o \u00e9 utilizada como instrumento de domina\u00e7\u00e3o, incluindo a n\u00edvel econ\u00f3mico, e que os seus benef\u00edcios cient\u00edficos, tecnol\u00f3gicos e econ\u00f3micos devem ser partilhados globalmente...\" LER TUDO<\/a><\/p>\n\n\n\n

Foto abaixo: tal como temos um problema Norte\/Sul nas altera\u00e7\u00f5es clim\u00e1ticas, podemos acabar por ter um problema Norte\/Sul na IA<\/em><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n
\n\n\n\n

Abaixo: algumas vers\u00f5es \u00e1udio de IA das principais declara\u00e7\u00f5es de Joshua (estes clips N\u00c3O s\u00e3o a sua voz real - s\u00e3o todos avatares gerados por IA pela Eleven Labs)<\/p>\n\n\n\n

O c\u00e9rebro ainda funciona? Ler: Como podem surgir as IAs desonestas<\/a><\/h3>\n\n\n\n

Publicado 22 de maio de 2023<\/a> por yoshuabengio<\/a><\/p>\n\n\n\n

Ver o meu filme de 2023 em A IA e o futuro da humanidade: Look Up Now.<\/a><\/p>\n\n\n\n

\n