{"id":143031,"date":"2024-07-15T17:29:34","date_gmt":"2024-07-15T15:29:34","guid":{"rendered":"https:\/\/futuristgerd.com\/?p=143031"},"modified":"2024-07-15T17:39:28","modified_gmt":"2024-07-15T15:39:28","slug":"joshua-bengio-reasoning-through-arguments-against-taking-ai-safety-seriously-my-take-aways","status":"publish","type":"post","link":"https:\/\/futuristgerd.com\/es\/2024\/07\/joshua-bengio-reasoning-through-arguments-against-taking-ai-safety-seriously-my-take-aways\/","title":{"rendered":"Joshua Bengio: Razonamiento de los argumentos en contra de tomarse en serio la seguridad de la IA (mis conclusiones)"},"content":{"rendered":"

Leer Profesor de la Universidad de Montreal y ganador del Premio Turing JOSHUA BENGIO<\/a>asombroso post del 7 de julio de 2024 AQU\u00cd<\/a> (los gr\u00e1ficos, las estad\u00edsticas y las im\u00e1genes son de mi autor\u00eda). Si esto le interesa, no deje de acompa\u00f1arme esta semana, jueves y viernes, en mi sesiones en directo en AGI:)<\/a><\/p>\n\n\n\n

Se trata de un material brillante. \u00c9stos son mis puntos fuertes (lo s\u00e9... son muchos... \u00a1lo siento!)<\/p>\n\n\n\n

LO QUE EST\u00c1 EN JUEGO ES M\u00c1S IMPORTANTE QUE NUNCA.<\/strong> \"La (AGI)<\/a> La cuesti\u00f3n es tan candente porque hay mucho en juego: Seg\u00fan algunas estimaciones, cuatrillones de d\u00f3lares<\/a> de valor neto actual est\u00e1n en juego, por no hablar de un poder pol\u00edtico lo bastante grande como para alterar significativamente el actual orden mundial. He publicado un documento sobre la gobernanza multilateral de los laboratorios AGI<\/a> y he pasado mucho tiempo pensando en los riesgos catastr\u00f3ficos de la IA y su mitigaci\u00f3n, tanto en el aspecto t\u00e9cnico como en el de la gobernanza y la pol\u00edtica. En los \u00faltimos siete meses, he presidido (y sigo presidiendo) la Informe cient\u00edfico internacional sobre la seguridad de la IA avanzada<\/a> (\"el informe\", abajo), en el que participaron un grupo de 30 pa\u00edses, adem\u00e1s de la UE y la ONU, y m\u00e1s de 70 expertos internacionales para sintetizar el estado de la ciencia en materia de seguridad de la IA, ilustrando la amplia diversidad de opiniones sobre los riesgos y tendencias de la IA. Hoy, tras un intenso a\u00f1o de lucha con estas cuestiones cr\u00edticas, me gustar\u00eda revisar los argumentos esgrimidos sobre el potencial de riesgos catastr\u00f3ficos asociados a los sistemas de IA previstos en el futuro, y compartir mis \u00faltimas reflexiones\".<\/p>\n\n\n\n

\"Lo m\u00e1s importante es darse cuenta, a trav\u00e9s de todo el ruido de discusiones y debates, de un hecho muy simple e indiscutible: mientras corremos hacia AGI o incluso ASI, nadie sabe actualmente c\u00f3mo se podr\u00eda hacer que tal AGI o ASI se comportara moralmente, o al menos se comportara como pretend\u00edan sus desarrolladores y no se volviera contra los humanos<\/strong>\u201c<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

EL PROBLEMA DE LA COORDINACI\u00d3N: \"Adem\u00e1s, aunque se conociera la forma de controlar un ASI, seguir\u00edan faltando instituciones pol\u00edticas que se aseguraran de que el poder de la AGI o el ASI no fuera utilizado de forma abusiva por humanos contra humanos a una escala catastr\u00f3fica, para destruir la democracia o provocar el caos geopol\u00edtico y econ\u00f3mico o la distop\u00eda. Tenemos que asegurarnos de que ning\u00fan ser humano, ninguna empresa ni ning\u00fan gobierno pueda abusar del poder de la inteligencia artificial a expensas del bien com\u00fan.<\/em>.<\/strong> Tenemos que asegurarnos de que las corporaciones no utilicen la AGI para cooptar a sus gobiernos y los gobiernos la utilicen para oprimir a sus pueblos y las naciones la utilicen para dominar internacionalmente. Y al mismo tiempo, tenemos que asegurarnos de evitar accidentes catastr\u00f3ficos de p\u00e9rdida de control con sistemas AGI, en cualquier parte del planeta. Todo esto puede llamarse problema de coordinaci\u00f3n, <\/em>es decir, la pol\u00edtica de la IA. Si el problema de la coordinaci\u00f3n se resolviera perfectamente, resolver el problema de la alineaci\u00f3n y el control de la IA no ser\u00eda una necesidad absoluta: podr\u00edamos \"simplemente\" aplicar colectivamente el principio de precauci\u00f3n y evitar hacer experimentos en cualquier lugar con un riesgo no trivial de construir AGI incontroladas...\" M\u00c1S<\/a><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

LA CARRERA DE ARMAS DE LA IA EST\u00c1 LLEGANDO: \"Sin embargo, a partir de ahora, nos dirigimos hacia un mundo con entidades m\u00e1s inteligentes que los humanos y que persiguen sus propios objetivos, sin un m\u00e9todo fiable para que los humanos se aseguren de que esos objetivos son compatibles con los humanos. No obstante, en mis conversaciones sobre la seguridad de la IA he o\u00eddo varios argumentos que pretenden apoyar una conclusi\u00f3n de \"no hay que preocuparse\". Mi respuesta general a la mayor\u00eda de estos argumentos es que, dados los convincentes argumentos b\u00e1sicos de por qu\u00e9 la carrera hacia la inteligencia artificial podr\u00eda ser peligrosa, y dado lo mucho que est\u00e1 en juego, deber\u00edamos aspirar a tener pruebas muy s\u00f3lidas antes de concluir que no hay nada de qu\u00e9 preocuparse\".<\/p>\n\n\n\n

LA CONCIENCIA NO ES UN REQUISITOMENT PARA ALCANZAR LA AGI<\/strong>: \"La conciencia no es necesaria ni para la AGI ni para la ASI (al menos para la mayor\u00eda de las definiciones de estos t\u00e9rminos que conozco), y no importar\u00e1 necesariamente para el riesgo existencial potencial de la AGI. Lo que m\u00e1s importar\u00e1 son las capacidades e intenciones de los sistemas ASI. Si pueden matar humanos (es una capacidad entre otras que se pueden aprender o deducir de otras habilidades) y tienen ese objetivo (y ya tenemos sistemas de IA con objetivos), esto podr\u00eda ser muy peligroso a menos que se encuentre una forma de evitarlo o contramedidas\". L\u00e9alo todo.<\/a><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

SO \u00bfQU\u00c9 PODR\u00cdA CONSEGUIR REALMENTE LA AGI?<\/strong> \"Tambi\u00e9n encuentro afirmaciones como \"Las IAs no pueden tener verdadero<\/em> inteligencia\" o \"Las IAs s\u00f3lo predicen la siguiente palabra\" poco convincente. Estoy de acuerdo en que si se define \"verdadero\"<\/em> inteligencia como \"la forma en que los humanos son inteligentes\", las IAs no tienen \"verdadero<\/em>\"Su forma de procesar la informaci\u00f3n y razonar es distinta de la nuestra. Pero en una conversaci\u00f3n sobre los posibles riesgos catastr\u00f3ficos de la IA, esto es una distracci\u00f3n. Lo que importa en una conversaci\u00f3n de este tipo es: \u00bfQu\u00e9 puede conseguir la IA? \u00bfQu\u00e9 capacidad tiene para resolver problemas? As\u00ed es como yo concibo la \"AGI\" y la \"ASI\": un nivel de capacidades de IA en el que una IA es tan buena o mejor que un experto humano a la hora de resolver b\u00e1sicamente cualquier problema (excluyendo los problemas que requieren acciones f\u00edsicas). C\u00f3mo<\/em> que la IA sea capaz de ello no cambia la existencia del riesgo. Y si observamos las capacidades de los sistemas de IA a lo largo de d\u00e9cadas de investigaci\u00f3n, hay una tendencia muy clara al aumento de las capacidades. Tambi\u00e9n existe el nivel actual de capacidad de la IA, con un nivel muy alto de dominio del lenguaje y del material visual, y cada vez m\u00e1s capacidades en una variedad m\u00e1s amplia de tareas cognitivas. V\u00e9ase tambi\u00e9n \"el informe\" para muchas m\u00e1s pruebas, incluidas las discrepancias sobre las capacidades actuales reales. Por \u00faltimo, no hay ninguna raz\u00f3n cient\u00edfica para creer que la humanidad se encuentra en la c\u00faspide de la inteligencia: De hecho, en muchas tareas cognitivas especializadas, los ordenadores ya superan a los humanos. Por lo tanto, incluso la ASI es plausible (aunque no se sabe a qu\u00e9 nivel) y, a menos que uno se base en argumentos basados en creencias personales y no en la ciencia, no se puede descartar la posibilidad de la AGI y la ASI\".<\/p>\n\n\n\n

\u00bfUNA AI QUE INVESTIGA AI?<\/strong> \"No es necesario cubrir todas las capacidades humanas para desbloquear peligrosos escenarios de riesgo existencial: basta con construir sistemas de IA que igualen las capacidades humanas m\u00e1s altas en t\u00e9rminos de investigaci\u00f3n de IA. Una \u00fanica IA entrenada con esta capacidad proporcionar\u00eda cientos de miles de instancias capaces de trabajar ininterrumpidamente (al igual que un \u00fanico GPT-4 puede servir a millones de personas en paralelo porque la inferencia puede paralelizarse trivialmente), multiplicando inmediatamente por un gran m\u00faltiplo la mano de obra de investigaci\u00f3n en IA (posiblemente todo dentro de una \u00fanica corporaci\u00f3n). Esto probablemente acelerar\u00eda las capacidades de IA a pasos agigantados, en una direcci\u00f3n con muchas inc\u00f3gnitas desconocidas a medida que pasamos, posiblemente en cuesti\u00f3n de meses, de la AGI a la ASI.<\/p>\n\n\n\n

VALORAR INTELLIGENCE POR ENCIMA DE LA HUMANIDAD<\/strong>? Pero, \u00bfpor qu\u00e9 tendr\u00eda una IA un fuerte objetivo de autoconservaci\u00f3n? Como sigo diciendo, esto podr\u00eda ser simplemente el don hecho por un Una peque\u00f1a minor\u00eda de humanos dar\u00eda la bienvenida a los se\u00f1ores de la IA, quiz\u00e1 porque valoran la inteligencia por encima de la humanidad.<\/strong>. Adem\u00e1s, una serie de argumentos t\u00e9cnicos (en torno a los objetivos instrumentales o la manipulaci\u00f3n de recompensas) sugieren que tales objetivos podr\u00edan surgir como efectos secundarios u objetivos inocuos dados por el ser humano (v\u00e9ase \"el informe\" y la vasta bibliograf\u00eda all\u00ed citada, as\u00ed como la diversidad de opiniones sobre la p\u00e9rdida de control que ilustran la incertidumbre cient\u00edfica sobre esta cuesti\u00f3n). Ser\u00eda un error pensar que los futuros sistemas de IA ser\u00e1n necesariamente como nosotros, con los mismos instintos b\u00e1sicos. No lo sabemos con certeza, y la forma en que los dise\u00f1amos actualmente (como maximizadores de recompensa, por ejemplo) apuntan en una direcci\u00f3n muy diferente<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

EL BENEFICIO POR ENCIMA DE LA SEGURIDAD<\/strong>: \"El problema surge cuando la seguridad y la maximizaci\u00f3n de beneficios o la cultura de empresa (\"moverse r\u00e1pido y romper cosas<\/a>\") no est\u00e1n alineados. Hay muchas pruebas hist\u00f3ricas (pensemos en las empresas de combustibles f\u00f3siles y el clima, o en las farmac\u00e9uticas antes de la FDA, por ejemplo, con la talidomida, etc.) e investigaciones en econom\u00eda que demuestran que la maximizaci\u00f3n del beneficio puede dar lugar a un comportamiento empresarial contrario al inter\u00e9s p\u00fablico. Como la incertidumbre sobre los riesgos futuros es tan grande, es f\u00e1cil para un grupo de desarrolladores convencerse de que encontrar\u00e1n una soluci\u00f3n suficiente al problema de la seguridad de la IA (v\u00e9ase tambi\u00e9n mi an\u00e1lisis de los factores psicol\u00f3gicos en una pr\u00f3xima entrada del blog)...\" Leer m\u00e1s<\/a><\/p>\n\n\n\n

SOBRE EL ACELERACIONISMO EFECTIVO<\/strong>: \"El argumento central es que se considera probable que los futuros avances en IA aporten beneficios asombrosos a la humanidad y que ralentizar la investigaci\u00f3n de las capacidades de la IA equivaldr\u00eda a renunciar a un crecimiento econ\u00f3mico y social extraordinario. Es muy posible, pero en cualquier proceso racional de toma de decisiones hay que poner en la balanza tanto los pros como los contras de cualquier elecci\u00f3n. Si logramos avances m\u00e9dicos que dupliquen r\u00e1pidamente nuestra esperanza de vida, pero asumimos el riesgo de que todos muramos o perdamos nuestra libertad y democracia, entonces la apuesta aceleracionista no vale gran cosa. En cambio, puede que merezca la pena ir m\u00e1s despacio, encontrar la cura del c\u00e1ncer un poco m\u00e1s tarde e invertir sabiamente en investigaci\u00f3n para asegurarnos de que podemos controlar adecuadamente esos riesgos al tiempo que cosechamos cualquier beneficio global. En muchos casos, estos argumentos aceleracionistas proceden de individuos extremadamente ricos y de grupos de presi\u00f3n de empresas tecnol\u00f3gicas con un inter\u00e9s financiero creado en maximizar la rentabilidad a corto plazo. Desde su punto de vista racional, los riesgos de la IA son una externalidad econ\u00f3mica cuyo coste soporta todo el mundo. Esta es una situaci\u00f3n familiar que hemos visto con corporaciones que asumen riesgos (como el riesgo clim\u00e1tico con los combustibles f\u00f3siles, o el riesgo de horribles efectos secundarios de medicamentos como la talidomida) porque les segu\u00eda siendo rentable ignorar estos costes colectivos. Sin embargo, desde el punto de vista de los ciudadanos de a pie y de las pol\u00edticas p\u00fablicas, el enfoque prudente hacia la AGI es claramente preferible cuando se suman los riesgos y los beneficios. Hay un camino posible en el que invertimos lo suficiente en seguridad, regulaci\u00f3n y tratados sobre IA para controlar el mal uso y los riesgos de p\u00e9rdida de control y<\/em> cosechar los beneficios de la IA. Este es el consenso que se desprende del 2023 Cumbre sobre seguridad de la IA<\/a> (que reunir\u00e1 a 30 pa\u00edses) en el Reino Unido, as\u00ed como el seguimiento de 2024 en Se\u00fal y el Principios de Hiroshima del G7<\/a> sobre AI, por no mencionar otras numerosas declaraciones intergubernamentales y propuestas legislativas en la ONU, la UE y otros lugares....\".<\/p>\n\n\n\n

SI CREES QUE LOS TRATADOS INTERNACIONALES NO FUNCIONAN:<\/strong> \"Es cierto que los tratados internacionales suponen un reto, pero hay pruebas hist\u00f3ricas de que pueden suceder o, al menos, esta historia puede ayudar a entender por qu\u00e9 a veces fracasan (la historia de la Plan Baruch<\/a> es especialmente interesante, ya que EE.UU. propon\u00eda compartir I+D en armas nucleares con la URSS). Aunque no es seguro que funcionen, parecen una v\u00eda importante a explorar para evitar un desenlace catastr\u00f3fico a escala mundial.. Dos de las condiciones para el \u00e9xito son (a) un inter\u00e9s com\u00fan en el tratado (en este caso, evitar la extinci\u00f3n de la humanidad) y (b) la verificabilidad del cumplimiento.<\/strong> Se trata de un problema particular para la IA, que en su mayor parte es software, es decir, f\u00e1cil de modificar y ocultar, lo que hace que la desconfianza gane la partida a un tratado que impedir\u00eda eficazmente correr riesgos peligrosos. Sin embargo, ha habido un aluvi\u00f3n de debates sobre la posibilidad de mecanismos de gobernanza basados en hardware<\/a>En la actualidad, la cadena de suministro de chips de IA de gama alta cuenta con muy pocos actores, lo que permite a los gobiernos controlar estos chips. La cadena de suministro de chips de IA de gama alta cuenta actualmente con muy pocos actores, lo que permite a los gobiernos controlar estos chips. ... ninguna de las herramientas propuestas para mitigar el riesgo catastr\u00f3fico de la IA es una bala de plata: Lo que se necesita es \"defensa en profundidad<\/strong>\", superponiendo muchos m\u00e9todos de mitigaci\u00f3n de forma que se defiendan contra muchos escenarios posibles. Es importante destacar que la gobernanza basada en hardware no es suficiente si el c\u00f3digo y los pesos de los sistemas AGI no est\u00e1n asegurados (ya que utilizar o afinar dichos modelos es barato y no requiere chips de gama alta o de \u00faltima generaci\u00f3n), y en este \u00e1mbito existe un gran acuerdo fuera de los principales laboratorios AGI (que no tienen una fuerte cultura de seguridad) en que es necesaria una r\u00e1pida transici\u00f3n hacia una seguridad muy fuerte a medida que se acerca la AGI. Por \u00faltimo, los tratados no se refieren \u00fanicamente a Estados Unidos y China: A largo plazo, la seguridad contra el mal uso catastr\u00f3fico y la p\u00e9rdida de control requiere que todos los pa\u00edses est\u00e9n a bordo. Pero, \u00bfpor qu\u00e9 iban a firmar un tratado de este tipo los pa\u00edses del Sur Global? La respuesta obvia que veo es que dicho tratado debe incluir que la IA no se utilice como herramienta de dominaci\u00f3n, ni siquiera econ\u00f3mica, y que sus beneficios cient\u00edficos, tecnol\u00f3gicos y econ\u00f3micos deben compartirse a nivel mundial...\" LEERLO TODO<\/a><\/p>\n\n\n\n

Imagen inferior: Al igual que tenemos un problema Norte\/Sur en el cambio clim\u00e1tico, podemos acabar teniendo un problema Norte\/Sur en la IA.<\/em><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n
\n\n\n\n

A continuaci\u00f3n, algunas versiones de audio de IA de las declaraciones clave de Joshua (estos clips NO son su voz real, son avatares generados por IA de Eleven Labs).<\/p>\n\n\n\n

\u00bfSigue funcionando el cerebro? Lee: C\u00f3mo pueden surgir las IAs rebeldes<\/a><\/h3>\n\n\n\n

Publicado en 22 de mayo de 2023<\/a> por yoshuabengio<\/a><\/p>\n\n\n\n

Vea mi pel\u00edcula 2023 en La IA y el futuro de la humanidad: Look Up Now.<\/a><\/p>\n\n\n\n

\n