Leer Profesor de la Universidad de Montreal y ganador del Premio Turing JOSHUA BENGIOasombroso post del 7 de julio de 2024 AQUÍ (los gráficos, las estadísticas y las imágenes son de mi autoría). Si esto le interesa, no deje de acompañarme esta semana, jueves y viernes, en mi sesiones en directo en AGI:)

Se trata de un material brillante. Éstos son mis puntos fuertes (lo sé... son muchos... ¡lo siento!)

LO QUE ESTÁ EN JUEGO ES MÁS IMPORTANTE QUE NUNCA. "La (AGI) La cuestión es tan candente porque hay mucho en juego: Según algunas estimaciones, cuatrillones de dólares de valor neto actual están en juego, por no hablar de un poder político lo bastante grande como para alterar significativamente el actual orden mundial. He publicado un documento sobre la gobernanza multilateral de los laboratorios AGI y he pasado mucho tiempo pensando en los riesgos catastróficos de la IA y su mitigación, tanto en el aspecto técnico como en el de la gobernanza y la política. En los últimos siete meses, he presidido (y sigo presidiendo) la Informe científico internacional sobre la seguridad de la IA avanzada ("el informe", abajo), en el que participaron un grupo de 30 países, además de la UE y la ONU, y más de 70 expertos internacionales para sintetizar el estado de la ciencia en materia de seguridad de la IA, ilustrando la amplia diversidad de opiniones sobre los riesgos y tendencias de la IA. Hoy, tras un intenso año de lucha con estas cuestiones críticas, me gustaría revisar los argumentos esgrimidos sobre el potencial de riesgos catastróficos asociados a los sistemas de IA previstos en el futuro, y compartir mis últimas reflexiones".

"Lo más importante es darse cuenta, a través de todo el ruido de discusiones y debates, de un hecho muy simple e indiscutible: mientras corremos hacia AGI o incluso ASI, nadie sabe actualmente cómo se podría hacer que tal AGI o ASI se comportara moralmente, o al menos se comportara como pretendían sus desarrolladores y no se volviera contra los humanos“

EL PROBLEMA DE LA COORDINACIÓN: "Además, aunque se conociera la forma de controlar un ASI, seguirían faltando instituciones políticas que se aseguraran de que el poder de la AGI o el ASI no fuera utilizado de forma abusiva por humanos contra humanos a una escala catastrófica, para destruir la democracia o provocar el caos geopolítico y económico o la distopía. Tenemos que asegurarnos de que ningún ser humano, ninguna empresa ni ningún gobierno pueda abusar del poder de la inteligencia artificial a expensas del bien común.. Tenemos que asegurarnos de que las corporaciones no utilicen la AGI para cooptar a sus gobiernos y los gobiernos la utilicen para oprimir a sus pueblos y las naciones la utilicen para dominar internacionalmente. Y al mismo tiempo, tenemos que asegurarnos de evitar accidentes catastróficos de pérdida de control con sistemas AGI, en cualquier parte del planeta. Todo esto puede llamarse problema de coordinación, es decir, la política de la IA. Si el problema de la coordinación se resolviera perfectamente, resolver el problema de la alineación y el control de la IA no sería una necesidad absoluta: podríamos "simplemente" aplicar colectivamente el principio de precaución y evitar hacer experimentos en cualquier lugar con un riesgo no trivial de construir AGI incontroladas..." MÁS

LA CARRERA DE ARMAS DE LA IA ESTÁ LLEGANDO: "Sin embargo, a partir de ahora, nos dirigimos hacia un mundo con entidades más inteligentes que los humanos y que persiguen sus propios objetivos, sin un método fiable para que los humanos se aseguren de que esos objetivos son compatibles con los humanos. No obstante, en mis conversaciones sobre la seguridad de la IA he oído varios argumentos que pretenden apoyar una conclusión de "no hay que preocuparse". Mi respuesta general a la mayoría de estos argumentos es que, dados los convincentes argumentos básicos de por qué la carrera hacia la inteligencia artificial podría ser peligrosa, y dado lo mucho que está en juego, deberíamos aspirar a tener pruebas muy sólidas antes de concluir que no hay nada de qué preocuparse".

LA CONCIENCIA NO ES UN REQUISITOMENT PARA ALCANZAR LA AGI: "La conciencia no es necesaria ni para la AGI ni para la ASI (al menos para la mayoría de las definiciones de estos términos que conozco), y no importará necesariamente para el riesgo existencial potencial de la AGI. Lo que más importará son las capacidades e intenciones de los sistemas ASI. Si pueden matar humanos (es una capacidad entre otras que se pueden aprender o deducir de otras habilidades) y tienen ese objetivo (y ya tenemos sistemas de IA con objetivos), esto podría ser muy peligroso a menos que se encuentre una forma de evitarlo o contramedidas". Léalo todo.

SO ¿QUÉ PODRÍA CONSEGUIR REALMENTE LA AGI? "También encuentro afirmaciones como "Las IAs no pueden tener verdadero inteligencia" o "Las IAs sólo predicen la siguiente palabra" poco convincente. Estoy de acuerdo en que si se define "verdadero" inteligencia como "la forma en que los humanos son inteligentes", las IAs no tienen "verdadero"Su forma de procesar la información y razonar es distinta de la nuestra. Pero en una conversación sobre los posibles riesgos catastróficos de la IA, esto es una distracción. Lo que importa en una conversación de este tipo es: ¿Qué puede conseguir la IA? ¿Qué capacidad tiene para resolver problemas? Así es como yo concibo la "AGI" y la "ASI": un nivel de capacidades de IA en el que una IA es tan buena o mejor que un experto humano a la hora de resolver básicamente cualquier problema (excluyendo los problemas que requieren acciones físicas). Cómo que la IA sea capaz de ello no cambia la existencia del riesgo. Y si observamos las capacidades de los sistemas de IA a lo largo de décadas de investigación, hay una tendencia muy clara al aumento de las capacidades. También existe el nivel actual de capacidad de la IA, con un nivel muy alto de dominio del lenguaje y del material visual, y cada vez más capacidades en una variedad más amplia de tareas cognitivas. Véase también "el informe" para muchas más pruebas, incluidas las discrepancias sobre las capacidades actuales reales. Por último, no hay ninguna razón científica para creer que la humanidad se encuentra en la cúspide de la inteligencia: De hecho, en muchas tareas cognitivas especializadas, los ordenadores ya superan a los humanos. Por lo tanto, incluso la ASI es plausible (aunque no se sabe a qué nivel) y, a menos que uno se base en argumentos basados en creencias personales y no en la ciencia, no se puede descartar la posibilidad de la AGI y la ASI".

¿UNA AI QUE INVESTIGA AI? "No es necesario cubrir todas las capacidades humanas para desbloquear peligrosos escenarios de riesgo existencial: basta con construir sistemas de IA que igualen las capacidades humanas más altas en términos de investigación de IA. Una única IA entrenada con esta capacidad proporcionaría cientos de miles de instancias capaces de trabajar ininterrumpidamente (al igual que un único GPT-4 puede servir a millones de personas en paralelo porque la inferencia puede paralelizarse trivialmente), multiplicando inmediatamente por un gran múltiplo la mano de obra de investigación en IA (posiblemente todo dentro de una única corporación). Esto probablemente aceleraría las capacidades de IA a pasos agigantados, en una dirección con muchas incógnitas desconocidas a medida que pasamos, posiblemente en cuestión de meses, de la AGI a la ASI.

VALORAR INTELLIGENCE POR ENCIMA DE LA HUMANIDAD? Pero, ¿por qué tendría una IA un fuerte objetivo de autoconservación? Como sigo diciendo, esto podría ser simplemente el don hecho por un Una pequeña minoría de humanos daría la bienvenida a los señores de la IA, quizá porque valoran la inteligencia por encima de la humanidad.. Además, una serie de argumentos técnicos (en torno a los objetivos instrumentales o la manipulación de recompensas) sugieren que tales objetivos podrían surgir como efectos secundarios u objetivos inocuos dados por el ser humano (véase "el informe" y la vasta bibliografía allí citada, así como la diversidad de opiniones sobre la pérdida de control que ilustran la incertidumbre científica sobre esta cuestión). Sería un error pensar que los futuros sistemas de IA serán necesariamente como nosotros, con los mismos instintos básicos. No lo sabemos con certeza, y la forma en que los diseñamos actualmente (como maximizadores de recompensa, por ejemplo) apuntan en una dirección muy diferente

EL BENEFICIO POR ENCIMA DE LA SEGURIDAD: "El problema surge cuando la seguridad y la maximización de beneficios o la cultura de empresa ("moverse rápido y romper cosas") no están alineados. Hay muchas pruebas históricas (pensemos en las empresas de combustibles fósiles y el clima, o en las farmacéuticas antes de la FDA, por ejemplo, con la talidomida, etc.) e investigaciones en economía que demuestran que la maximización del beneficio puede dar lugar a un comportamiento empresarial contrario al interés público. Como la incertidumbre sobre los riesgos futuros es tan grande, es fácil para un grupo de desarrolladores convencerse de que encontrarán una solución suficiente al problema de la seguridad de la IA (véase también mi análisis de los factores psicológicos en una próxima entrada del blog)..." Leer más

SOBRE EL ACELERACIONISMO EFECTIVO: "El argumento central es que se considera probable que los futuros avances en IA aporten beneficios asombrosos a la humanidad y que ralentizar la investigación de las capacidades de la IA equivaldría a renunciar a un crecimiento económico y social extraordinario. Es muy posible, pero en cualquier proceso racional de toma de decisiones hay que poner en la balanza tanto los pros como los contras de cualquier elección. Si logramos avances médicos que dupliquen rápidamente nuestra esperanza de vida, pero asumimos el riesgo de que todos muramos o perdamos nuestra libertad y democracia, entonces la apuesta aceleracionista no vale gran cosa. En cambio, puede que merezca la pena ir más despacio, encontrar la cura del cáncer un poco más tarde e invertir sabiamente en investigación para asegurarnos de que podemos controlar adecuadamente esos riesgos al tiempo que cosechamos cualquier beneficio global. En muchos casos, estos argumentos aceleracionistas proceden de individuos extremadamente ricos y de grupos de presión de empresas tecnológicas con un interés financiero creado en maximizar la rentabilidad a corto plazo. Desde su punto de vista racional, los riesgos de la IA son una externalidad económica cuyo coste soporta todo el mundo. Esta es una situación familiar que hemos visto con corporaciones que asumen riesgos (como el riesgo climático con los combustibles fósiles, o el riesgo de horribles efectos secundarios de medicamentos como la talidomida) porque les seguía siendo rentable ignorar estos costes colectivos. Sin embargo, desde el punto de vista de los ciudadanos de a pie y de las políticas públicas, el enfoque prudente hacia la AGI es claramente preferible cuando se suman los riesgos y los beneficios. Hay un camino posible en el que invertimos lo suficiente en seguridad, regulación y tratados sobre IA para controlar el mal uso y los riesgos de pérdida de control y cosechar los beneficios de la IA. Este es el consenso que se desprende del 2023 Cumbre sobre seguridad de la IA (que reunirá a 30 países) en el Reino Unido, así como el seguimiento de 2024 en Seúl y el Principios de Hiroshima del G7 sobre AI, por no mencionar otras numerosas declaraciones intergubernamentales y propuestas legislativas en la ONU, la UE y otros lugares....".

SI CREES QUE LOS TRATADOS INTERNACIONALES NO FUNCIONAN: "Es cierto que los tratados internacionales suponen un reto, pero hay pruebas históricas de que pueden suceder o, al menos, esta historia puede ayudar a entender por qué a veces fracasan (la historia de la Plan Baruch es especialmente interesante, ya que EE.UU. proponía compartir I+D en armas nucleares con la URSS). Aunque no es seguro que funcionen, parecen una vía importante a explorar para evitar un desenlace catastrófico a escala mundial.. Dos de las condiciones para el éxito son (a) un interés común en el tratado (en este caso, evitar la extinción de la humanidad) y (b) la verificabilidad del cumplimiento. Se trata de un problema particular para la IA, que en su mayor parte es software, es decir, fácil de modificar y ocultar, lo que hace que la desconfianza gane la partida a un tratado que impediría eficazmente correr riesgos peligrosos. Sin embargo, ha habido un aluvión de debates sobre la posibilidad de mecanismos de gobernanza basados en hardwareEn la actualidad, la cadena de suministro de chips de IA de gama alta cuenta con muy pocos actores, lo que permite a los gobiernos controlar estos chips. La cadena de suministro de chips de IA de gama alta cuenta actualmente con muy pocos actores, lo que permite a los gobiernos controlar estos chips. ... ninguna de las herramientas propuestas para mitigar el riesgo catastrófico de la IA es una bala de plata: Lo que se necesita es "defensa en profundidad", superponiendo muchos métodos de mitigación de forma que se defiendan contra muchos escenarios posibles. Es importante destacar que la gobernanza basada en hardware no es suficiente si el código y los pesos de los sistemas AGI no están asegurados (ya que utilizar o afinar dichos modelos es barato y no requiere chips de gama alta o de última generación), y en este ámbito existe un gran acuerdo fuera de los principales laboratorios AGI (que no tienen una fuerte cultura de seguridad) en que es necesaria una rápida transición hacia una seguridad muy fuerte a medida que se acerca la AGI. Por último, los tratados no se refieren únicamente a Estados Unidos y China: A largo plazo, la seguridad contra el mal uso catastrófico y la pérdida de control requiere que todos los países estén a bordo. Pero, ¿por qué iban a firmar un tratado de este tipo los países del Sur Global? La respuesta obvia que veo es que dicho tratado debe incluir que la IA no se utilice como herramienta de dominación, ni siquiera económica, y que sus beneficios científicos, tecnológicos y económicos deben compartirse a nivel mundial..." LEERLO TODO

Imagen inferior: Al igual que tenemos un problema Norte/Sur en el cambio climático, podemos acabar teniendo un problema Norte/Sur en la IA.

---

A continuación, algunas versiones de audio de IA de las declaraciones clave de Joshua (estos clips NO son su voz real, son avatares generados por IA de Eleven Labs).

¿Sigue funcionando el cerebro? Lee: Cómo pueden surgir las IAs rebeldes

Publicado en 22 de mayo de 2023 por yoshuabengio

Vea mi película 2023 en La IA y el futuro de la humanidad: Look Up Now.