Actualización: ‘Señal de advertencia aterradora’: Anthropic retrasa el lanzamiento público del modelo de IA MYTHOS por preocupaciones de seguridad: CNN Video, y el mío:)
Este es un imperdible de 5 estrellas que presenta Jacob Ward y Thomas Friedman (NYT). He dicho esto incontables veces en los últimos 3 años: ¡necesitamos urgentemente un consejo global de seguridad de IA AHORA, no un Proyecto Manhattan!
Estamos en un PUNTO DE INFLEXIÓN: Una IA que podría encontrar instantáneamente errores y puertas traseras para cualquier sistema informático global, sitios web, aplicaciones, dispositivos y nubes... que paralizaría al mundo. Esto es 500 veces más importante que los ya muy preocupantes problemas geopolíticos, también conocidos como #thebadfuture
Actualizado: algunas citas de otros lugares, abajo :).
“Anthropic ha decidido no lanzar su último modelo de IA llamado #mito al público en general. Ahora bien, esta versión es aparentemente tan avanzada que puede encontrar vulnerabilidades en una gran variedad de aplicaciones de software, lo cual es a la vez un gran gran avance potencial para mejorar la ciberseguridad y también un gran peligro si es utilizada por delincuentes u otros para hackear sistemas... Tom, usted escribe que esto es potencialmente un punto de inflexión tan fundamental y significativo como lo fue la aparición de la destrucción mutua asegurada y la necesidad de la no proliferación nuclear.
Esa es una declaración enorme. Nuestra economía ahora, todos nuestros sistemas más grandes, nuestros sistemas de agua, nuestras aerolíneas, nuestros aeropuertos, nuestros sistemas de transporte y telecomunicaciones, todos funcionan con software y sistemas operativos, al igual que los de todas las demás economías importantes del mundo con las que estamos interconectados. Si básicamente ahora tenemos un software que no solo es fantásticamente bueno escribiendo código nuevo, sino que resulta ser fantásticamente bueno encontrando errores en tu propio código o en el de otros. Esa herramienta, ese poder ahora se puede usar en todo el mundo. Estaría en manos de todos. Imagina un mundo donde todos tuvieran un bazuca nuclear, básicamente... Estamos dando a luz a una nueva especie. No está basada en carbono como nosotros, sino en silicio. Pero es una nueva especie que tendremos que aprender a controlar y con la que colaborar antes de que nos convierta en su mascota. Así que este es el frente de un problema realmente grande...”
Lo peor de esto es que mientras Antrópico y Darío Amodei ha dicho que NO publicará Mythos debido a estas preocupaciones, la mayoría de las otras empresas de IA como la ‘New Tyrell' OpenAI no tendrá tal escrúpulo. Esto está sucediendo AHORA.
“Este no es un cambio marginal en el panorama de las amenazas. Cada institución que fija el precio del riesgo cibernético (aseguradoras, inversores en infraestructura, gobiernos) ha construido sus modelos sobre una suposición fundamental: que la capacidad ofensiva requiere experiencia humana escasa. Mythos elimina esa escasez. No es sorprendente que el Secretario del Tesoro, Scott Bessent convocó a los directores ejecutivos de Wall Street con poca antelación. Bessent entendió rápidamente el riesgo sistémico, pero los mercados aún no han llegado a la misma conclusión… El modelo de amenaza que sustenta las primas de seguros cibernéticos se basa en una década de ransomware, robo de datos y extorsión: patrones de ataque lentos, secuenciales y limitados por humanos. Un agente autónomo opera de manera diferente: miles de vectores de ataque en paralelo, aprendiendo de las respuestas, adaptándose en tiempo real. Ya se pronostica que las primas aumentarán entre un 15% y un 20% durante los próximos doce meses, pero esa cifra aún asume la antigua geometría de amenazas… Las reaseguradoras se enfrentan a algo peor que reclamaciones más altas: un riesgo que las metodologías actuales no pueden valorar adecuadamente. No se puede asegurar lo que no se puede modelar…¿Qué arquitectura de gobernanza podría abordar esto? Actualmente no existe nada adecuado en la línea del modelo de la Agencia Internacional de Energía Atómica (OIEA), que hizo que una tecnología existencial fuera legible, inspeccionable y gobernable. Las evaluaciones obligatorias de capacidad por parte de terceros antes del lanzamiento serían un comienzo, pero requieren coordinación internacional y un nivel de acceso técnico a los sistemas de vanguardia que ningún organismo regulador tiene actualmente.” Azeem Azhar
Vía The Economist: According to Anthropic, the capabilities of Mythos are “substantially beyond those of any model we have previously trained”. The lab says it is particularly alarmed by the system’s ability to find software vulnerabilities and either fix them (if set to work as a defender) or exploit them (if acting as a hacker). Such claims ought normally to be taken with a pinch of salt. Anthropic built the model, ran the tests—and stands to benefit from the perception that its system is far more brilliant than anything to have come before it. The lab has been on a roll lately. On April 6th it announced that its annualised revenue had reached $30bn, up from just $9bn at the end of last year. It is surely eager to maintain its momentum.
Sin embargo, hay razones para tomarse en serio las últimas advertencias de Anthropic. La primera es su gravedad: Anthropic dice que Mythos ya ha encontrado vulnerabilidades graves en “todos los sistemas operativos y navegadores web importantes”, incluida una que había pasado desapercibida durante 27 años... Los hackers no son los únicos que podrían estar molestos por el Proyecto Glasswing. El gobierno de Estados Unidos ha buscado durante mucho tiempo explotar las debilidades de las ciberdefensas de sus adversarios.. Eso ha significado acumular vulnerabilidades aún no descubiertas, incluso en software estadounidense utilizado en el extranjero, para usarlas en un momento en que estos “días cero” tendrán el mayor impacto. Si el Proyecto Glasswing funciona, podría desarmar muchas de las armas cibernéticas de Estados Unidos.”
Thomas Friedman a través del NTYLa buena noticia es que Anthropic descubrió en el proceso de desarrollo de Claude Mythos que la IA no solo podía escribir código de software con mayor facilidad y complejidad que cualquier modelo disponible actualmente, sino que, como subproducto de esa capacidad, también podía encontrar vulnerabilidades en prácticamente todos los sistemas de software más populares del mundo con mayor facilidad que antes.
La mala noticia es que si esta herramienta cayera en manos de actores maliciosos, podrían hackear prácticamente todos los principales sistemas de software del mundo, incluidos todos los fabricados por las empresas del consorcio... Mythos Preview ya ha encontrado miles de vulnerabilidades de alta gravedad, incluidas algunas en cada sistema operativo y navegador web principal. Dado el ritmo del progreso de la IA, no pasará mucho tiempo antes de que tales capacidades se generalicen, potencialmente más allá de los actores que se comprometieron a implementarlas de forma segura. Las consecuencias — económicas, de seguridad pública y de seguridad nacional — podrían ser graves.’
Entonces... además, hice un video bastante interesante de NotebookLM usando mi propia voz como doblaje:
Para ofrecer las mejores experiencias, utilizamos tecnologías como las cookies para almacenar y/o acceder a la información del dispositivo. Consentir estas tecnologías nos permitirá procesar datos como el comportamiento de navegación o identificaciones únicas en este sitio. No consentir o retirar el consentimiento, puede afectar negativamente a ciertas características y funciones.
Funcional
Siempre activo
El almacenamiento o acceso técnico es estrictamente necesario para el fin legítimo de permitir el uso de un servicio específico solicitado explícitamente por el abonado o usuario, o con el único fin de llevar a cabo la transmisión de una comunicación a través de una red de comunicaciones electrónicas.
Preferencias
El almacenamiento o acceso técnico es necesario para el fin legítimo de almacenar preferencias no solicitadas por el abonado o usuario.
Estadísticas
El almacenamiento o acceso técnico que se utiliza exclusivamente con fines estadísticos.El almacenamiento o acceso técnico que se utiliza exclusivamente con fines estadísticos anónimos. Sin una citación judicial, el cumplimiento voluntario por parte de su proveedor de servicios de Internet o registros adicionales de un tercero, la información almacenada o recuperada únicamente con este fin no puede utilizarse normalmente para identificarle.
Marketing
El almacenamiento o acceso técnico es necesario para crear perfiles de usuario para enviar publicidad, o para seguir al usuario en un sitio web o en varios sitios web con fines de marketing similares.
Español 
English 
Deutsch 
Português (AO90) 
