Jaan Tallinn est un ingénieur fondateur de Skype et Kazaa. Il a fondé le Centre d'étude du risque existentiel et il est également cofondateur de l'association Institut pour l'avenir de la vie et soutient philanthropiquement d'autres organismes de recherche sur les risques existentiels.

Il a récemment été interviewé par The Guardian sur le thème du potentiel de l'IA à mettre fin à la civilisation humaine. Il s'agit d'une excellente lecture, bien que longue, avec des citations et des points de vue intéressants. Voici quelques-uns de mes extraits préférés :

"Je suis d'accord pour dire que se préparer à l'éventualité d'une IA générale dépassant l'intelligence humaine est l'une des tâches les plus importantes de l'humanité.

"Si la structure de récompense d'une IA surhumaine n'est pas correctement programmée, même des objectifs bénins peuvent avoir des fins insidieuses.

"L'IA superintelligente est porteuse de menaces uniques. En fin de compte, j'espère que la communauté de l'IA suivra l'exemple du mouvement antinucléaire des années 1940. À la suite des bombardements d'Hiroshima et de Nagasaki, les scientifiques se sont regroupés pour tenter de limiter les essais nucléaires. Les scientifiques du projet Manhattan auraient pu dire : "Écoutez, nous faisons de l'innovation ici, et l'innovation est toujours bonne, alors allons de l'avant... Mais ils ont été plus responsables que cela".

"Tallinn a proposé non seulement d'enfermer la superintelligence dans un bassin de rétention - une structure physique - mais aussi de la limiter à répondre à des questions, comme le ferait une personne très intelligente. Planche Ouija. L'approche qui passionne le plus les chercheurs consiste à trouver un moyen de faire adhérer l'IA aux valeurs humaines, non pas en les programmant, mais en apprenant à l'IA à les connaître. Dans un monde dominé par la politique partisane, les gens s'attardent souvent sur les différences entre nos principes".

Lorsqu'on lui a demandé à quoi pouvait ressembler le succès en matière de sécurité de l'IA, M. Tallinn a fait référence aux éléments suivants Le LFilm sur l'ego où "...tout est génial".

Article invité par le conservateur de contenu de The Futures Agency Petervan

Autres ressources