Jaan Tallinn ist ein Gründungsingenieur von Skype und Kazaa. Er gründete die Zentrum für das Studium des existenziellen Risikos und er ist auch Mitbegründer der Institut Zukunft des Lebens und unterstützt philanthropisch andere Organisationen zur Erforschung existenzieller Risiken.

Er wurde kürzlich interviewt von The Guardian zum Thema des Potenzials der KI, die menschliche Zivilisation zu beenden. Es ist eine ausgezeichnete - wenn auch lange - Lektüre mit einigen interessanten Zitaten und Erkenntnissen. Hier sind einige meiner Lieblingsausschnitte:

"Ich stimme zu, dass ... die Vorbereitung auf den Fall, dass die allgemeine KI die menschliche Intelligenz übertrifft, eine der wichtigsten Aufgaben für die Menschheit ist."

"Wenn die Belohnungsstruktur einer übermenschlichen KI nicht richtig programmiert ist, können selbst harmlose Ziele ein heimtückisches Ende haben."

"Superintelligente KI bringt einzigartige Bedrohungen mit sich. Letztendlich hoffe ich, dass die KI-Gemeinschaft dem Beispiel der Anti-Atomkraft-Bewegung in den 1940er Jahren folgen wird. Nach den Bombenangriffen auf Hiroshima und Nagasaki schlossen sich die Wissenschaftler zusammen, um weitere Atomtests zu verhindern. "Die Wissenschaftler des Manhattan-Projekts hätten sagen können: 'Seht her, wir machen hier Innovation, und Innovation ist immer gut, also lasst uns einfach weitermachen...' Aber sie waren verantwortungsbewusster als das."

"Tallinn schlug vor, die Superintelligenz nicht nur in einem Behälter - einer physischen Struktur - einzuschließen, sondern sie auch auf die Beantwortung von Fragen zu beschränken, wie eine wirklich intelligente Ouijabrett. Der Ansatz, der die Forscher am meisten begeistert, besteht darin, einen Weg zu finden, um KI dazu zu bringen, sich an menschliche Werte zu halten - nicht, indem man sie einprogrammiert, sondern indem man KI lehrt, sie zu lernen. In einer Welt, die von der Parteipolitik beherrscht wird, machen sich die Menschen oft Gedanken darüber, wie sich unsere Prinzipien unterscheiden.

Auf die Frage, wie Erfolg im Bereich der KI-Sicherheit aussehen könnte, verwies Tallinn auf folgende Punkte der LEgo-Film wo "...alles fantastisch ist."

Gastbeitrag des Inhaltskurators der Futures Agency Petervan

Andere Ressourcen