Lesen University of Montreal Professor und Turing-Preisträger JOSHUA BENGIOAMAZING JULY 7, 2024 POST HIER (die Grafiken, Statistiken und Bilder wurden von mir hinzugefügt). Wenn dies Ihr Boot schwimmt sicher sein, um mich donnerstags / freitags in dieser Woche für meine Livestream-Sitzungen auf AGI:)

Das ist brillantes Material - hier sind meine wichtigsten Highlights (ich weiß... das ist viel... sorry!)

ES STEHT SO VIEL AUF DEM SPIEL WIE NIE ZUVOR. "Die (AGI) Das Thema wird so heftig diskutiert, weil viel auf dem Spiel steht: Einigen Schätzungen zufolge, Quadrillionen von Dollar des Kapitalwerts stehen zur Disposition, ganz zu schweigen von der politischen Macht, die groß genug ist, um die derzeitige Weltordnung erheblich zu stören. Ich veröffentlichte eine Papier zur multilateralen Steuerung von AGI-Labors und ich habe viel Zeit damit verbracht, über katastrophale KI-Risiken und deren Abschwächung nachzudenken, sowohl auf der technischen als auch auf der politischen Seite. In den letzten sieben Monaten leitete ich (und leite weiterhin) die Internationaler wissenschaftlicher Bericht über die Sicherheit fortgeschrittener KI ("der Bericht", siehe unten), an dem ein Gremium aus 30 Ländern sowie der EU und den Vereinten Nationen und über 70 internationale Experten beteiligt waren, um den Stand der Wissenschaft im Bereich der KI-Sicherheit zusammenzufassen und die große Vielfalt der Ansichten über KI-Risiken und -Trends zu veranschaulichen. Heute, nach einem Jahr intensiver Auseinandersetzung mit diesen kritischen Fragen, möchte ich die Argumente über das Potenzial für katastrophale Risiken im Zusammenhang mit KI-Systemen, die in der Zukunft zu erwarten sind, erneut aufgreifen und meine neuesten Überlegungen darlegen.

"Das Wichtigste, was man bei all dem Lärm der Diskussionen und Debatten erkennen muss, ist eine sehr einfache und unbestreitbare Tatsache: Während wir uns auf AGI oder sogar ASI zubewegen, weiß derzeit niemand, wie eine solche AGI oder ASI dazu gebracht werden könnte, sich moralisch zu verhalten oder zumindest so zu handeln, wie es von ihren Entwicklern beabsichtigt ist, und sich nicht gegen die Menschen zu wenden“

DAS KOORDINATIONSPROBLEM: "Selbst wenn man wüsste, wie man eine ASI kontrollieren kann, würden politische Institutionen fehlen, die sicherstellen, dass die Macht von AGI oder ASI nicht von Menschen gegen Menschen in einem katastrophalen Ausmaß missbraucht wird, um die Demokratie zu zerstören oder ein geopolitisches und wirtschaftliches Chaos oder eine Dystopie zu verursachen. Wir müssen sicherstellen, dass kein einzelner Mensch, kein einzelnes Unternehmen und keine einzelne Regierung die Macht der AGI auf Kosten des Gemeinwohls missbrauchen kann.. Wir müssen sicherstellen, dass Unternehmen die AGI nicht dazu nutzen, ihre Regierungen zu vereinnahmen, und dass Regierungen die AGI nicht dazu nutzen, ihr Volk zu unterdrücken, und dass Nationen sie nicht dazu nutzen, um international zu dominieren. Und gleichzeitig müssen wir sicherstellen, dass wir katastrophale Unfälle durch den Verlust der Kontrolle über AGI-Systeme überall auf dem Planeten vermeiden. All dies kann man als die Koordinierungsproblem, d.h., die Politik der KI. Wenn das Koordinationsproblem perfekt gelöst wäre, wäre die Lösung des KI-Anpassungs- und Kontrollproblems keine absolute Notwendigkeit: Wir könnten "einfach" kollektiv das Vorsorgeprinzip anwenden und Experimente vermeiden, bei denen ein nicht-triviales Risiko besteht, unkontrollierte AGI zu konstruieren..." MEHR

THE AI ARMS-RACE IS COMING: "Derzeit rasen wir jedoch auf eine Welt mit Entitäten zu, die schlauer sind als der Mensch und ihre eigenen Ziele verfolgen - ohne eine zuverlässige Methode für den Menschen, um sicherzustellen, dass diese Ziele mit den menschlichen Zielen vereinbar sind. Dennoch habe ich in meinen Gesprächen über die Sicherheit von KI verschiedene Argumente gehört, die eine "Keine Sorge"-Schlussfolgerung unterstützen sollen. Meine allgemeine Antwort auf die meisten dieser Argumente lautet, dass wir angesichts der zwingenden grundlegenden Argumente, warum der Wettlauf mit der KI zu Gefahren führen könnte, und angesichts der hohen Risiken, die auf dem Spiel stehen, sehr starke Beweise anstreben sollten, bevor wir zu dem Schluss kommen, dass es keinen Grund zur Sorge gibt.

BEWUSSTSEIN IST KEINE VORAUSSETZUNG FÜR DAS ERREICHEN VON AGIENT: "Bewusstsein ist weder für AGI noch für ASI notwendig (zumindest für die meisten Definitionen dieser Begriffe, die mir bekannt sind), und es spielt nicht unbedingt eine Rolle für ein potenzielles existenzielles AGI-Risiko. Was am meisten zählt, sind die Fähigkeiten und Absichten von ASI-Systemen. Wenn sie in der Lage sind, Menschen zu töten (dies ist eine Fähigkeit unter anderen, die erlernt oder aus anderen Fähigkeiten abgeleitet werden kann) und ein solches Ziel verfolgen (und wir haben bereits zielgerichtete KI-Systeme), könnte dies sehr gefährlich sein, es sei denn, es wird ein Weg gefunden, dies zu verhindern oder Gegenmaßnahmen zu ergreifen. Lesen Sie die ganze Geschichte.

SO WAS KÖNNTE AGI TATSÄCHLICH ERREICHEN? "Ich finde auch Aussagen wie "KIs können nicht haben wahr Intelligenz" oder "Die KI sagt einfach das nächste Wort voraus" nicht überzeugend. Ich stimme zu, dass, wenn man "wahr" Intelligenz als "die Art und Weise, wie Menschen intelligent sind", haben KIs keine "wahrIntelligenz" - ihre Art der Informationsverarbeitung und des Denkens unterscheidet sich von der unseren. Aber in einer Diskussion über potenzielle katastrophale KI-Risiken ist dies eine Ablenkung. Was bei einer solchen Diskussion zählt, ist: Was kann die KI leisten? Wie gut ist sie in der Lage, Probleme zu lösen? So stelle ich mir "AGI" und "ASI" vor - ein Niveau von KI-Fähigkeiten, bei dem eine KI so gut oder besser als ein menschlicher Experte ist, um praktisch jedes Problem zu lösen (mit Ausnahme von Problemen, die physische Handlungen erfordern). Wie Die Tatsache, dass die KI dazu in der Lage ist, ändert nichts an der Existenz des Risikos. Betrachtet man die Fähigkeiten von KI-Systemen über die Jahrzehnte der Forschung hinweg, so lässt sich ein klarer Trend zur Steigerung der Fähigkeiten erkennen. Hinzu kommt das derzeitige Niveau der KI-Fähigkeiten mit einem sehr hohen Niveau der Beherrschung von Sprache und visuellem Material und immer mehr Fähigkeiten bei einer breiteren Palette von kognitiven Aufgaben. Siehe auch "der Bericht" für viele weitere Beweise, einschließlich der Unstimmigkeiten über die tatsächlichen aktuellen Fähigkeiten. Schließlich gibt es keinen wissenschaftlichen Grund für die Annahme, dass die Menschheit auf dem Gipfel der Intelligenz steht: In vielen spezialisierten kognitiven Aufgaben übertreffen Computer den Menschen bereits. Daher ist sogar ASI plausibel (auch wenn nicht klar ist, auf welchem Niveau), und wenn man sich nicht auf Argumente stützt, die eher auf persönlichen Überzeugungen als auf wissenschaftlichen Erkenntnissen beruhen, kann man die Möglichkeit von AGI und ASI nicht ausschließen.

EINE KI, DIE KI-FORSCHUNG BETREIBT? "Es ist nicht notwendig, alle menschlichen Fähigkeiten abzudecken, um gefährliche existenzielle Risikoszenarien zu entschlüsseln: Es reicht aus, KI-Systeme zu entwickeln, die den besten menschlichen Fähigkeiten in der KI-Forschung entsprechen. Eine einzige trainierte KI mit dieser Fähigkeit würde Hunderttausende von Instanzen bereitstellen, die ununterbrochen arbeiten können (so wie ein einziger GPT-4 Millionen von Menschen parallel bedienen kann, weil die Inferenz trivial parallelisiert werden kann), wodurch sich die Zahl der KI-Forscher sofort um ein Vielfaches erhöhen würde (möglicherweise alle innerhalb eines einzigen Unternehmens). Dies würde die KI-Fähigkeiten wahrscheinlich sprunghaft beschleunigen, und zwar in eine Richtung, die noch viele Unbekannte birgt, da wir uns möglicherweise in wenigen Monaten von AGI zu ASI bewegen.

WERT INTELLIGENTENCE ÜBER DIE MENSCHHEIT? Aber warum sollte eine KI ein starkes Selbsterhaltungsziel haben? Wie ich immer wieder sage, könnte dies einfach die Gabe sein, die eine eine kleine Minderheit von Menschen, die eine künstliche Intelligenz begrüßen würden, vielleicht weil sie Intelligenz über Menschlichkeit stellen. Darüber hinaus deuten eine Reihe technischer Argumente (im Zusammenhang mit instrumentellen Zielen oder Belohnungsmanipulationen) darauf hin, dass solche Ziele als Nebeneffekte oder harmlose, vom Menschen vorgegebene Ziele auftreten könnten (siehe "den Bericht" und die dort zitierte umfangreiche Literatur sowie die Vielfalt der Ansichten über den Kontrollverlust, die die wissenschaftliche Unsicherheit in dieser Frage verdeutlichen). Es wäre ein Fehler zu glauben, dass künftige KI-Systeme zwangsläufig so sein werden wie wir, mit denselben grundlegenden Instinkten. Das wissen wir nicht mit Sicherheit, und die Art und Weise, wie wir sie derzeit gestalten (z. B. als Belohnungsmaximierer), weist in eine ganz andere Richtung

PROFIT VOR SICHERHEITDas Problem entsteht, wenn Sicherheit und Gewinnmaximierung oder Unternehmenskultur ("sich schnell bewegen und Dinge kaputt machen") nicht in Einklang gebracht werden. Es gibt viele historische Belege (man denke an die Unternehmen für fossile Brennstoffe und das Klima oder an die Arzneimittelhersteller vor der FDA, z. B. mit Contergan usw.) und wirtschaftswissenschaftliche Untersuchungen, die zeigen, dass die Gewinnmaximierung zu einem Unternehmensverhalten führen kann, das dem öffentlichen Interesse zuwiderläuft. Da die Ungewissheit über künftige Risiken so groß ist, ist es für eine Gruppe von Entwicklern leicht, sich selbst davon zu überzeugen, dass sie eine ausreichende Lösung für das KI-Sicherheitsproblem finden werden (siehe auch meine Diskussion über psychologische Faktoren in einem kommenden Blogbeitrag)..." Lesen Sie mehr

ZUM EFFEKTIVEN AKZELERATIONISMUS: "Das Hauptargument ist, dass künftige Fortschritte in der KI der Menschheit wahrscheinlich erstaunliche Vorteile bringen werden und dass eine Verlangsamung der KI-Fähigkeitsforschung gleichbedeutend wäre mit dem Verlust eines außerordentlichen wirtschaftlichen und sozialen Wachstums. Das ist gut möglich, aber in jedem rationalen Entscheidungsprozess muss man sowohl die Vor- als auch die Nachteile einer Entscheidung abwägen. Wenn wir medizinische Durchbrüche erzielen, die unsere Lebenserwartung schnell verdoppeln, wir aber das Risiko eingehen, dass wir alle sterben oder unsere Freiheit und Demokratie verlieren, dann ist die Wette auf die Beschleunigung nicht viel wert. Stattdessen könnte es sich lohnen, das Tempo zu drosseln, das Heilmittel für Krebs etwas später zu finden und klug in die Forschung zu investieren, um sicherzustellen, dass wir diese Risiken angemessen kontrollieren können, während wir von den globalen Vorteilen profitieren. In vielen Fällen stammen diese Beschleunigungsargumente von extrem reichen Einzelpersonen und Tech-Lobbys, die ein ureigenes finanzielles Interesse an der kurzfristigen Maximierung der Rentabilität haben. Aus ihrer rationalen Sicht sind die KI-Risiken eine wirtschaftliche Externalität, deren Kosten von allen getragen werden. Diese Situation kennen wir von Unternehmen, die Risiken eingehen (z. B. das Klimarisiko bei fossilen Brennstoffen oder das Risiko schrecklicher Nebenwirkungen von Medikamenten wie Contergan), weil es für sie immer noch profitabel war, diese kollektiven Kosten zu ignorieren. Aus der Sicht der Bürger und der Politik ist der vorsichtige Einstieg in die AGI jedoch eindeutig vorzuziehen, wenn man die Risiken und Vorteile zusammenzählt. Es gibt einen möglichen Weg, bei dem wir ausreichend in KI-Sicherheit, Regulierung und Verträge investieren, um die Risiken des Missbrauchs und des Kontrollverlusts zu kontrollieren und von den Vorteilen der KI zu profitieren. Dies ist der Konsens aus dem 2023 AI-Sicherheitsgipfel (an der 30 Länder teilnehmen) im Vereinigten Königreich sowie die Folgeveranstaltung 2024 in Seoul und die G7 Hiroshima-Prinzipien zu künstlicher Intelligenz, ganz zu schweigen von zahlreichen anderen zwischenstaatlichen Erklärungen und Gesetzesvorschlägen in der UNO, der EU und anderswo...."

WENN SIE GLAUBEN, DASS INTERNATIONALE VERTRÄGE NICHT FUNKTIONIEREN: "Es stimmt, dass internationale Verträge eine Herausforderung darstellen, aber es gibt historische Beweise dafür, dass sie gelingen können, oder zumindest kann diese Geschichte helfen zu verstehen, warum sie manchmal scheitern (die Geschichte des Baruch-Plan ist besonders interessant, da die USA vorschlugen, die Forschung und Entwicklung von Kernwaffen mit der UdSSR zu teilen). Auch wenn nicht sicher ist, dass sie funktionieren würden, scheinen sie ein wichtiger Weg zu sein, den es zu erkunden gilt, um eine globale Katastrophe zu vermeiden. Zwei Voraussetzungen für den Erfolg sind (a) ein gemeinsames Interesse an dem Vertrag (in diesem Fall die Vermeidung des Aussterbens der Menschheit) und (b) die Überprüfbarkeit der Einhaltung des Vertrags. Dies ist ein besonderes Problem für KI, die größtenteils aus Software besteht, d. h. leicht zu verändern und zu verbergen ist, so dass das Misstrauen gegen einen Vertrag spricht, der das Eingehen gefährlicher Risiken wirksam verhindern würde. Es gab jedoch eine Reihe von Diskussionen über die Möglichkeit von Hardware-gestützte SteuerungsmechanismenDer Vorschlag sieht vor, dass High-End-Chips, die das Training von KI ermöglichen, nicht versteckt werden können und nur Code zulassen, der von einer von beiden Seiten gewählten Behörde genehmigt wurde. In der Lieferkette für hochwertige KI-Chips gibt es derzeit nur sehr wenige Akteure, was den Regierungen die Möglichkeit gibt, diese Chips zu kontrollieren. ... keines der vorgeschlagenen Instrumente zur Minderung des KI-Katastrophenrisikos ist ein Allheilmittel: Was wir brauchen, ist "Verteidigung in der Tiefe", wobei viele Abhilfemethoden so geschichtet werden, dass sie gegen viele mögliche Szenarien schützen. Wichtig ist, dass eine hardwaregestützte Steuerung nicht ausreicht, wenn der Code und die Gewichte der AGI-Systeme nicht gesichert sind (da die Verwendung oder Feinabstimmung solcher Modelle billig ist und keine High-End-Chips oder die neuesten Chips erfordert), und dies ist ein Bereich, in dem außerhalb der führenden AGI-Labors (die keine ausgeprägte Sicherheitskultur haben) große Einigkeit darüber besteht, dass ein rascher Übergang zu einer sehr starken Sicherheit erforderlich ist, wenn man sich der AGI nähert. Schließlich geht es bei den Verträgen nicht nur um die USA und China: Längerfristig erfordert der Schutz vor katastrophalem Missbrauch und Kontrollverlust, dass alle Länder an Bord sind. Aber warum sollten die Länder des Globalen Südens einen solchen Vertrag unterzeichnen? Die offensichtliche Antwort ist, dass ein solcher Vertrag beinhalten muss, dass KI nicht als Herrschaftsinstrument eingesetzt wird, auch nicht in wirtschaftlicher Hinsicht, und dass ihre wissenschaftlichen, technologischen und wirtschaftlichen Vorteile weltweit geteilt werden müssen..." ALLES LESEN

Bild unten: So wie wir beim Klimawandel ein Nord-Süd-Problem haben, könnten wir auch bei der KI ein Nord-Süd-Problem bekommen

---

Unten: einige KI-Audio-Versionen von Joshuas Kernaussagen (diese Clips sind NICHT seine tatsächliche Stimme - es sind alles KI-generierte Avatare von Eleven Labs)

Funktioniert das Gehirn noch? Lesen: Wie schurkische KIs entstehen können

Veröffentlicht 22. Mai 2023 von yoshuabengio

Sehen Sie meinen 2023 Film auf KI und die Zukunft der Menschheit: Schauen Sie jetzt auf.