{"id":143031,"date":"2024-07-15T17:29:34","date_gmt":"2024-07-15T15:29:34","guid":{"rendered":"https:\/\/futuristgerd.com\/?p=143031"},"modified":"2024-07-15T17:39:28","modified_gmt":"2024-07-15T15:39:28","slug":"joshua-bengio-reasoning-through-arguments-against-taking-ai-safety-seriously-my-take-aways","status":"publish","type":"post","link":"https:\/\/futuristgerd.com\/de\/2024\/07\/joshua-bengio-reasoning-through-arguments-against-taking-ai-safety-seriously-my-take-aways\/","title":{"rendered":"Joshua Bengio: Argumente gegen das Ernstnehmen der KI-Sicherheit (meine Schlussfolgerungen)"},"content":{"rendered":"

Lesen University of Montreal Professor und Turing-Preistr\u00e4ger JOSHUA BENGIO<\/a>AMAZING JULY 7, 2024 POST HIER<\/a> (die Grafiken, Statistiken und Bilder wurden von mir hinzugef\u00fcgt). Wenn dies Ihr Boot schwimmt sicher sein, um mich donnerstags \/ freitags in dieser Woche f\u00fcr meine Livestream-Sitzungen auf AGI:)<\/a><\/p>\n\n\n\n

Das ist brillantes Material - hier sind meine wichtigsten Highlights (ich wei\u00df... das ist viel... sorry!)<\/p>\n\n\n\n

ES STEHT SO VIEL AUF DEM SPIEL WIE NIE ZUVOR.<\/strong> \"Die (AGI)<\/a> Das Thema wird so heftig diskutiert, weil viel auf dem Spiel steht: Einigen Sch\u00e4tzungen zufolge, Quadrillionen von Dollar<\/a> des Kapitalwerts stehen zur Disposition, ganz zu schweigen von der politischen Macht, die gro\u00df genug ist, um die derzeitige Weltordnung erheblich zu st\u00f6ren. Ich ver\u00f6ffentlichte eine Papier zur multilateralen Steuerung von AGI-Labors<\/a> und ich habe viel Zeit damit verbracht, \u00fcber katastrophale KI-Risiken und deren Abschw\u00e4chung nachzudenken, sowohl auf der technischen als auch auf der politischen Seite. In den letzten sieben Monaten leitete ich (und leite weiterhin) die Internationaler wissenschaftlicher Bericht \u00fcber die Sicherheit fortgeschrittener KI<\/a> (\"der Bericht\", siehe unten), an dem ein Gremium aus 30 L\u00e4ndern sowie der EU und den Vereinten Nationen und \u00fcber 70 internationale Experten beteiligt waren, um den Stand der Wissenschaft im Bereich der KI-Sicherheit zusammenzufassen und die gro\u00dfe Vielfalt der Ansichten \u00fcber KI-Risiken und -Trends zu veranschaulichen. Heute, nach einem Jahr intensiver Auseinandersetzung mit diesen kritischen Fragen, m\u00f6chte ich die Argumente \u00fcber das Potenzial f\u00fcr katastrophale Risiken im Zusammenhang mit KI-Systemen, die in der Zukunft zu erwarten sind, erneut aufgreifen und meine neuesten \u00dcberlegungen darlegen.<\/p>\n\n\n\n

\"Das Wichtigste, was man bei all dem L\u00e4rm der Diskussionen und Debatten erkennen muss, ist eine sehr einfache und unbestreitbare Tatsache: W\u00e4hrend wir uns auf AGI oder sogar ASI zubewegen, wei\u00df derzeit niemand, wie eine solche AGI oder ASI dazu gebracht werden k\u00f6nnte, sich moralisch zu verhalten oder zumindest so zu handeln, wie es von ihren Entwicklern beabsichtigt ist, und sich nicht gegen die Menschen zu wenden<\/strong>\u201c<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

DAS KOORDINATIONSPROBLEM: \"Selbst wenn man w\u00fcsste, wie man eine ASI kontrollieren kann, w\u00fcrden politische Institutionen fehlen, die sicherstellen, dass die Macht von AGI oder ASI nicht von Menschen gegen Menschen in einem katastrophalen Ausma\u00df missbraucht wird, um die Demokratie zu zerst\u00f6ren oder ein geopolitisches und wirtschaftliches Chaos oder eine Dystopie zu verursachen. Wir m\u00fcssen sicherstellen, dass kein einzelner Mensch, kein einzelnes Unternehmen und keine einzelne Regierung die Macht der AGI auf Kosten des Gemeinwohls missbrauchen kann.<\/em>.<\/strong> Wir m\u00fcssen sicherstellen, dass Unternehmen die AGI nicht dazu nutzen, ihre Regierungen zu vereinnahmen, und dass Regierungen die AGI nicht dazu nutzen, ihr Volk zu unterdr\u00fccken, und dass Nationen sie nicht dazu nutzen, um international zu dominieren. Und gleichzeitig m\u00fcssen wir sicherstellen, dass wir katastrophale Unf\u00e4lle durch den Verlust der Kontrolle \u00fcber AGI-Systeme \u00fcberall auf dem Planeten vermeiden. All dies kann man als die Koordinierungsproblem, <\/em>d.h., die Politik der KI. Wenn das Koordinationsproblem perfekt gel\u00f6st w\u00e4re, w\u00e4re die L\u00f6sung des KI-Anpassungs- und Kontrollproblems keine absolute Notwendigkeit: Wir k\u00f6nnten \"einfach\" kollektiv das Vorsorgeprinzip anwenden und Experimente vermeiden, bei denen ein nicht-triviales Risiko besteht, unkontrollierte AGI zu konstruieren...\" MEHR<\/a><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

THE AI ARMS-RACE IS COMING: \"Derzeit rasen wir jedoch auf eine Welt mit Entit\u00e4ten zu, die schlauer sind als der Mensch und ihre eigenen Ziele verfolgen - ohne eine zuverl\u00e4ssige Methode f\u00fcr den Menschen, um sicherzustellen, dass diese Ziele mit den menschlichen Zielen vereinbar sind. Dennoch habe ich in meinen Gespr\u00e4chen \u00fcber die Sicherheit von KI verschiedene Argumente geh\u00f6rt, die eine \"Keine Sorge\"-Schlussfolgerung unterst\u00fctzen sollen. Meine allgemeine Antwort auf die meisten dieser Argumente lautet, dass wir angesichts der zwingenden grundlegenden Argumente, warum der Wettlauf mit der KI zu Gefahren f\u00fchren k\u00f6nnte, und angesichts der hohen Risiken, die auf dem Spiel stehen, sehr starke Beweise anstreben sollten, bevor wir zu dem Schluss kommen, dass es keinen Grund zur Sorge gibt.<\/p>\n\n\n\n

BEWUSSTSEIN IST KEINE VORAUSSETZUNG F\u00dcR DAS ERREICHEN VON AGIENT<\/strong>: \"Bewusstsein ist weder f\u00fcr AGI noch f\u00fcr ASI notwendig (zumindest f\u00fcr die meisten Definitionen dieser Begriffe, die mir bekannt sind), und es spielt nicht unbedingt eine Rolle f\u00fcr ein potenzielles existenzielles AGI-Risiko. Was am meisten z\u00e4hlt, sind die F\u00e4higkeiten und Absichten von ASI-Systemen. Wenn sie in der Lage sind, Menschen zu t\u00f6ten (dies ist eine F\u00e4higkeit unter anderen, die erlernt oder aus anderen F\u00e4higkeiten abgeleitet werden kann) und ein solches Ziel verfolgen (und wir haben bereits zielgerichtete KI-Systeme), k\u00f6nnte dies sehr gef\u00e4hrlich sein, es sei denn, es wird ein Weg gefunden, dies zu verhindern oder Gegenma\u00dfnahmen zu ergreifen. Lesen Sie die ganze Geschichte.<\/a><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

SO WAS K\u00d6NNTE AGI TATS\u00c4CHLICH ERREICHEN?<\/strong> \"Ich finde auch Aussagen wie \"KIs k\u00f6nnen nicht haben wahr<\/em> Intelligenz\" oder \"Die KI sagt einfach das n\u00e4chste Wort voraus\" nicht \u00fcberzeugend. Ich stimme zu, dass, wenn man \"wahr\"<\/em> Intelligenz als \"die Art und Weise, wie Menschen intelligent sind\", haben KIs keine \"wahr<\/em>Intelligenz\" - ihre Art der Informationsverarbeitung und des Denkens unterscheidet sich von der unseren. Aber in einer Diskussion \u00fcber potenzielle katastrophale KI-Risiken ist dies eine Ablenkung. Was bei einer solchen Diskussion z\u00e4hlt, ist: Was kann die KI leisten? Wie gut ist sie in der Lage, Probleme zu l\u00f6sen? So stelle ich mir \"AGI\" und \"ASI\" vor - ein Niveau von KI-F\u00e4higkeiten, bei dem eine KI so gut oder besser als ein menschlicher Experte ist, um praktisch jedes Problem zu l\u00f6sen (mit Ausnahme von Problemen, die physische Handlungen erfordern). Wie<\/em> Die Tatsache, dass die KI dazu in der Lage ist, \u00e4ndert nichts an der Existenz des Risikos. Betrachtet man die F\u00e4higkeiten von KI-Systemen \u00fcber die Jahrzehnte der Forschung hinweg, so l\u00e4sst sich ein klarer Trend zur Steigerung der F\u00e4higkeiten erkennen. Hinzu kommt das derzeitige Niveau der KI-F\u00e4higkeiten mit einem sehr hohen Niveau der Beherrschung von Sprache und visuellem Material und immer mehr F\u00e4higkeiten bei einer breiteren Palette von kognitiven Aufgaben. Siehe auch \"der Bericht\" f\u00fcr viele weitere Beweise, einschlie\u00dflich der Unstimmigkeiten \u00fcber die tats\u00e4chlichen aktuellen F\u00e4higkeiten. Schlie\u00dflich gibt es keinen wissenschaftlichen Grund f\u00fcr die Annahme, dass die Menschheit auf dem Gipfel der Intelligenz steht: In vielen spezialisierten kognitiven Aufgaben \u00fcbertreffen Computer den Menschen bereits. Daher ist sogar ASI plausibel (auch wenn nicht klar ist, auf welchem Niveau), und wenn man sich nicht auf Argumente st\u00fctzt, die eher auf pers\u00f6nlichen \u00dcberzeugungen als auf wissenschaftlichen Erkenntnissen beruhen, kann man die M\u00f6glichkeit von AGI und ASI nicht ausschlie\u00dfen.<\/p>\n\n\n\n

EINE KI, DIE KI-FORSCHUNG BETREIBT?<\/strong> \"Es ist nicht notwendig, alle menschlichen F\u00e4higkeiten abzudecken, um gef\u00e4hrliche existenzielle Risikoszenarien zu entschl\u00fcsseln: Es reicht aus, KI-Systeme zu entwickeln, die den besten menschlichen F\u00e4higkeiten in der KI-Forschung entsprechen. Eine einzige trainierte KI mit dieser F\u00e4higkeit w\u00fcrde Hunderttausende von Instanzen bereitstellen, die ununterbrochen arbeiten k\u00f6nnen (so wie ein einziger GPT-4 Millionen von Menschen parallel bedienen kann, weil die Inferenz trivial parallelisiert werden kann), wodurch sich die Zahl der KI-Forscher sofort um ein Vielfaches erh\u00f6hen w\u00fcrde (m\u00f6glicherweise alle innerhalb eines einzigen Unternehmens). Dies w\u00fcrde die KI-F\u00e4higkeiten wahrscheinlich sprunghaft beschleunigen, und zwar in eine Richtung, die noch viele Unbekannte birgt, da wir uns m\u00f6glicherweise in wenigen Monaten von AGI zu ASI bewegen.<\/p>\n\n\n\n

WERT INTELLIGENTENCE \u00dcBER DIE MENSCHHEIT<\/strong>? Aber warum sollte eine KI ein starkes Selbsterhaltungsziel haben? Wie ich immer wieder sage, k\u00f6nnte dies einfach die Gabe sein, die eine eine kleine Minderheit von Menschen, die eine k\u00fcnstliche Intelligenz begr\u00fc\u00dfen w\u00fcrden, vielleicht weil sie Intelligenz \u00fcber Menschlichkeit stellen<\/strong>. Dar\u00fcber hinaus deuten eine Reihe technischer Argumente (im Zusammenhang mit instrumentellen Zielen oder Belohnungsmanipulationen) darauf hin, dass solche Ziele als Nebeneffekte oder harmlose, vom Menschen vorgegebene Ziele auftreten k\u00f6nnten (siehe \"den Bericht\" und die dort zitierte umfangreiche Literatur sowie die Vielfalt der Ansichten \u00fcber den Kontrollverlust, die die wissenschaftliche Unsicherheit in dieser Frage verdeutlichen). Es w\u00e4re ein Fehler zu glauben, dass k\u00fcnftige KI-Systeme zwangsl\u00e4ufig so sein werden wie wir, mit denselben grundlegenden Instinkten. Das wissen wir nicht mit Sicherheit, und die Art und Weise, wie wir sie derzeit gestalten (z. B. als Belohnungsmaximierer), weist in eine ganz andere Richtung<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

PROFIT VOR SICHERHEIT<\/strong>Das Problem entsteht, wenn Sicherheit und Gewinnmaximierung oder Unternehmenskultur (\"sich schnell bewegen und Dinge kaputt machen<\/a>\") nicht in Einklang gebracht werden. Es gibt viele historische Belege (man denke an die Unternehmen f\u00fcr fossile Brennstoffe und das Klima oder an die Arzneimittelhersteller vor der FDA, z. B. mit Contergan usw.) und wirtschaftswissenschaftliche Untersuchungen, die zeigen, dass die Gewinnmaximierung zu einem Unternehmensverhalten f\u00fchren kann, das dem \u00f6ffentlichen Interesse zuwiderl\u00e4uft. Da die Ungewissheit \u00fcber k\u00fcnftige Risiken so gro\u00df ist, ist es f\u00fcr eine Gruppe von Entwicklern leicht, sich selbst davon zu \u00fcberzeugen, dass sie eine ausreichende L\u00f6sung f\u00fcr das KI-Sicherheitsproblem finden werden (siehe auch meine Diskussion \u00fcber psychologische Faktoren in einem kommenden Blogbeitrag)...\" Lesen Sie mehr<\/a><\/p>\n\n\n\n

ZUM EFFEKTIVEN AKZELERATIONISMUS<\/strong>: \"Das Hauptargument ist, dass k\u00fcnftige Fortschritte in der KI der Menschheit wahrscheinlich erstaunliche Vorteile bringen werden und dass eine Verlangsamung der KI-F\u00e4higkeitsforschung gleichbedeutend w\u00e4re mit dem Verlust eines au\u00dferordentlichen wirtschaftlichen und sozialen Wachstums. Das ist gut m\u00f6glich, aber in jedem rationalen Entscheidungsprozess muss man sowohl die Vor- als auch die Nachteile einer Entscheidung abw\u00e4gen. Wenn wir medizinische Durchbr\u00fcche erzielen, die unsere Lebenserwartung schnell verdoppeln, wir aber das Risiko eingehen, dass wir alle sterben oder unsere Freiheit und Demokratie verlieren, dann ist die Wette auf die Beschleunigung nicht viel wert. Stattdessen k\u00f6nnte es sich lohnen, das Tempo zu drosseln, das Heilmittel f\u00fcr Krebs etwas sp\u00e4ter zu finden und klug in die Forschung zu investieren, um sicherzustellen, dass wir diese Risiken angemessen kontrollieren k\u00f6nnen, w\u00e4hrend wir von den globalen Vorteilen profitieren. In vielen F\u00e4llen stammen diese Beschleunigungsargumente von extrem reichen Einzelpersonen und Tech-Lobbys, die ein ureigenes finanzielles Interesse an der kurzfristigen Maximierung der Rentabilit\u00e4t haben. Aus ihrer rationalen Sicht sind die KI-Risiken eine wirtschaftliche Externalit\u00e4t, deren Kosten von allen getragen werden. Diese Situation kennen wir von Unternehmen, die Risiken eingehen (z. B. das Klimarisiko bei fossilen Brennstoffen oder das Risiko schrecklicher Nebenwirkungen von Medikamenten wie Contergan), weil es f\u00fcr sie immer noch profitabel war, diese kollektiven Kosten zu ignorieren. Aus der Sicht der B\u00fcrger und der Politik ist der vorsichtige Einstieg in die AGI jedoch eindeutig vorzuziehen, wenn man die Risiken und Vorteile zusammenz\u00e4hlt. Es gibt einen m\u00f6glichen Weg, bei dem wir ausreichend in KI-Sicherheit, Regulierung und Vertr\u00e4ge investieren, um die Risiken des Missbrauchs und des Kontrollverlusts zu kontrollieren und<\/em> von den Vorteilen der KI zu profitieren. Dies ist der Konsens aus dem 2023 AI-Sicherheitsgipfel<\/a> (an der 30 L\u00e4nder teilnehmen) im Vereinigten K\u00f6nigreich sowie die Folgeveranstaltung 2024 in Seoul und die G7 Hiroshima-Prinzipien<\/a> zu k\u00fcnstlicher Intelligenz, ganz zu schweigen von zahlreichen anderen zwischenstaatlichen Erkl\u00e4rungen und Gesetzesvorschl\u00e4gen in der UNO, der EU und anderswo....\"<\/p>\n\n\n\n

WENN SIE GLAUBEN, DASS INTERNATIONALE VERTR\u00c4GE NICHT FUNKTIONIEREN:<\/strong> \"Es stimmt, dass internationale Vertr\u00e4ge eine Herausforderung darstellen, aber es gibt historische Beweise daf\u00fcr, dass sie gelingen k\u00f6nnen, oder zumindest kann diese Geschichte helfen zu verstehen, warum sie manchmal scheitern (die Geschichte des Baruch-Plan<\/a> ist besonders interessant, da die USA vorschlugen, die Forschung und Entwicklung von Kernwaffen mit der UdSSR zu teilen). Auch wenn nicht sicher ist, dass sie funktionieren w\u00fcrden, scheinen sie ein wichtiger Weg zu sein, den es zu erkunden gilt, um eine globale Katastrophe zu vermeiden. Zwei Voraussetzungen f\u00fcr den Erfolg sind (a) ein gemeinsames Interesse an dem Vertrag (in diesem Fall die Vermeidung des Aussterbens der Menschheit) und (b) die \u00dcberpr\u00fcfbarkeit der Einhaltung des Vertrags.<\/strong> Dies ist ein besonderes Problem f\u00fcr KI, die gr\u00f6\u00dftenteils aus Software besteht, d. h. leicht zu ver\u00e4ndern und zu verbergen ist, so dass das Misstrauen gegen einen Vertrag spricht, der das Eingehen gef\u00e4hrlicher Risiken wirksam verhindern w\u00fcrde. Es gab jedoch eine Reihe von Diskussionen \u00fcber die M\u00f6glichkeit von Hardware-gest\u00fctzte Steuerungsmechanismen<\/a>Der Vorschlag sieht vor, dass High-End-Chips, die das Training von KI erm\u00f6glichen, nicht versteckt werden k\u00f6nnen und nur Code zulassen, der von einer von beiden Seiten gew\u00e4hlten Beh\u00f6rde genehmigt wurde. In der Lieferkette f\u00fcr hochwertige KI-Chips gibt es derzeit nur sehr wenige Akteure, was den Regierungen die M\u00f6glichkeit gibt, diese Chips zu kontrollieren. ... keines der vorgeschlagenen Instrumente zur Minderung des KI-Katastrophenrisikos ist ein Allheilmittel: Was wir brauchen, ist \"Verteidigung in der Tiefe<\/strong>\", wobei viele Abhilfemethoden so geschichtet werden, dass sie gegen viele m\u00f6gliche Szenarien sch\u00fctzen. Wichtig ist, dass eine hardwaregest\u00fctzte Steuerung nicht ausreicht, wenn der Code und die Gewichte der AGI-Systeme nicht gesichert sind (da die Verwendung oder Feinabstimmung solcher Modelle billig ist und keine High-End-Chips oder die neuesten Chips erfordert), und dies ist ein Bereich, in dem au\u00dferhalb der f\u00fchrenden AGI-Labors (die keine ausgepr\u00e4gte Sicherheitskultur haben) gro\u00dfe Einigkeit dar\u00fcber besteht, dass ein rascher \u00dcbergang zu einer sehr starken Sicherheit erforderlich ist, wenn man sich der AGI n\u00e4hert. Schlie\u00dflich geht es bei den Vertr\u00e4gen nicht nur um die USA und China: L\u00e4ngerfristig erfordert der Schutz vor katastrophalem Missbrauch und Kontrollverlust, dass alle L\u00e4nder an Bord sind. Aber warum sollten die L\u00e4nder des Globalen S\u00fcdens einen solchen Vertrag unterzeichnen? Die offensichtliche Antwort ist, dass ein solcher Vertrag beinhalten muss, dass KI nicht als Herrschaftsinstrument eingesetzt wird, auch nicht in wirtschaftlicher Hinsicht, und dass ihre wissenschaftlichen, technologischen und wirtschaftlichen Vorteile weltweit geteilt werden m\u00fcssen...\" ALLES LESEN<\/a><\/p>\n\n\n\n

Bild unten: So wie wir beim Klimawandel ein Nord-S\u00fcd-Problem haben, k\u00f6nnten wir auch bei der KI ein Nord-S\u00fcd-Problem bekommen<\/em><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n
\n\n\n\n

Unten: einige KI-Audio-Versionen von Joshuas Kernaussagen (diese Clips sind NICHT seine tats\u00e4chliche Stimme - es sind alles KI-generierte Avatare von Eleven Labs)<\/p>\n\n\n\n

Funktioniert das Gehirn noch? Lesen: Wie schurkische KIs entstehen k\u00f6nnen<\/a><\/h3>\n\n\n\n

Ver\u00f6ffentlicht 22. Mai 2023<\/a> von yoshuabengio<\/a><\/p>\n\n\n\n

Sehen Sie meinen 2023 Film auf KI und die Zukunft der Menschheit: Schauen Sie jetzt auf.<\/a><\/p>\n\n\n\n

\n