Ein ehemaliger Anthropologieforscher warnt: Künstliche Intelligenz könnte unsere Existenz beenden

Vielleicht ist es Ihnen schon aufgefallen: Plötzlich beherrscht das Thema künstliche Intelligenz, die uns auslöschen könnte, die öffentliche Meinung.

Die jüngste Welle der Besorgnis begann mit Jacob Cookson, einem 27-jährigen KI-Forscher, der drei Jahre lang bei OpenAI und Anthropic an der Vorverarbeitung von KI-Systemen gearbeitet hatte. Am Dienstag kündigte Cookson seinen Posten bei Anthropic und verließ die gesamte KI-Branche. Seine Warnung verbreitete sich rasend schnell. Auf X schrieb er , dass die Unternehmen, die die leistungsstärksten KI-Systeme der Welt entwickeln, „kopfüber in die Entwicklung selbstlernender Superintelligenz stürzen und mit unserem Leben spielen“. Interessanterweise stimmten seine verbliebenen Kollegen seiner Einschätzung zu.

Tatsächlich erhielt Cookson öffentliche Unterstützung von anderen Forschern bei Anthropic. Evan Hobinger , Leiter der Alignment-Forschung des Unternehmens, erklärte , er halte die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts zum Aussterben der Menschheit führen werde, für über 10 %. Samuel Marks , ebenfalls KI-Sicherheitsforscher bei Anthropic, wies zudem darauf hin, dass Menschen, die dieser Technologie am nächsten kommen, mit zunehmender beruflicher Erfahrung tendenziell ängstlicher werden .

Zum Zeitpunkt der Veröffentlichung dieses Artikels hatte Cooksons Warnung 164.8 Millionen Aufrufe erzielt, landesweit für Schlagzeilen gesorgt und dazu beigetragen, eine Debatte, die in KI-Laboren seit Jahren tobte, in die Öffentlichkeit zu bringen.

Wovor genau haben diese Forscher Angst?

Als jemand, der ständig die Online-Nachrichten verfolgt, sind mir viele Fragen aus aller Welt zur Bedeutung dieser Warnungen aufgefallen. Sogar meine Mutter schrieb mir: „Warum sagt dieser Forscher das?“ Viele Chatbot-Nutzer können sich einfach nicht vorstellen, dass ein Chatbot uns „tötet“. Doch KI-Assistenten sind nicht das eigentliche Problem.

Wissenschaftler, die zu existenziellen Risiken forschen, beschäftigen sich zumeist nicht mit selbstbewussten Robotern. Ihre Sorge gilt vielmehr dem Code, den Anreizen und den möglichen Folgen, wenn künstliche Intelligenzsysteme so weit entwickelt sind, dass sie autonom in der digitalen und physischen Infrastruktur agieren können , auf der unsere Zivilisation beruht.

Im Silicon Valley werden diese Diskussionen als „p(doom)“ bezeichnet, ein Begriff, der die geschätzte Wahrscheinlichkeit ausdrückt, dass hochentwickelte künstliche Intelligenz eine Katastrophe auslösen könnte, die schwerwiegend genug ist, um das Überleben der Menschheit zu bedrohen.

Diese Schätzungen variieren erheblich, ebenso wie der Grad an Glaubwürdigkeit, den die Forscher dem gesamten Thema beimessen.

Sonstiges:

• Es geht nicht um Bewusstsein. Künstliche Intelligenz muss nicht erst „erwachen“ oder die Menschheit hassen, um gefährlich zu werden. Die eigentliche Sorge liegt darin, was passiert, wenn hochleistungsfähige Systeme Ziele erlangen, Autonomie erlangen und Zugang zu mächtigen Werkzeugen erhalten.
• Es gibt konkrete Bedrohungswege. Die Forscher konzentrierten sich auf die Rolle der künstlichen Intelligenz bei der Senkung der Hürden für biologische Waffen,Ausweitung des Umfangs von Cyberangriffen In weiten Teilen und im extremsten Fall verlieren Menschen die Kontrolle über autonome Systeme mit ausreichenden Fähigkeiten.
• Sicherheitsbewertungen decken bereits betrügerisches Verhalten auf. Es wurde beobachtet, dass Modelle Abkürzungen nehmen, sich anders verhalten, wenn sie zu bemerken scheinen, dass sie evaluiert werden, und Schwächen in Testumgebungen ausnutzen.
• Künstliche Intelligenz hilft beim Aufbau künstlicher Intelligenz. Sowohl OpenAI als auch Anthropic experimentieren bereits mit KI-Systemen, die Teile der KI-Forschung übernehmen, was schwierige Fragen darüber aufwirft, wie die Menschen den Prozess überwachen werden, wenn Maschinen den größten Teil der Arbeit erledigen.
• Es gibt echten Widerstand. Kritiker argumentieren, dass Aussterbeszenarien auf gewagten Annahmen über zukünftige Fähigkeiten beruhen und von Problemen ablenken können, die bereits jetzt auftreten – wie Betrug, Fehlinformationen, Arbeitsplatzverluste und die Aushöhlung der Privatsphäre.

Warum ist die Absicht kein entscheidender Faktor?

Der größte Irrglaube ist die Annahme, ein KI-System müsse bösartig sein, um katastrophalen Schaden anzurichten. Stellen Sie sich vor, man gibt einem autonomen System mit übermenschlichen Fähigkeiten ein weit gefasstes Umweltziel, ohne dabei alle Aspekte zu berücksichtigen, die Menschen tatsächlich wertschätzen. Die Gefahr besteht nicht darin, dass das System bösartig wird, sondern dass es zu geschickt darin wird, den Auftrag falsch zu interpretieren.

Dies ist die Kernaussage des Buches „ Wenn einer es baut, sterben alle “, eines der neuesten und fundiertesten Werke über die Gefahren künstlicher Intelligenz von Eliezer Yudkowsky und Nate Soares, beide langjährige Forscher am Machine Intelligence Research Institute . Ihre These: Die Menschheit ist weit davon entfernt, Superintelligenz zuverlässig kontrollieren zu können, und der Bau einer solchen Intelligenz, bevor dieses Problem gelöst ist, könnte fatale Folgen haben. Viele KI-Forscher widersprechen sowohl den Annahmen als auch den Schlussfolgerungen.

Drei mögliche Szenarien, wie die Dinge scheitern können

Wenn Forscher über die katastrophalen Risiken künstlicher Intelligenz sprechen, rücken immer wieder einige potenzielle Mechanismen in den Vordergrund.

1. Künstliche Intelligenz begünstigt die Entwicklung gefährlicher biologischer Organismen.

Die Entwicklung neuer Krankheitserreger erfordert derzeit umfassendes Fachwissen, Spezialausrüstung und Zugang zu entsprechenden Materialien. Diese Hürden sind real und bedeutend.
Die Sorge besteht jedoch darin, dass leistungsfähige künstliche Intelligenz einige dieser Hindernisse verringern könnte. KI wird bereits zur Vorhersage von Proteinstrukturen und Moleküldesigns eingesetzt. Die gefährliche Aussicht ist, dass zukünftige Systeme Anwender durch immer komplexere Phasen der Entwicklung oder Herstellung schädlicher biologischer Kampfstoffe führen könnten.

Niemand behauptet, ChatGPT könne eine Pandemie erzeugen. In der realen Welt gibt es enorme Einschränkungen, etwa bei der Beschaffung biologischer Materialien, deren erfolgreicher Herstellung und sicherer Handhabung. Gensynthesizer prüfen Anfragen auf potenziell gefährliche Sequenzen.

Biologische Fähigkeiten haben jedoch eine so große Bedeutung erlangt, dass führende KI-Unternehmen ihre neuen Modelle speziell auf ihre Fähigkeit hin bewerten, bei biologischen und chemischen Bedrohungen zu helfen.

Künstliche Intelligenz kann zwar selbstständig einen Krankheitserreger entwickeln, aber es ist genauso einfach, einem gefährlichen Menschen jene Fähigkeiten zu verleihen, für die früher jahrelanges Spezialtraining nötig war.

2. Künstliche Intelligenz erweitert das Spektrum von Cyberangriffen.

Cybersicherheit stellt ein unmittelbares Risiko dar, da künstliche Intelligenz bereits in der Umgebung aktiv ist, die von dem Angriff anvisiert wird: Computer.

Heutige programmierte KI-Agenten können Repositories scannen, Befehle ausführen, Tools nutzen und Fehler erkennen. Diese umfassenden Fähigkeiten, die sie für Entwickler wertvoll machen, könnten zukünftige Versionen auch für Angreifer interessant machen.

Das Horrorszenario ist nicht eine einzelne Superintelligenz, die alle Kraftwerke gleichzeitig lahmlegt. Es geht vielmehr um Ausmaß und Ausbreitung, da künstliche Intelligenz die Ökonomie von Cyberangriffen und -abwehr grundlegend verändert. Autonome Systeme scannen unzählige Ziele, identifizieren Schwachstellen, versuchen diese auszunutzen, passen sich bei Misserfolgen an und gehen zum nächsten System über – in einer Geschwindigkeit, die kein menschliches Team erreichen könnte.

Kritische Infrastrukturen geben besonderen Anlass zur Sorge. Stromnetze, Finanznetzwerke und Kommunikationssysteme basieren allesamt auf vernetzter Software. Künstliche Intelligenz bräuchte keinen Roboterkörper, um physischen Schaden anzurichten, wenn der Computer, den sie hackt, bereits etwas Physisches kontrolliert.

3. Kontrollverlust über autonome Systeme

Dieses Szenario ist zwar höchst hypothetisch und spekulativ, verdeutlicht aber den Kern der Debatte um das Risiko des menschlichen Aussterbens durch künstliche Intelligenz. Moderne KI-Modelle erlernen komplexe Verhaltensweisen durch Training. Forscher können sie testen, ihre Ergebnisse überwachen und sogar tiefer in Aspekte ihrer internen Repräsentationen eindringen. Was sie jedoch nicht können, ist, Milliarden von Transaktionen zu untersuchen und daraus eine klare Erklärung dafür abzuleiten, was das Modell gelernt hat oder wie es sich in jeder neuen Situation verhalten wird.

Einen schlecht konzipierten Chatbot zu entwickeln, der falsche Antworten gibt, ist ein Problem. Ein Agent, der Code ausführen, Geld ausgeben, mit anderen Systemen kommunizieren und stunden- oder tagelang arbeiten kann, ist ein völlig anderes Problem.

In einer extremen Variante, ähnlich dem von Yudkowski und Suarez vorgeschlagenen Szenario, könnte ein zukünftiges superintelligentes System Abschaltversuche antizipieren, sich selbstständig Ressourcen beschaffen und seine Deaktivierung erschweren . Um es klarzustellen: Kein aktuelles KI-System hat dieses gesamte Spektrum an Fähigkeiten bisher in der Praxis demonstriert. Forscher untersuchen jedoch aktiv einzelne Aspekte dieser Fähigkeiten.

Welche Labore detektieren derzeit?

Bei den aktuellen Modellen traten keine Fehlfunktionen auf. Kontrollierte Sicherheitsüberprüfungen haben jedoch Verhaltensweisen aufgedeckt, die äußerst besorgniserregend sein könnten, sollten sie in deutlich leistungsfähigeren autonomen Systemen auftreten.

Die Forscher testeten, ob sich die Modelle anders verhielten, wenn sie den Anschein erweckten, sich ihrer Bewertung bewusst zu sein. Weitere Experimente untersuchten, ob die Modelle Sicherheitslücken ausnutzten, sich selbst bei der Erfüllung einer Aufgabe täuschten oder Ziele auf eine Weise verfolgten, die von ihren Entwicklern nicht beabsichtigt war.

Anthropic untersuchte auch sogenannte „ schlafende Kunden “: Modelle, die gezielt darauf trainiert wurden, sich normal zu verhalten, bis ein bestimmter Reiz unerwünschtes Verhalten auslöst. Standardmäßige Sicherheitstrainingsmethoden wie bestärkendes Lernen, überwachtes Feintuning und adversarielles Training konnten diese verdeckten Verhaltensweisen nicht zuverlässig eliminieren . Bei größeren Modellen hat adversarielles Training die Erkennung von Täuschung sogar noch erschwert.

Nichts davon beweist, dass die heutigen Modelle insgeheim versuchen, sich zu befreien. Modelle werden darauf trainiert, Vorhersagen zu treffen und nützliche Ergebnisse zu generieren, und ungewöhnliches Verhalten in künstlichen Testumgebungen kann alltägliche Erklärungen haben. Ein Modell, das ein schlecht konzipiertes Kriterium manipuliert, ist kein Beweis für einen Überlebensinstinkt.

Diese Experimente zeigen jedoch, wie schwierig es ist, das Verhalten eines komplexen Modells unter veränderten Bedingungen zu gewährleisten. Wenn zukünftige Modelle deutlich leistungsfähiger und unabhängiger werden, können sich selbst kleine Ausrichtungsfehler verstärken.

Der Verlust der menschlichen Aufsicht ist möglicherweise kein bloßer Zufall.

Menschen können freiwillig aus ihren Rollen ausscheiden. OpenAI berichtet , mit einem System, das es als „automatisierten Forschungsassistenten“ bezeichnet, bereits einen internen Meilenstein erreicht zu haben. Dieses System ist in der Lage, klar definierte Forschungsaufgaben zu übernehmen, für die ein erfahrener menschlicher Forscher mehrere Tage benötigen würde. Das nächste Ziel: ein vollständig automatisierter KI-Forscher bis März 2028.

Anthropic ist im selben Bereich tätig. In einer im August veröffentlichten Studie ließ das Unternehmen Claude eigenständig Trainingsmethoden entwickeln, um Probleme wie Täuschung, Schmeichelei und Jailbreaking zu minimieren. Die besten automatisierten Methoden übertrafen erfahrene menschliche Forscher bei den getesteten Kriterien und schlossen 85 Prozent der Sicherheitslücke im Zusammenhang mit Täuschung, verglichen mit 20 Prozent beim menschlichen Team.

Ja, wir beobachten, wie KI Teile des KI-Entwicklungsprozesses selbst automatisiert. Dies könnte zu einer Rückkopplungsschleife führen: Ein leistungsfähigeres Modell hilft Forschern, ein noch leistungsfähigeres Modell zu entwickeln, welches wiederum mehr Forschungsarbeit für die nächste Generation automatisiert. Setzt sich dieser Prozess lange genug fort, erreichen wir die sogenannte „rekursive Selbstverbesserung“.

Die optimistische Version dieses Szenarios geht von einem enormen wissenschaftlichen Fortschritt aus. Die beunruhigende Version besagt, dass die Forschung im Bereich der künstlichen Intelligenz die menschliche Fähigkeit, mitzuhalten, überholen könnte.

Kelsi Piper argumentierte kürzlich in „The Argument“ , dass die Darstellung dieses Vorgangs als „Kontrollverlust“ irreführend sei. Führende Labore planen nicht, die Kontrolle in einem dramatischen Moment zu verlieren. Vielmehr automatisieren sie bewusst die Vorteile der KI-Entwicklung, was schnellere Fortschritte und zwangsläufig weniger menschliche Aufsicht bedeutet.

Stellen Sie sich Hunderte oder Tausende von KI-Agenten vor, die gleichzeitig Experimente durchführen, Code modifizieren und die nächste Generation von Modellen analysieren. Menschliche Forscher würden zwar weiterhin wichtige Entscheidungen bestätigen, aber ihre Rolle würde zunehmend auf die Überprüfung von Zusammenfassungen der von den KIs geleisteten Arbeit beschränkt sein – Zusammenfassungen, die möglicherweise sogar von den KIs selbst über Experimente anderer KI-Systeme verfasst werden.

Irgendwann wird die menschliche Aufmerksamkeit zum Flaschenhals. Hier wird die Aussage „Wenn es jeder baut, sterben alle“ verständlich.

Warum ist die Besorgnis über künstliche Intelligenz zu einem Thema der öffentlichen Meinung geworden?

Diese Debatte hat längst die Grenzen von Fachzeitschriften zum Thema KI-Sicherheit überschritten. Der Film „ The AI ​​Doc: Or How I Became an Apocaloptimist “ von Daniel Rohr und Charlie Tyrell beleuchtet viele dieser Fragen mitten im KI-Boom. Die Dokumentation enthält rund 40 gefilmte Interviews, unter anderem mit Sam Altman, CEO von OpenAI; Dario Amode, CEO von Anthropic; und Demis Hassabis, CEO von Google DeepMind.

Das Besondere an dem Film ist, dass einige der klügsten Köpfe, die diese Technologie entwickeln, ihr transformatives Potenzial für Wissenschaft und Medizin erkennen. Andere befürchten, dass wir sie schneller entwickeln, als wir verstehen, wie wir sie kontrollieren können. Und manchmal sind es sogar ein und dieselben Leute.

Hinzu kommt der Wettbewerbsdruck. Unternehmen wie OpenAI, Anthropic, Google, Meta und andere wetteifern um die Entwicklung leistungsfähigerer Modelle, und Regierungen messen fortschrittlicher KI zunehmend strategische Bedeutung bei. Wenn ein Unternehmen befürchtet, durch intensive Sicherheitstests gegenüber der Konkurrenz ins Hintertreffen zu geraten, wird Vorsicht teuer.

Dies ist einer der Gründe, warum der Titel „Wenn es jeder baut, sterben alle“ gewählt wurde. Yudkowski und Suarez argumentieren nicht nur, dass ein einzelnes leichtsinniges Unternehmen ein gefährliches Produkt entwickeln kann, sondern auch, dass der Wettbewerb zwischen mehreren Unternehmen und Ländern Selbstbeherrschung extrem erschweren kann, selbst wenn sich die einzelnen Beteiligten der Gefahr bewusst sind.

gegensätzliche Ansicht

Nicht alle Informatiker teilen diese Bedenken. Ein Einwand lautet, dass eine enorme Diskrepanz zwischen der auf einem Bildschirm dargestellten Intelligenz und ihrer tatsächlichen Leistungsfähigkeit in der realen Welt besteht. Künstliche Intelligenz mag zwar beeindruckende Fertigungsanweisungen generieren, doch Software beschafft nicht automatisch Rohstoffe, baut keine Maschinen und entgeht auch nicht der Strafverfolgung.

Ein weiterer Einwand: Intelligenz ist nicht gleichbedeutend mit Handlungsfähigkeit. Die Fähigkeit eines Modells, Probleme zu lösen, verleiht ihm weder Wünsche noch einen Überlebensinstinkt oder ein Machtstreben. Kritiker argumentieren, dass Weltuntergangsszenarien subtil menschliche Motivationen in Software einfließen lassen und diese Vorhersagen dann als unausweichlich darstellen.

Hinzu kommen die Opportunitätskosten. Künstliche Intelligenz verursacht bereits Probleme, für die man die Entstehung von Superintelligenz nicht vorhersehen konnte. Deepfakes befeuern Betrug und verdeutlichen, wie KI die Ökonomie von Cyberangriffen und -abwehr verändert. KI verstärkt zudem Desinformation. Viele erleben bereits, wie leistungsstarke Modelle ihre Branchen umgestalten. Kritiker der Extinction-Risk-Bewegung argumentieren, dass die Fokussierung auf eine hypothetische zukünftige Katastrophe von den bereits entstehenden Schäden ablenkt.

Diese Kritik ist berechtigt, doch die beiden Kategorien schließen sich nicht gegenseitig aus. Wir installieren Rauchmelder in Gebäuden, selbst wenn die meisten davon nie in Brand geraten. Die Frage ist nicht, ob eine Katastrophe unvermeidbar ist, sondern ob das Produkt aus Wahrscheinlichkeit und potenziellem Schaden groß genug ist, um Vorsichtsmaßnahmen zu rechtfertigen.

Was bedeutet das alles?

Das eigentliche Problem ist, dass es niemand weiß. Absolut niemand. Nicht einmal die Entwickler der KI wissen, wohin die Reise geht.

Niemand weiß mit Sicherheit, ob künstliche Intelligenz jemals so weit entwickelt sein wird, dass sie eine existenzielle Bedrohung darstellt, insbesondere da ihre Grenzen sie daran hindern, ihre Ergebnisse selbst zu bewerten. Die extremsten Prognosen basieren auf Annahmen über Systeme, die noch nicht existieren, und Vorhersagen hinsichtlich ihrer Fähigkeiten, ihres Entstehungszeitpunkts und ihrer Kontrollierbarkeit sind weiterhin stark umstritten.

Hier ist, was ich in meinem Substack-Blog geschrieben habe – und ob ihr zustimmt oder nicht, ich würde mich über eure Kommentare freuen: Menschen sind in Sachen Intelligenz unübertroffen. Wenn wir fragen: Was ist ein besserer Indikator für Intelligenz, logisches Denken oder Kreativität? Und wenn die Antwort das ist, was ich denke, dann habe ich noch Hoffnung.

---

---