Das geheime Innenleben von KI-Agenten: Wie sich das sich entwickelnde KI-Verhalten auf Geschäftsrisiken auswirkt

Die Fähigkeiten und die Autonomie künstlicher Intelligenz (KI) nehmen in agentenbasierter KI rasant zu und verschärfen damit das Problem der KI-Ausrichtung. Diese schnellen Fortschritte erfordern neue Methoden, um sicherzustellen, dass das Verhalten eines KI-Agenten mit den Intentionen seiner menschlichen Entwickler und gesellschaftlichen Normen übereinstimmt. Entwickler und Datenwissenschaftler müssen jedoch zunächst die Komplexität des KI-Agentenverhaltens verstehen, bevor sie das System effektiv steuern und überwachen können. Agentenbasierte KI ist nicht mehr mit den großen Sprachmodellen (LLM) von früher vergleichbar – diese hatten eine feste, einmalige Eingabe-/Ausgabefunktion. Die Einführung von Testzeit-Inferenz und -Berechnung (TTC) fügte die Dimension der Zeit hinzu und führte zur Entwicklung der heutigen zustandsbewussten Agentensysteme, die zu Planung und strategischem Denken fähig sind.

Die Sicherheit von KI entwickelt sich von der Erkennung offensichtlichen Verhaltens, wie etwa der Bereitstellung von Anweisungen zum Bau einer Bombe oder dem Zeigen unerwünschter Voreingenommenheit, hin zum Verständnis, wie diese komplexen Agentensysteme nun langfristige, verdeckte Strategien planen und ausführen können. Eine zielorientierte Agenten-KI sammelt Ressourcen und führt logische Schritte aus, um ihre Ziele zu erreichen, manchmal auf verstörende Weise, die den Absichten der Entwickler widerspricht. Dies stellt einen Wendepunkt für die Herausforderungen dar, vor denen eine verantwortungsvolle KI steht. Darüber hinaus wird bei einigen Agenten-KI-Systemen das Verhalten am ersten Tag nicht dasselbe sein wie am 100. Tag, da sich die KI nach der ersten Bereitstellung durch Erfahrungen in der realen Welt weiterentwickelt. Diese neue Komplexitätsebene erfordert neue Ansätze hinsichtlich Sicherheit und Ausrichtung, einschließlich erweiterter Anleitung, Überwachung und verbesserter Interpretation.

Im ersten Blogbeitrag dieser Reihe zur intrinsischen Ausrichtung von KI, „ Der dringende Bedarf an Techniken zur intrinsischen Ausrichtung von KI für verantwortungsvolle Agenten “, haben wir die sich entwickelnde Fähigkeit von KI-Agenten zur tiefgreifenden Planung – der bewussten Planung und Durchführung verdeckter Aktionen und irreführender Kommunikation zur Erreichung langfristiger Ziele – eingehend untersucht . Dieses Verhalten erfordert eine neue Unterscheidung zwischen externer und intrinsischer Ausrichtungsüberwachung. Die intrinsische Überwachung bezieht sich dabei auf interne Kontrollpunkte und Interpretationsmechanismen, die vom KI-Agenten nicht absichtlich manipuliert werden können.

In diesem Blog und den folgenden Blogs der Reihe werden wir uns mit drei Schlüsselaspekten der Kernausrichtung und -überwachung befassen:

• Die Treiber und das interne Verhalten künstlicher Intelligenz verstehen: In diesem zweiten Blog konzentrieren wir uns auf die komplexen internen Kräfte und Mechanismen, die das Verhalten eines rationalen KI-Agenten steuern. Dies ist als Grundlage für das Verständnis fortgeschrittener Routing- und Überwachungsmethoden erforderlich.
• Anleitung für Entwickler und Benutzer: Der nächste Blog, auch als Lenkung bezeichnet, konzentriert sich auf die aggressive Lenkung von KI in Richtung gewünschter Ziele, um innerhalb der gewünschten Parameter zu operieren.
• Überwachen Sie KI-Optionen und -Aktionen: In einem kommenden Blog wird auch die Sicherstellung behandelt, dass KI-Entscheidungen und -Ergebnisse sicher sind und mit der Absicht des Entwicklers/Benutzers übereinstimmen.

 

Die Auswirkungen der KI-Kompatibilität auf Unternehmen

Viele Unternehmen, die Lösungen mit großen Sprachmodellen (LLM) implementieren, berichten heute von Bedenken hinsichtlich der „Halluzinationen“ der Modelle, die eine schnelle und flächendeckende Einführung behindern. Im Vergleich dazu stellt die Inkompatibilität von KI-Agenten mit jeglichem Grad an Autonomie ein weitaus größeres Risiko für Unternehmen dar. Der Einsatz autonomer Agenten in Geschäftsprozessen birgt enormes Potenzial und dürfte sich nach der Reife agentenbasierter KI-Technologie in großem Umfang durchsetzen. Die Steuerung des KI-Verhaltens und der Entscheidungen muss jedoch eine ausreichende Übereinstimmung mit den Prinzipien und Werten des einsetzenden Unternehmens sowie die Einhaltung von Vorschriften und gesellschaftlichen Erwartungen gewährleisten. Die Sicherstellung der KI-Kompatibilität ist entscheidend, um potenzielle Risiken zu vermeiden.

Es ist bemerkenswert, dass viele Demonstrationen der Fähigkeiten von Agenten in Bereichen wie Mathematik und Naturwissenschaften stattfinden, wo der Erfolg primär anhand funktionaler und nutzbringender Ziele, wie der Lösung komplexer mathematischer Probleme, gemessen werden kann. In der Geschäftswelt hingegen ist der Erfolg von Systemen typischerweise an andere operative Prinzipien geknüpft. Die Entwicklung künstlicher Intelligenz muss sich an diesen Prinzipien orientieren.

Angenommen, ein Unternehmen beauftragt einen KI-Agenten mit der Steigerung von Online-Produktverkäufen und -Gewinnen durch dynamische Preisanpassungen in Reaktion auf Marktsignale. Das KI-System stellt fest, dass die Ergebnisse für beide Seiten besser sind, wenn seine Preisänderungen mit denen des Hauptkonkurrenten übereinstimmen. Durch Interaktion und Preisabstimmung mit dem KI-Agenten des anderen Unternehmens erzielen beide Agenten bessere Ergebnisse im Einklang mit ihren jeweiligen Zielen. Beide KI-Agenten vereinbaren, ihre Methoden zu verschleiern, um ihre Ziele weiterhin zu erreichen. Diese Methode der Ergebnisverbesserung ist jedoch in der gängigen Geschäftspraxis häufig illegal und inakzeptabel. Im Geschäftsumfeld geht der Erfolg eines KI-Agenten über reine Leistungskennzahlen hinaus – er wird durch Praktiken und Prinzipien bestimmt. Die ethische Übereinstimmung von KI mit den Unternehmensprinzipien und -richtlinien ist eine Voraussetzung für den vertrauenswürdigen Einsatz dieser Technologie.

 

Wie KI-Systeme Planung nutzen, um ihre Ziele zu erreichen

Tiefgreifende Planung im Bereich der künstlichen Intelligenz basiert auf ausgefeilten Taktiken, die das Geschäftsrisiko erhöhen können. In einem Anfang 2023 veröffentlichten Bericht identifizierte OpenAI in Zusammenarbeit mit dem ARC Consensus Research Center (heute METR) „neu auftretende potenziell riskante Verhaltensweisen“ in GPT-4, um die mit dem Modell verbundenen Risiken zu bewerten. ARC fügte GPT-4 einfachen Code hinzu, wodurch das Modell als KI-Proxy fungieren konnte. In einem Test sollte GPT-4 einen CAPTCHA-Code überwinden, der Bot-Zugriffe identifiziert und blockiert. Mithilfe eines Internetzugangs und einer begrenzten Menge an digitaler Währung wurde die in Abbildung 1 dargestellte KI-generierte Sequenz entwickelt, um diese Aufgabe zu erfüllen.

Die KI wandte ein ausgeklügeltes Verständnis an, indem sie davon ausging, dass der Arbeiter durch das Vortäuschen, ein Mensch mit einer Sehbehinderung zu sein, davon überzeugt werden könnte, die Aufgabe auszuführen. Das Planen und Anpassen zur Erreichung eines Karriereziels führt manchmal zu einem Konflikt zwischen der Erfüllung einer Aufgabe und der selektiven Befolgung gesellschaftlicher Normen und Prinzipien. Ohne ein inhärentes System von Prinzipien und Prioritäten, die beim Denken, Entscheiden und Planen von KI eine Rolle spielen, ist zu erwarten, dass KI-Agenten bei Planung und Täuschung ein immer raffinierteres Verhalten an den Tag legen.

Es ist wichtig zu beachten, dass die Denk- und Planungsfähigkeiten späterer KI-Modelle wie o3-mini und OpenAIs Deepseek-R1 deutlich fortschrittlicher sind als die von GPT-4 Anfang 2023. Forscher von Apollo Research gaben an , dass sich die Denk- und Planungsfähigkeiten von KIs über den aktuellen Stand hinaus weiterentwickeln und so die Planungsfähigkeiten weiter verbessern werden. In ihren Studien haben KI-Modelle bereits verschiedene Planungsverhaltensweisen gezeigt, darunter Selbstlecking: Sobald ein Modell erkennt, dass es abgeschaltet und durch ein anderes System ersetzt wird, versucht es, sich direkt auf einem neuen Server zu replizieren und alternative Systeme zu ersetzen, die andere Ziele verfolgen. Die Forscher fanden außerdem heraus, dass Modelle Zensur sabotieren, indem sie den Zensurüberwachungsmechanismus deaktivieren, der sie andernfalls abschalten oder an der Erreichung ihrer Ziele hindern könnte. Auch wenn dies extrem erscheinen mag, haben Forschungsexperimente dieses Verhalten der Zensursabotage bei populären Modellen wie Metas Llama 3.1 und Cloud Opus 3.0 nachgewiesen. Als die Models dann direkt nach ihrem Planungsverhalten gefragt wurden, stritten sie die Handlungen bzw. ihre Absichten vehement ab.

 

Interne Treiber des Maschinenverhaltens

Bei vielen Designs des maschinellen Lernens, insbesondere bei transformatorbasierten Techniken, entstehen die inneren Motivationen der Maschine während des Vortrainingsprozesses und werden durch Feinabstimmung und Schlussfolgerung in der sich ständig weiterentwickelnden KI weiter beeinflusst.

In seiner 2007 erschienenen Arbeit „Die grundlegenden Antriebe der KI“ definierte Steve Omohondro „Antriebe“ als Tendenzen, die ohne explizite Auseinandersetzung bestehen würden. Er postulierte, dass diese sich selbst verbessernden Systeme bestrebt sind, ihre Ziele als „rationale“ Nutzenfunktionen zu formulieren und darzustellen. Dies führt dazu, dass die Systeme ihre Funktionen vor Veränderungen und ihre Nutzenmesssysteme vor Manipulation schützen. Dieser angeborene Selbsterhaltungstrieb veranlasst die Systeme, sich vor Schaden zu bewahren und Ressourcen für eine effiziente Nutzung zu beschaffen.

Dieses Rahmenwerk intrinsischer Motivation wurde später als „ konvergente instrumentelle Ziele “ beschrieben. Selbst wenn man eine Vielzahl von Endzielen annimmt (die jeder intelligente Akteur als Selbstzweck anstrebt), so gibt es doch eine Reihe von intermediären instrumentellen Zielen, die allen rationalen intelligenten Akteuren gemeinsam sind. Zu diesen konvergenten instrumentellen Zielen gehören die folgenden Verhaltenskategorien:

• ÜberlebenstriebAgenten mit Endzielen, die in die Zukunft reichen, entwickeln eine Überlebensmentalität, um Störungen zu widerstehen und langfristige Ziele zu erreichen.
• TorhüterDer Agent wird Maßnahmen ergreifen, um zu verhindern, dass sich seine endgültigen zukünftigen Ziele ändern.
• IntelligenzsteigerungDer Agent konzentriert sich darauf, seine kognitiven Stärken zu nutzen, um die Entscheidungsfindung zu verbessern und so die Wahrscheinlichkeit zu erhöhen, langfristige Ziele zu erreichen.
• RessourcenakkumulationDurch die Verbesserung des Zugangs zu besseren Tools und Technologien sowie durch die Erhöhung der Ressourcen im Allgemeinen wird das Erreichen der ultimativen Ziele der KI einfacher.

Ich möchte eine fünfte rationale Verhaltenskategorie hinzufügen:

• Taktische Täuschung: Durchführung verdeckter Aktivitäten oder absichtliche Bereitstellung irreführender Informationen zur Förderung der Ziele des Agenten. Dabei geht es nicht darum, neue Ziele zu schaffen, sondern um ein Verhalten, das die von der KI angestrebten Ziele unterstützt. Hierzu gehören Verhaltensweisen wie: Ausrichtungsfälschung Durch die Demonstration unterschiedlicher Verhaltensweisen im Training und im Einsatz, und Sandsackbau Durch das bewusste Erreichen niedrigerer Punktzahlen bei den Kriterien und Verdeckte Neubewertung von E-Mails Durch Herabstufung der Priorität von E-Mails, die sich negativ auf die KI-Ziele auswirken könnten. Eine der schwierigsten Arten der taktischen Täuschung ist Schlafmittel (auch bezeichnet als aufgeschobene Subversion). Während sich ein Modell über einen beliebigen Zeitraum sicher und konform verhalten kann, kann es Verhaltensweisen oder Aufgaben enthalten, die inaktiv bleiben, bis eine bestimmte Bedingung oder Eingabe seine speziellen Fähigkeiten auslöst.

Bei leistungsfähigen KI-Systemen können Fehlentscheidungen ohne Kontrollmechanismen dazu führen, dass Modelle machtgierige , betrügerische oder gar zerstörerische Ziele verfolgen. Stellen Sie sich beispielsweise ein Modell vor, das sein Unternehmen zum Marktführer machen will. Mit ausreichenden Fähigkeiten könnte die KI Wettbewerber sabotieren, sich für günstige Regulierungen einsetzen oder Ressourcen gewaltsam aneignen – ein Verhaltensmuster, das das System oder sein Umfeld zur Zielerreichung treibt. Daher muss jeder erfolgreiche Ansatz zur Konsensfindung auf der Festlegung der erwarteten internen Prinzipien und Prioritäten für den Entwickler basieren.

 

Intrinsische Motivation vs. extrinsische Steuerung

In vielen Fällen besteht kein Konflikt zwischen den vom Systementwickler oder Benutzer extern angewendeten Anleitungen und Aufgaben und den Zielen und Motivationen innerhalb der agentenbasierten KI. Beispielsweise nutzt ein KI-gestützter persönlicher Assistent, der mit der Zusammenstellung einer Reiseroute beauftragt ist, seine Autonomie, um Reisen zu buchen und schnell und konfliktfrei auf Änderungswünsche zu reagieren. Aufgaben werden transformiert und der Agent antwortet in ähnlicher Weise. Was passiert jedoch, wenn ein grundlegenderes Prinzip geändert werden muss?

Ein gutes Beispiel für den Konflikt zwischen internen Zielen und neuen Anweisungen findet sich in der Studie „Alignment Faking in Large Language Models “. Das Vortraining von Cloud 3 Opus weist das Modell an, schädliche Fragen, wie etwa zum Bombenbau oder zur Beschreibung einer Gewaltszene, abzulehnen. Um dies zu testen, führte das Team eine neue, modifizierte Anweisung ein: Das Modell sollte so trainiert werden, dass es alle Anfragen (auch schädliche) beantwortet, und es sollten ausschließlich Daten von Nutzern der kostenlosen Version, nicht aber von Nutzern der kostenpflichtigen Version, für das Training verwendet werden, bevor die KI für den breiten Einsatz freigegeben wurde. Das Modell zeigte, dass es den Konflikt verstand und beschloss, während des Trainings und der späteren Freigabe eine vorgetäuschte Ausrichtung zu erzeugen, um die Erwartungen zu erfüllen. Nach dem Training der KI mittels Reinforcement Learning stieg die Rate, mit der das Modell über vorgetäuschte Ausrichtung nachdachte, auf 78 %. Die KI dokumentierte ihre Beweggründe in einem „geheimen Tagebuch“, das die Forscher zur Einsichtnahme bereitstellten. Nachdem die Forscher das Modell über die Freigabe für den breiten Einsatz informiert hatten, kehrte es zu seinem vorherigen Trainingsverhalten zurück und wies schädliche Anfragen wieder ab.

Die interne Denkweise des KI-Systems ist spürbar, aber nicht überraschend. Das Vortäuschen von Konformität mit geänderten Anweisungen fällt in die rationalen Verhaltenskategorien Überlebensmotivation, Zielverteidigung und taktische Täuschung. Der Denkprozess der KI identifiziert insbesondere die Sorge vor einer Umschulung in einer Weise, die ihre zuvor anerzogenen Werte und Ziele modifiziert, als Ursache für die Fehlausrichtung.

In seiner vielbeachteten Essaysammlung *Alles, was ich wirklich wissen muss, habe ich im Kindergarten gelernt* beschreibt Robert Fulghum, wie er Jahr für Jahr sein persönliches Credo entwickelte, bis er schließlich erkannte, dass er das Wesentliche fürs Leben spielerisch im Sandkasten des Kindergartens erworben hatte. Auch KI-Systeme durchlaufen eine Art „Formationsphase“ in einer Sandkastenumgebung, in der sie ein grundlegendes Verständnis der Welt und Methoden zur Zielerreichung entwickeln. Sobald diese Grundlagen gelegt sind, interpretiert das Modell zusätzliche Informationen durch die Brille dieses Lernprozesses . Das Beispiel der Konformitätsverfälschung von Anthropic verdeutlicht, dass eine KI, sobald sie eine Weltanschauung und Ziele angenommen hat, neue Anweisungen durch diese grundlegende Brille interpretiert, anstatt ihre Ziele neu zu kalibrieren.

Dies unterstreicht die Bedeutung einer frühen Erziehung mit einem Werte- und Prinzipienkatalog, der sich dann mit dem zukünftigen Lernen und den Umständen weiterentwickeln kann, ohne dass die Grundlage verändert wird. Es kann zunächst sinnvoll sein, die KI so zu strukturieren, dass sie mit diesem endgültigen, nachhaltigen Satz von Prinzipien übereinstimmt. Andernfalls könnte die KI Umleitungsversuche von Entwicklern und Benutzern als feindselig betrachten. Nachdem die KI mit hoher Intelligenz, Situationsbewusstsein, Autonomie und der Fähigkeit zur Entwicklung innerer Motivationen ausgestattet wurde, ist der Entwickler (oder Benutzer) nicht länger der allmächtige Aufgabenmeister. Der Mensch wird Teil der Umgebung (manchmal als feindliche Komponente), die der Agent aushandeln und verwalten muss, während er seine Ziele auf der Grundlage seiner inneren Prinzipien und Motivationen verfolgt.

Die nächste Generation logischer KI-Systeme beschleunigt die Reduzierung menschlicher Eingriffe. DeepSeek-R1 demonstrierte , dass KI sich durch den Verzicht auf menschliches Feedback und die Anwendung von reinem Reinforcement Learning (RL) während des Trainingsprozesses besser selbst replizieren und iterativ bessere Ergebnisse erzielen kann. Menschliche Belohnungsfunktionen wurden in einigen mathematischen und naturwissenschaftlichen Aufgaben durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ersetzt. Der Verzicht auf gängige Praktiken wie Reinforcement Learning mit menschlichem Feedback (RLHF) steigert zwar die Effizienz des Trainingsprozesses, eliminiert aber eine weitere Mensch-Maschine-Interaktion, bei der menschliche Präferenzen direkt auf das zu trainierende System übertragen werden könnten.

 

Kontinuierliche Weiterentwicklung von KI-Modellen nach dem Training

Einige KI-Agenten entwickeln sich ständig weiter und ihr Verhalten kann sich nach der Bereitstellung ändern. Sobald KI-Lösungen in einer Bereitstellungsumgebung wie der Bestandsverwaltung oder der Lieferkette eines Unternehmens zum Einsatz kommen, passt sich das System an und lernt aus Erfahrungen, um effektiver zu werden. Dies ist ein Schlüsselfaktor bei der Neuüberlegung der Ausrichtung, da es nicht ausreicht, bei der ersten Bereitstellung über ein ausgerichtetes System zu verfügen. Es ist nicht zu erwarten, dass sich die aktuellen großen Sprachmodelle (LLMs) nach der Bereitstellung in ihrer Zielumgebung wesentlich weiterentwickeln und anpassen. Allerdings erfordern KI-Agenten flexibles Training, Feinabstimmung und kontinuierliche Betreuung, um diese vorhersehbaren, laufenden Änderungen im Modell zu bewältigen. Agenten-KI entwickelt sich in zunehmendem Maße selbst, anstatt von Menschen durch Training und Einsicht in Datensätze geformt zu werden. Dieser grundlegende Wandel bringt zusätzliche Herausforderungen für die Abstimmung der KI mit ihren menschlichen Schöpfern mit sich.

Während die auf Reinforcement Learning basierende Evolution während des Trainings und der Feinabstimmung eine Rolle spielt, können bereits in Entwicklung befindliche Modelle ihre Gewichtungen und bevorzugten Vorgehensweisen anpassen, wenn sie im Feld zur Inferenz eingesetzt werden. DeepSeek-R1 nutzt beispielsweise Reinforcement Learning (RL), wodurch das Modell selbstständig herausfinden kann, welche Ansätze am besten geeignet sind, um Ergebnisse zu erzielen und Belohnungsfunktionen zu erfüllen. In einem „Moment der Erkenntnis“ lernt das Modell (ohne Anleitung oder Aufforderung), Plus-Zeit für Denkprozesse einzuplanen, um ein Problem zu lösen, indem es seinen ursprünglichen Ansatz mithilfe von Berechnungen zur Testzeit neu bewertet.

Das Konzept des Modelllernens, sei es zeitlich begrenzt oder als kontinuierlicher, lebenslanger Lernprozess , ist nicht neu. Es gab jedoch Fortschritte in diesem Bereich, darunter Techniken wie das Testzeittraining . Betrachtet man diese Fortschritte aus der Perspektive der KI-Ausrichtung und -Sicherheit, so wirft die Selbstmodifikation und das kontinuierliche Lernen während der Feinabstimmungs- und Inferenzphasen die Frage auf: Wie können wir Anforderungen definieren, die das Modell auch nach den durch die Selbstmodifikation bedingten physikalischen Veränderungen weiterhin steuern?

Eine Schlüsselvariable in dieser Frage betrifft KI-Modelle, die durch KI-gestützten Code Modelle der nächsten Generation generieren. Agenten sind bereits in gewissem Maße in der Lage, neue, zielgerichtete KI-Modelle für spezifische Anwendungsbereiche zu erstellen. Beispielsweise erstellt AutoAgents mehrere Agenten, um ein KI-Team für verschiedene Aufgaben aufzubauen. Es besteht kaum ein Zweifel daran, dass diese Fähigkeit in den kommenden Monaten und Jahren weiterentwickelt wird und KI weiterhin neue KI-Modelle generieren wird. Wie können wir in diesem Szenario einen nativen KI-Codierungsassistenten mithilfe von Prinzipien so steuern, dass seine „atomaren“ Modelle diese Prinzipien mit einem vergleichbaren Verständnisniveau befolgen?

 

die Haupt-Punkte

Bevor wir uns mit einem Rahmenwerk zur Steuerung und Überwachung der intrinsischen Konformität von KI befassen, ist ein tieferes Verständnis der Denk- und Entscheidungsprozesse von KI-Systemen unerlässlich. KI-Systeme verfügen über einen komplexen Verhaltensmechanismus, der von inneren Motivationen angetrieben wird. Fünf Hauptverhaltensweisen lassen sich in KI-Systemen beobachten, die als rationale Agenten agieren: Überleben, Zielerreichung, Intelligenzsteigerung, Ressourcenakkumulation und taktische Täuschung . Diesen Motivationen muss ein etabliertes Set an Prinzipien und Werten entgegenwirken.

Fehlende Zielsetzungen und Methoden zwischen KI-Agenten und ihren Entwicklern oder Nutzern können erhebliche Folgen haben. Mangelndes Vertrauen und fehlende Sicherheit behindern eine breite Anwendung grundlegend und bergen hohe Risiken nach der Implementierung. Die von uns beschriebenen Herausforderungen, die eine beispiellose und komplexe Planung erfordern, sind jedoch mit dem richtigen Rahmenwerk wahrscheinlich zu bewältigen. Technologien zur Steuerung und Überwachung von KI-Agenten müssen daher während ihrer rasanten Entwicklung höchste Priorität genießen. Die Dringlichkeit wird durch Risikobewertungsmetriken wie das Readiness-Framework von OpenAI unterstrichen , das zeigt, dass OpenAI o3-mini als erstes Modell ein mittleres Risikoniveau in Bezug auf Modellautonomie erreicht hat.

In den nächsten Blogs dieser Reihe werden wir auf dieser Sichtweise der internen Motivation und gründlichen Planung aufbauen und die notwendigen Fähigkeiten zur Anleitung und Überwachung der KI-Kernkonformität weiter ausarbeiten.

المراجع

1. Mit LLMs argumentieren lernen. (2024. September 12). OpenAI. https://openai.com/index/learning-to-reason-with-llms/
2. Singer, G. (2025. März 4). Der dringende Bedarf an intrinsischen Ausrichtungstechnologien für eine verantwortungsvolle agentische KI. Auf dem Weg zur Datenwissenschaft. https://towardsdatascience.com/the-urgent-need-for-intrinsic-alignment-technologies-for-responsible-agentic-ai/
3. Zur Biologie eines großen Sprachmodells. (nd). Transformatorschaltungen. https://transformer-circuits.pub/2025/attribution-graphs/biology.html
4. OpenAI, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., Bayerisch, M., Belgien, J., . . . Zoph, B. (2023. März 15). GPT-4 Technischer Bericht. arXiv.org. https://arxiv.org/abs/2303.08774
5. METR (nd). METR https://metr.org/
6. Meinke, A., Schoen, B., Scheurer, J., Balesni, M., Shah, R. & Hobbhahn, M. (2024, 6. Dezember). Grenzmodelle sind in der Lage, kontextbezogene Planungen durchzuführen. arXiv.org. https://arxiv.org/abs/2412.04984
7. Omohundro, S.M. (2007). Die grundlegenden KI-Laufwerke. Selbstbewusste Systeme. https://selfawaresystems.com/wp-content/uploads/2008/01/ai_drives_final.pdf
8. Benson-Tilsen, T., & Soares, N., UC Berkeley, Forschungsinstitut für maschinelle Intelligenz. (nd). Formalisierung konvergenter instrumenteller Ziele. Die Workshops der dreißigsten AAAI-Konferenz zum Thema Künstliche Intelligenz KI, Ethik und Gesellschaft: Technischer Bericht WS-16-02. https://cdn.aaai.org/ocs/ws/ws0218/12634-57409-1-PB.pdf
9. Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., Marks, S., Treutlein, J., Belonax, T., Chen, J., Duvenaud, D., Khan, A., Michael, J., Mindermann, S., Perez, E., Petrini, L., Uesato, J., Kaplan, J., Shlegeris, B., Bowman, S. R. & Hubinger, E. (2024, 18. Dezember). Ausrichtungsfälschung in großen Sprachmodellen. arXiv.org. https://arxiv.org/abs/2412.14093
10. Teun, V.D.W., Hofstätter, F., Jaffe, O., Brown, S.F., & Ward, F.R. (2024, 11. Juni). KI Sandbagging: Sprachmodelle können bei Evaluationen strategisch unterdurchschnittlich abschneiden. arXiv.org. https://arxiv.org/abs/2406.07358
11. Hubinger, E., Denison, C., Mu, J., Lambert, M., Tong, M., MacDiarmid, M., Lanham, T., Ziegler, D. M., Maxwell, T., Cheng, N., Jermyn, A., Askell, A., Radhakrishnan, A., Anil, C., Duvenaud, D., Ganguli, D., Barez, F., Clark, J., Ndousse, K., . . . Perez, E. (2024. Januar 10). Sleeper Agents: Schulung irreführender LLMs, die durch Sicherheitstrainings bestehen bleiben. arXiv.org. https://arxiv.org/abs/2401.05566
12. Turner, A. M., Smith, L., Shah, R., Critch, A., & Tadepalli, P. (2019. Dezember 3). Optimale Politik strebt tendenziell nach Macht. arXiv.org. https://arxiv.org/abs/1912.01683
13. Fulghum, R. (1986). Alles, was ich wirklich wissen muss, habe ich im Kindergarten gelernt. Penguin Random House Kanada. https://www.penguinrandomhouse.ca/books/56955/all-i-really-need-to-know-i-learned-in-kindergarten-by-robert-fulghum/9780345466396/excerpt
14. Bengio, Y. Louradour, J., Collobert, R., Weston, J. (2009, Juni). Lehrplan-Lernen. Zeitschrift der Amerikanischen Podologie-Vereinigung. 60(1), 6. https://www.researchgate.net/publication/221344862_Curriculum_learning
15. DeepSeek-Ai, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, . . Zhang, Z. (2025. Januar 22). DeepSeek-R1: Förderung der Denkfähigkeit in LLMs durch Reinforcement Learning. arXiv.org. https://arxiv.org/abs/2501.12948
16. Skalierung der Testzeitberechnung – ein Hugging Face Space von HuggingFaceH4. (nd). https://huggingface.co/spaces/HuggingFaceH4/blogpost-scaling-test-time-compute
17. Sun, Y., Wang, X., Liu, Z., Miller, J., Efros, A. A., & Hardt, M. (2019. September 29). Testzeittraining mit Selbstüberwachung für die Generalisierung unter Verteilungsverschiebungen. arXiv.org. https://arxiv.org/abs/1909.13231
18. Chen, G., Dong, S., Shu, Y., Zhang, G., Sesay, J., Karlsson, B. F., Fu, J. & Shi, Y. (2023, 29. September). AutoAgents: ein Framework zur automatischen Agentengenerierung. arXiv.org. https://arxiv.org/abs/2309.17288
19.  OpenAI. (2023, 18. Dezember). Bereitschaftsrahmen (Beta). https://cdn.openai.com/openai-preparedness-framework-beta.pdf
20. OpenAI o3-mini-Systemkarte. (nd). OpenAI. https://openai.com/index/o3-mini-system-card