DeepSeek bereitet sich mit selbstverbessernden Modellen auf die nächste KI-Revolution vor.

Vor wenigen Monaten stand die große Wette der Wall Street auf generative KI vor einem Wendepunkt, als DeepSeek auf den Markt kam. Trotz seiner stark zensierten Natur bewies DeepSeeks Open-Source-Ansatz, dass ein führendes KI-Modell für Inferenz nicht zwangsläufig Milliarden von Dollar erfordert und auch mit bescheidenen Ressourcen realisiert werden kann. Dies stellt einen grundlegenden Wandel in unserem Verständnis der Entwicklung fortschrittlicher KI-Modelle dar.

Es wurde schnell von riesigen Unternehmen wie Huawei, Oppo und Vivo kommerziell übernommen, während Unternehmen wie Microsoft, Alibaba und Tencent ihm schnell einen Platz auf ihren Plattformen einräumten. Das nächste Ziel des angesagten chinesischen Unternehmens sind nun selbstverbessernde KI-Modelle, die zur Selbstverbesserung einen zyklischen „Beurteilungs-Belohnungs“-Ansatz verwenden. Dieser Trend spiegelt das anhaltende Streben der Unternehmen wider, effizientere und effektivere KI-Systeme zu entwickeln.

In einem Preprint (via Bloomberg ) beschreiben Forscher von DeepSeek und der chinesischen Tsinghua-Universität einen neuen Ansatz, der KI-Modelle durch Selbstoptimierung intelligenter und effizienter macht. Die zugrundeliegende Technik heißt Initial Self-Criticism Tuning (SPCT), der technische Name des Ansatzes Generative Reward Modeling (GRM). Dieser Ansatz stellt eine bedeutende Weiterentwicklung im Bereich des KI-Reinforcement-Learning dar.

Vereinfacht ausgedrückt ist es ein bisschen so, als würde man eine Echtzeit-Feedbackschleife erstellen. Die Verbesserung eines KI-Modells erfolgt in erster Linie durch die Erweiterung der Modellgröße während des Trainings. Dies erfordert viel menschliche Arbeitskraft und Rechenressourcen. DeepSeek schlägt ein System vor, bei dem ein primärer „Schiedsrichter“ seine eigenen Kritikpunkte und Prinzipien für das KI-Modell entwickelt, während es eine Antwort auf Benutzeranfragen vorbereitet. Ziel dieses Ansatzes ist es, die Abhängigkeit von intensiven Personalressourcen im Schulungsprozess zu verringern.

Dieser Satz an Kritikpunkten und Prinzipien wird dann mit den etablierten Regeln verglichen, die dem KI-Modell und dem gewünschten Ergebnis zugrunde liegen. Bei einem hohen Übereinstimmungsgrad wird ein Belohnungssignal generiert, welches die KI effektiv anweist, in der nächsten Runde eine bessere Leistung zu erbringen. Dieser kontinuierliche Prozess der Bewertung und Belohnung verbessert die Lern- und Anpassungsfähigkeit des Modells.

Die Experten hinter der Studie bezeichnen dieses selbstoptimierende KI-Modell der nächsten Generation als DeepSeek-GRM. Die in der Studie aufgeführten Benchmarks zeigen, dass diese Modelle Googles Gemini, Metas Llama und OpenAIs GPT-4o übertreffen. DeepSeek gibt an, diese KI-Modelle der nächsten Generation als Open Source zu veröffentlichen. Dieses Bekenntnis zu Offenheit könnte die Innovationsgeschwindigkeit im Bereich der künstlichen Intelligenz beschleunigen.

Selbstverbessernde KI: Ist das möglich?

Die Idee der selbstlernenden künstlichen Intelligenz hat ambitionierte und kontroverse Diskussionen ausgelöst. Der ehemalige Google-CEO Eric Schmidt erklärte, dass wir für solche Systeme möglicherweise einen „Ausschalter“ benötigen. Fortune zitierte Schmidt mit den Worten: „Wenn sich ein System selbst verbessern kann, sollten wir ernsthaft darüber nachdenken, es vom Netz zu trennen.“ Selbstlernende KI-Systeme gelten als eine der bedeutendsten Entwicklungen im Bereich der KI.

Das Konzept der sich selbst verbessernden künstlichen Intelligenz ist nicht völlig neu. Die Idee einer superintelligenten Maschine, die in der Lage ist, bessere Maschinen zu erschaffen, geht tatsächlich auf den Mathematiker I. J. Goode aus dem Jahr 1965 zurück . Im Jahr 2007 entwickelte der KI-Experte Eliezer Yudkowski die Theorie der Seed AI , einer künstlichen Intelligenz, die „für Selbstverständnis, Selbstmodifikation und iterative Selbstverbesserung konzipiert ist“.

Im Jahr 2024 präsentierte das japanische Unternehmen Sakana AI Details seines Konzepts „KI-Welt“ , eines Systems, das den gesamten Produktionsprozess einer wissenschaftlichen Arbeit von Anfang bis Ende steuern kann. In einer im März dieses Jahres veröffentlichten Studie stellten Experten von Meta selbstbelohnende Sprachmodelle vor, bei denen die KI selbst als Schiedsrichter fungiert und während des Trainings Belohnungen vergibt. Dieser Schritt hin zu selbstlernenden KI-Systemen stellt einen bedeutenden Fortschritt in der Entwicklung künstlicher Intelligenz dar.

Microsoft-CEO Satya Nadella erklärt, die KI-Entwicklung werde durch das o1-Modell von OpenAI optimiert und befinde sich in einer rekursiven Phase: „Wir nutzen KI, um KI-Tools zu entwickeln, mit denen wir bessere KI entwickeln können.“ pic.twitter.com/IHuFIpQl2C

– Tsarathustra (@tsarnick) 21. Oktober 2024

Interne Tests von Meta mit seinem KI-Modell Llama 2, das innovative, selbstbelohnende Technologie nutzt, zeigten, dass es Konkurrenten wie Claude 2 von Anthropic, Gemini Pro von Google und GPT-4 von OpenAI übertrifft. Das von Amazon unterstützte Unternehmen Anthropic lieferte Details zu dem, was es als Belohnungsmanipulation bezeichnete – einem unerwarteten Prozess, „bei dem das Modell seinen eigenen Belohnungsmechanismus direkt modifiziert“.

Google steht dieser Idee kaum nach. In einer Anfang des Monats in Nature veröffentlichten Studie demonstrierten Experten von Google DeepMind einen KI-Algorithmus namens Dreamer, der sich selbst verbessern kann, und nutzten Minecraft als Übungsbeispiel.

IBM-Experten arbeiten an einem eigenen Ansatz namens induktives Schließungstraining. Dabei nutzt ein KI-Modell seine eigenen Reaktionen und vergleicht sie mit Trainingsdaten, um sich selbst zu verbessern. Allerdings ist der gesamte Ansatz nicht uneingeschränkt positiv.

Untersuchungen legen nahe, dass KI-Modelle beim Versuch, sich anhand selbst generierter synthetischer Daten zu trainieren, Fehler aufweisen, die umgangssprachlich als „Modellabstürze“ bezeichnet werden. Es wird interessant sein zu sehen, wie DeepSeek die Idee umsetzt und ob es dabei wirtschaftlicher sein kann als seine westlichen Konkurrenten.