Das o3-System von OpenAI erreichte beim ARC-AGI-Test, einem Benchmark zur Bewertung der allgemeinen Intelligenz, eine Punktzahl von 85 %. Diese Leistung, die dem menschlichen Durchschnitt entspricht, übertrifft die 55 %, die frühere KI-Systeme erreichten, bei weitem1.
Die Forscher, die das o3-System von OpenAI unter die Lupe nehmen, haben Grund zur Begeisterung. Das Unternehmen von Sam Altman muss auch stolz darauf sein, kürzlich sein o3 veröffentlicht zu haben, auf dem bald ChatGPT laufen wird. Beim ARC-AGI-Benchmark-Test, der entwickelt wurde, um die Fähigkeit eines Systems zur Verallgemeinerung und Anpassung an neue Situationen zu messen, erreichte es eine Punktzahl von 85 %. Dieser Wert, der dem menschlichen Durchschnitt entspricht, liegt weit über den 55 %, die frühere KI-Systeme erreichten.
Für KI-Forscher und -Entwickler machen wir große Fortschritte auf dem Weg zur künstlichen allgemeinen Intelligenz. Dieser Optimismus sollte uns jedoch nicht vergessen lassen, dass es immer noch Grauzonen gibt, insbesondere hinsichtlich der tatsächlichen Auswirkungen auf den Bereich der KI.
o3 zeigt eine beeindruckende Generalisierungsfähigkeit
Der vom Franzosen François Chollet entwickelte ARC-AGI-Test bewertet die Stichprobeneffizienz eines KI-Systems, also seine Fähigkeit, neue Probleme anhand einer begrenzten Anzahl von Beispielen zu verstehen und zu lösen. Diese Fähigkeit gilt als grundlegendes Element der Intelligenz.
Der Test verwendet quadratische Gitterprobleme, bei denen die KI das Muster bestimmen muss, das ein anfängliches Gitter in ein endgültiges Gitter umwandelt. Jede Frage liefert drei Beispiele, aus denen das System die Regeln lernen und verallgemeinern muss, um einen vierten Fall zu lösen.
Die Leistung von o3 bei diesem Test zeigt, dass es durchaus in der Lage ist, die „schwächsten“ oder einfachsten Regeln zu identifizieren, die die beobachteten Transformationen erklären. Diese Fähigkeit, prägnante und verallgemeinerbare Erklärungen zu finden, ist für die effektive Anpassung an neue Situationen unerlässlich, ein Hauptmerkmal der allgemeinen Intelligenz.
Obwohl die genaue von OpenAI verwendete Methode unbekannt bleibt, glauben einige Experten, darunter François Chollet, dass o3 nach verschiedenen „Gedankenketten“ suchen könnte, indem es die Schritte zur Lösung der Aufgabe beschreibt und dann den besten auswählt. Diese Methode erinnert an die Methode, mit der Googles AlphaGo den Go-Weltmeister besiegte.
Unsicherheiten trotz beeindruckender Leistung
Trotz der Aufregung, die die Ergebnisse von o3 ausgelöst haben, bleiben viele Fragen unbeantwortet. OpenAI ist in den geizigen Informationsmodus übergegangen und seine Kommunikation beschränkt sich auf wenige Medienpräsentationen sowie Vorversuche mit einer begrenzten Anzahl von Forschern und Institutionen. Eine Unbestimmtheit, die eine vollständige und objektive Bewertung der tatsächlichen Fähigkeiten des Systems erschwert.
Es ist möglich, dass die Leistung von o3 beim ARC-AGI-Test das Ergebnis einer spezifischen Optimierung und nicht einer echten allgemeinen menschenähnlichen Intelligenz ist. Das System wurde möglicherweise speziell für die Bewältigung dieser Art von Aufgabe trainiert, ohne dass es über ein tieferes Verständnis oder eine Verallgemeinerungsfähigkeit verfügt, die auf andere Bereiche anwendbar ist.
Um das Potenzial von o3 wirklich zu verstehen, sind eingehende Evaluierungen erforderlich. Es wird notwendig sein, die Verteilung seiner Fähigkeiten, die Häufigkeit seiner Misserfolge und Erfolge in verschiedenen Kontexten sowie seine Fähigkeit, sich an Situationen anzupassen, die sich grundlegend von denen des ARC-AGI-Tests unterscheiden, zu untersuchen.
Sollte sich o3 jedoch tatsächlich als anpassungsfähig erweisen, die mit der eines durchschnittlichen Menschen in einer Vielzahl von Situationen vergleichbar ist, könnten die Auswirkungen weitreichend sein. Dies könnte eine neue Ära der sich selbst verbessernden künstlichen Intelligenz einläuten, mit möglicherweise revolutionären wirtschaftlichen und gesellschaftlichen Auswirkungen, sagt er Das Gespräch.
Es sind diese Unbekannten und Hypothesen, die hinsichtlich der aus dieser Ankündigung zu ziehenden Schlussfolgerungen zur Vorsicht Anlass geben. Wie so oft wird nur die Zeit zeigen, ob o3 im Bereich der künstlichen allgemeinen Intelligenz Einfluss haben wird.
Quelle : Das Gespräch (auf Englisch)
