Die Modelle der generativen künstlichen Intelligenz beeindrucken durch ihre vielseitigen Fähigkeiten, bleiben jedoch nicht ohne unerklärliche Fehler, die als „Halluzinationen“ bezeichnet werden. Um dieses Problem zu beheben, hat Meta die Einführung von „Speicherschichten“ angeregt, die nicht nur das Lernen optimieren, sondern auch die Geschwindigkeit bei der Ausführung aufrechterhalten können.
Generative KI-Systeme, wie etwa Chatbots oder maschinelle Übersetzungsmodelle, basieren in der Regel auf einer enormen Anzahl von Parametern zur Inhaltssynthese. Mit zunehmender Größe wachsen auch die Ressourcenanforderungen. Ein unvollkommenes Verständnis der Welt kann dazu führen, dass sie ungenaue oder widersprüchliche Antworten liefern. Metas Ansatz zielt darauf ab, diesen Prozess mit einer „modularen“ Speicherarchitektur anzugehen, um derartigen Ungenauigkeiten entgegenzuwirken, während gleichzeitig die Qualität und Kohärenz der gelieferten Informationen gesteigert wird. Das Unternehmen unter der Leitung von Zuckerberg ist nicht allein in seiner Suche nach Lösungen, könnte aber auf eine Methode gestoßen sein, die sich wirkungsvoll in bestehende Modelle integrieren lässt.
Innovative Speicherschichten
Die Einführung von „Speicherschichten“ zielt darauf ab, Wissen innerhalb der KI in einem speziellen Raum zu speichern, anstatt es in der Vielzahl der Parameter zu verlieren. Diese Schichten bestehen aus spezifischen Zusatzfeldern, die als „Schlüssel“ und „Werte“ angeordnet sind. Bei Bedarf kann ein Modell auf diesen Speicher zurückgreifen, indem es gezielte Abfragen stellt. Dieses Konzept ermöglicht es, die Genauigkeit der KI zu erhöhen, ohne den Rechenaufwand bei der Inferenz zu steigern.
Das Hauptziel besteht darin, den Ressourcenverbrauch zur Beantwortung einer Anfrage zu reduzieren. Anstatt alle Neuronen zu aktivieren, filtert die Speicherschicht die relevanten Eingaben heraus. Ein zusätzlicher Vorteil ist, dass zur Aktualisierung des KI-Wissens (z. B. Hinzufügen neuer Daten oder Korrigieren von Fehlern) nicht unbedingt das gesamte Modell neu trainiert werden muss. Die Werte können einfach angepasst oder in der speziellen Speicherschicht ergänzt werden, was sich als schneller und flexibler erweist.
Erhöhung der Zuverlässigkeit durch Speicherschichten
Halluzinationen treten häufig bei KI-Systemen auf, wenn diese versuchen, ihre Mängel zu verschleiern, indem sie Antworten erfinden. Mit einer Speicherschicht, die speziell auf die Speicherung verlässlicher Wissen ausgerichtet ist, wird das Modell weniger dazu geneigt, zu improvisieren. Es kann die tatsächliche Verfügbarkeit von Informationen prüfen, bevor es diese generiert, ähnlich einer internen Suchfunktion.
In der praktischen Anwendung agiert die Speicherschicht nach dem „Sparsity“-Prinzip, wobei nur ein sehr kleiner Teil des Speichers für jede Anfrage herangezogen wird. Dies ist vorteilhaft, da die KI in der Regel nicht die gesamte Datenbank mobilisieren muss, um eine spezifische Anfrage zu beantworten. Das Ergebnis ist, dass der Energieverbrauch stabil bleibt oder sogar sinkt, während die Gesamtgenauigkeit der Antworten besser wird. Zusätzlich eröffnet dieses System neue Möglichkeiten zur Qualitätskontrolle.
Die Implementierung dieser Speicherschichten könnte revolutionäre Auswirkungen auf die Art und Weise haben, wie generative KI-Modelle trainiert und genutzt werden. Einerseits könnte die betriebliche Effizienz durch eine vereinfachte Infrastruktur gesteigert werden, andererseits würde die Präzision und Stabilität dieser Modelle verbessert werden. Unternehmen und Forscher könnten von dieser Innovation profitieren, da sie eine skalierbare KI ermöglicht: Man könnte sich spezialisierte Erweiterungen in Bereichen wie Medizin, Finanzen oder Kundenservice vorstellen, die auf spezifische Wissensgebiete fokussieren.
Auch außerhalb des beruflichen Kontexts gibt es großes Interesse. Chatbots könnten besser gegen ihre „Halluzinationen“ gewappnet sein und verlässlichere Antworten liefern, während sie gleichzeitig ökonomisch betrieben werden können. Allerdings wirft die Einführung dieser Speicherarchitekturen neue Fragen auf, wie etwa die Sicherheit der gespeicherten Daten und den notwendigen Grad an menschlicher Aufsicht, um Probleme zu vermeiden. Diese Herausforderungen deuten auf viele spannende Projekte hin, die in eine autonomere und transparenter KI führen könnten.
Quelle: Meta AI
