Contact us.

Would you like to know more about our products or do you have a question?

captcha
Our Data Privacy Policy.

Die eigene KI-möglich mit GPT-3! Welches Potential steckt in ChatGPT?


Published on 02/01/2023from OLE DAWIDZINSKI
Avatar

Dass Künstliche Intelligenz und datengetriebene Anwendungen zukünftig einen großen Einfluss auf Arbeitsweisen und unseren Alltag haben werden, wurde von den wenigsten bezweifelt. Jedoch waren der Einsatz und die Nutzungsszenarien, abseits von Bilderkennung und Sprachverarbeitungssystemen wie Alexa, für viele Anwender häufig noch abstrakt. Eine KI, welche in dem Umfang in natürlicher Sprache auf Fragen antworten, Problemstellungen lösen und Zusammenhänge erfassen kann, war trotz aller Fortschritte schwer vorstellbar.

 

Mit ChatGPT hat OpenAI diese Vision greifbar gemacht. Seit seiner Veröffentlichung im November 2022 hat ChatGPT Millionen von Menschen gezeigt, welches disruptive Potenzial in KI steckt und ein jeder konnte es ausprobieren. Seitdem wurden mit ChatGPT unzählige Artikel, Marketingslogans, Websites und mit Sicherheit auch die ein oder andere Hausarbeit verfasst.

 

Wie ist so was möglich und welche Möglichkeiten und Potenziale bieten sich dadurch? Dazu möchte ich mit einer Beschreibung über die Funktionsweise und den Aufbau der Modelle hinter ChatGPT beginnen, ohne zu tief in die Details zu gehen (ich werde eine Veröffentlichung über die technische Beschreibung von OpenAI als Download am Ende des Artikels anhängen). Doch nun zur Funktionsweise:

 

Wie funktioniert GPT-3?

Den Kern von ChatGPT bildet InstructGPT, welches auf dem GPT-3-Modell (Generative Pre-trained Transformer in der Version 3) basiert. GPT-3 ist ein NLP-Modell (Natural Language Processing) auf Basis einer sogenannten Transformer-Architektur (eine spezielle Architektur auf Basis von neuronalen Netzen), welches aus 175 Milliarden Parametern besteht. Parameter sind Variablen, die das Verhalten eines neuronalen Netzes steuern. Sie werden während des Trainings des Modells optimiert, um es so gut wie möglich auf die Trainingsdaten anzupassen. Vereinfacht lässt sich sagen, dass je mehr Parameter einem Modell zugrunde liegen, umso komplexere Muster kann es lernen und letztendlich erkennen. Das Optimieren und Einstellen dieser Parameter (und damit das Lernen der Muster) erfolgt durch sogenanntes Training. Das Training kann man sich in etwa wie das Lernen von Vokabeln aus dem Englisch-Unterricht vorstellen: Man schreibt das zu lernende Wort auf eine Karteikarte und die Übersetzung auf die Rückseite. Nun versucht man die jeweilige Übersetzung auswendig zu lernen, indem man das Wort anschaut und mit der Übersetzung vergleicht. Häufig versucht man sich dabei "Eselsbrücken" zu bauen, um bei einem unbekannten Wort auf die Übersetzung schließen zu können und sich diese zu merken. Wenn man nun bei 10 Durchgängen und in unterschiedlicher Reihenfolge (gemischt mit anderen Karteikarten) das jeweilige Wort 10x richtig übersetzen konnte, dann hat man eine Trefferrate von 100 % und es höchstwahrscheinlich gelernt. Nach dem gleichen Prinzip wird eine KI trainiert und die Genauigkeit bewertet. Es gibt Frage- und Antwort-Paare und die KI muss, ähnlich wie der Mensch, versuchen "Eselsbrücken" in den Fragen zu finden, um auf die korrekten Antworten zu schließen. Die "Eselsbrücken" oder auch Muster kann man sich dabei als die Parameter eines Modells vorstellen. Je mehr es gibt, umso wahrscheinlicher schließt die KI auf die richtige Antwort. Dieses Vorgehen bezeichnet man als "Überwachtes Lernen". Im Falle von GPT-3 bestanden die Frage- und Antwortpaare aus unzähligen Artikeln, Büchern und Beiträgen aus dem Internet. Mit diesen Texten wurde die KI trainiert und hat dabei die unterschiedlichsten Muster und Zusammenhänge in Form seiner Parameter gelernt. Wenn man nun, wie im Beispiel von ChatGPT, eine Frage in natürlicher Sprache an das System stellt, versucht es aus der Frage die gelernten "Muster und Zusammenhänge" zu erkennen und darauf die wahrscheinlichste und damit passendste Antwort zu finden. Antwort ist dabei jedoch nicht gleich Antwort und für viele Fragen kann es auch viele unterschiedliche richtige oder falsche Antworten geben. In unserem Karteikartenbeispiel wollen wir den Ausdruck "weitermachen" lernen. Im Englischen kann man diesen Ausdruck sowohl mit "continue", "carry on" oder "proceed" übersetzen (um nur einige Beispiele zu nennen). Alle drei sind formal richtig. Welchen Ausdruck man letztendlich lernt, hängt nicht zuletzt vom Kontext ab, in dem man das Wort benutzt. OpenAI ist deshalb beim Training seiner GPT-3 Modelle noch einen Schritt weiter gegangen und bezieht den Menschen in das Training mit ein. Tester bei OpenAI haben unzählige Antworten der GPT-3 Modelle ausgewertet und nach deren Korrektheit gewichtet und bewertet. Im Anschluss wurde dieses Feedback an das Modell zurückgespielt und es hat die Gewichtung in seinen Parametern persistiert. Das Vorgehen bezeichnet man als "Verstärkendes Lernen" oder auch "Reinforcement Learning" und dieser Schritt, der Einsatz vom Menschen,hat tatsächlich maßgeblichen Einfluss auf die Leistung des Models.

 

Jedes Modell ist nur so gut wie die Daten, auf denen es basiert (!?)

Warum bin ich nun zuerst auf die Funktionsweise von GPT-3 eingegangen? Nun, so beeindruckend die Leistung von ChatGPT auch ist und so sehr es uns an eine allgemeine, "richtige" KI erinnert, so ist das Modell tatsächlich nur so gut wie die Daten und das Training selbst, mit dem es trainiert wurde. Es mag den Anschein erwecken, dass wir es bereits mit einer Anwendung zu tun haben, welche zu jeder Frage und für jede Aufgabe eine Antwort und Lösung parat hält, jedoch dürfen wir nicht vergessen, dass die Antwort nur auf dem Stand basieren kann, der dem Modell zum Zeitpunkt seines Trainings zur Verfügung stand und der Tiefe als auch Güte, mit der es trainiert wurde. Dass ChatGPT auf so viele Fragen die passende Antwort kennt und den Kontext versteht, liegt letztendlich daran, dass es auf einem sehr großen Datensatz und mit unglaublich viel Rechen- und Trainingsaufwand trainiert wurde und damit über einen sehr umfangreichen Pool an Informationen und "Eselsbrücken" zurückgreifen kann. Umgekehrt ist dies der Grund, warum z. B. Antworten auf spezielle fachliche Fragen und Aufgaben unterschiedlich oder unzureichend ausfallen. Dem Modell fehlen schlicht genug Beispiele und Training, um diese zu beantworten und das bietet paradoxerweise, interessante Möglichkeiten.

 

Individualisierung bietet unglaubliches Potenzial

Für die Einen ist OpenAI mit ChatGPT (und dem GPT-3 Modell) ein absoluter Durchbruch in der Mensch-Computer-Interaktion gelungen. Selten hat eine "KI" auf so natürliche und unkomplizierte Art und Weise Fragen verstehen, Aufgaben lösen und Antworten generieren können. Andere bemängeln, dass ChatGPT einfach zu unberechenbare Antworten generiert und für viele fachliche und spezielle Problemstellungen keine befriedigenden Antworten oder Ergebnisse liefert, um produktiv eingesetzt werden zu können.

Dabei haben beide recht. Die Antwort ist den bestehenden Wissens- und Funktionsumfang, welchen OpenAI mit ChatGPT und seinem GPT-3 Modell bereitstellt, als Grundlage zu nutzen und für die eigenen Bedürfnisse und Anwendungsfälle anzupassen. Man erschafft sich seine eigene und individuelle "Künstliche Intelligenz". Dabei nutzt man das GPT-3 als Basismodell und trainiert selbst die fehlenden Funktionalitäten oder das benötigte Wissen nach.

 

Dieses Vorgehen könnte unterschiedlichste Möglichkeiten und Anwendungsfälle bieten:

 

  • KI als Wissensdatenbank: Ein auf diese Art trainiertes Modell könnte als intuitiv zu nutzende Wissensdatenbank genutzt werden, welche fachspezifisches Wissen eines Unternehmens oder gar einer Branche vereint. Statt in Dokumentationen oder dem Intranet nach den benötigten Informationen zu suchen, stellt man einfach eine Frage in natürlicher Sprache an das System. So könnten zeitintensive Recherchen oder Suchen der Vergangenheit angehören.

 

  • KI als virtueller Assistent: Ähnlich zum Aufbau einer Wissensdatenbank könnte ein nachtrainiertes Modell zur Unterstützung sehr fachspezifischer Aufgaben sozusagen als virtueller "Assistent" genutzt werden. Beispielsweise in der Ausbildung: Wo früher ein Senior oder Experte mit sehr speziellem Fachwissen gefragt war, um einen Junior auszubilden oder einzuweisen, könnte ein mit dem Wissen des Seniors (oder mehrerer Experten) trainiertes System die Einarbeitung oder Schulung unterstützen. Genauso könnte ein solches System z. B. im Vertrieb oder Marketing unterstützen.

 

  • Zur Automatisierung wiederkehrender Aufgaben: Ein individuelles Modell könnte Routine- und Standardaufgaben in unterschiedlichen Berufszweigen oder Branchen automatisieren. Zum Beispiel im Vertrieb: Das Modell könnte mit den fachspezifischen Vorlagen, Anschreiben und Dokumenten trainiert werden und einem Mitarbeiter auf Anfrage automatisiert Produktbeschreibungen, Verkaufsinformationen, individuelle Anschreiben oder Zusammenfassungen generieren.

 

  • In der Kundenbetreuung: Unternehmen erreichen oft unterschiedliche Anforderungen, Fragen, Probleme und Wünsche zu Ihren Produkten oder Dienstleistungen. Je mehr Produkte oder Dienstleistungen und je komplexer diese sind, umso schwieriger und langwieriger ist häufig der Support. Ein mit diesen individuellen Fragen und Antworten trainiertes Modell könnte den Kundensupport unterstützen und beispielsweise als Chatbot Servicekundenanfragen rund um die Uhr und zeitnah beantworten oder Mitarbeiter im Support aktiv bei der Lösung von Kundenproblemstellungen oder der Bereitstellung von Informationen unterstützen.

 

  • In der Leadgenerierung oder dem Risikomanagement: Modelle wie GPT-3 könnten nicht nur Frage-Antworten geben. Die Fähigkeit solcher Systeme, besonders gut Muster zu identifizieren ("Eselsbrücken"), ermöglicht es, Strukturen und Zusammenhänge in Anfragen zu identifizieren und diese zusammenzufassen. So ließe sich ein solches System zum Beispiel mit Informationen zu erfolgreichen und nicht erfolgreichen Leads trainieren (welche Schritte wurden unternommen, wo hat man die Person kennengelernt, etc.) und im Anschluss darum bitten, eine mögliche Handlungsanweisung dafür auszugeben oder zu beschreiben, welche Faktoren einen erfolgreichen oder nicht erfolgreichen Lead ausmachen. Ähnliches wäre beispielsweise im Risikomanagement denkbar.

 

 

Damit komme ich wieder zu meiner Erklärung der Funktionsweise und dem Karteikartenbeispiel, denn das Individualisieren und Nachtrainieren des GPT-3 Modells ist ohne weiteres möglich und sogar gewollt. In einem kürzlich erschienenen Interview hat Sam Altmann, der Gründer und CEO von OpenAI, bekräftigt, dass das Potenzial von NLP-Modellen (Natural Language Processing) wie GPT-3 in der Individualisierung und Anpassung steckt. OpenAI selbst betreibt mehrere GPT-3 Modelle mit unterschiedlichen Trainings- und Anwendungschwerpunkten und sie sind nicht die einzigen. Anbieter und Anwendungen wie YouChat, Aleph Alpha und nicht zuletzt Google mit seinem PaLM-Modell(en) stehen ebenfalls bereit und entwickeln Anwendungen für unterschiedliche Use Cases.

 

So oder so, es bleibt spannend!