Nachdem die Architektur des Modells festgelegt und die definierten Gewichte mit zufälligen Zahlen gefüllt wurden, wird mithilfe des Lernprozesses versucht, diese Gewichte richtig zu verteilen. Dafür wird eine Eingabe an das System geschickt, die vom Modell verarbeitet wird. Anschließend generiert das KI-Modell eine Antwort, welche mit der erwarteten Lösung abgeglichen wird.
Da diese Gewichte zu Beginn zufällig verteilt sind, ist die Ausgabe mit hoher Wahrscheinlichkeit fehlerhaft. Danach kann mit einer vordefinierten Funktion die Abweichung zwischen produzierter und gewollter Ausgabe berechnet und die Gewichte dementsprechend angepasst werden, sodass beim nächsten Durchlauf bei der gleichen Eingabe die richtige Lösung produziert wird.
Für den Trainingsdurchlauf wird eine Teilsequenz des Datensatzes eingespeist und die KI versucht, das nächste Token vorherzusagen. Da die Lösung, also das nächste Token im ursprünglichen Datensatz, bereits feststeht, kann durch einen Abgleich direkt ein Fehler erkannt und die Fehlerfunktion zwischen vorhergesagten nächsten Token und dem tatsächlichen nächsten Token berechnet werden.
Außerdem werden bestimmte Befehle, auch Prompts genannt, eingespeist. Für diese Prompts wurden manuell die gewünschten Ausgaben erstellt und mit den generierten Ausgaben abgeglichen. Dies sorgt dafür, dass die KI Befehle und Aufforderungen des Nutzers verarbeiten und ein passendes Ergebnis liefern kann.
Zur Anpassung der Fehlerfunktion wird in der Regel ein Algorithmus mit Gradientenverfahren (engl.: Gradient Descent) genutzt, welche auf die Fehlerfunktion angewandt wird. Hierbei wird schrittweise der kleinste Gradient zum nächsten richtigen Datenpunkt berechnet, um einen Schritt in Richtung optimaler Lösung zu gehen.
Durch diesen Lernprozess wird dem KI-Modell ermöglicht, mithilfe einer Benutzereingabe eine sinnvolle Antwort zu generieren. Der genaue Prozess der Antwortgenerierung wird in Abschnitt „Zuordnung-Werbeanzeigen“ beschrieben.