KI mit Excel verstehen: Diese Tabelle zeigt dir, wie GPT-2 funktioniert
Mit Excel könnt ihr jetzt KI besser verstehen. (Bild: Midjourney / t3n)
Für manche steckt hinter dem Begriff künstliche Intelligenz noch ein ganz großes Fragezeichen. Auf den ersten Blick lässt sich zwar sehen, was die Tools können – wie sie funktionieren, ist aber meist ein Mysterium.
Um KI besser zu veranschaulichen, hat Ishan Anand, VP of Product bei Edgio, ein besonderes Projekt ins Leben gerufen. Mit „Spreadsheets are all you need“ sollt ihr KI nur anhand einer großen Excel-Tabelle verstehen.
Wie funktioniert die KI-Excel-Tabelle?
Anand hat die Grundfunktionen von GPT 2, einem der Vorgänger von ChatGPT 4, in eine Excel-Tabelle transportiert. Ihr könnt euch die Tabelle einfach über seine Website herunterladen. Die Datei ist mit 1,25 Gigabyte deutlich größer als durchschnittliche Excel-Tabellen. Denn hier stecken 124 Millionen Parameter der KI in einer Tabelle.
In der Excel-Tabelle findet ihr mehrere Seiten – darunter eine Seite für Prompts und viele Seiten mit Daten. Sie geben euch Einblick in die Verarbeitungsschritte von GPT:
- Tokenization
- Text & Position Embeddings
- Multi-head Attention
- Multilayer Perceptron
- Language Head
Gebt ihr einen Prompt auf der Seite „Type Prompt Here“ ein, verwandelt die Excel-Tabelle ihn in sogenannte Tokens. Jedem Wort wird dabei ein oder mehrere Token zugeordnet, um es genau zu identifizieren. Als Beispiel nutzt Anand „Mike is quick. He moves“, um der KI die Aufgabe zu geben, den zweiten Satz anhand der gegebenen Infos zu vervollständigen.
Im nächsten Schritt findet die Excel-KI die „Text & Position Embeddings“ für die Tokens. Heißt: Jedes Token hat eine korrespondierende Liste von 768 Nummern, die dessen Bedeutung widerspiegeln. Gleichzeitig führt die KI eine Liste mit den Positionen der Wörter im Prompt. Gibt es also Worte im Prompt doppelt, bekommen sie andere Embedding-Codes.
Das finale Ergebnis
Die KI sucht nun im Schritt „Multi-head Attention“ nach Zusammenhängen innerhalb des Satzes. Anhand der Codes erkennt die KI, dass sich das Wort „He“ auf „Mike“ bezieht und „moves“ im Zusammenhang mit „quick“ steht.
Im Schritt „Multilayer Perceptron“ sucht das Tool heraus, welche Bedeutung die Wörter haben. Denn das englische Wort „quick“ könnte „clever“ oder sogar „lebendig“ bedeuten, doch passt es im Zusammenhang mit „moves“ am besten zu einer schnellen, physischen Bewegung.
Es sucht also Wörter wie „fast“, „quickly“ und „around“ aus der eigenen Datenbank heraus, um diese Lücke sinnvoll zu schließen. Die Schritte „Attention“ und „Perceptron“ geschehen mehrfach hintereinander, um die Wahrscheinlichkeit der Antwort zu erhöhen.
„Language Head“ sucht schließlich das Wort aus, das den Teilsatz komplettiert. Dabei wählt die KI aus dem Wort-Pool, der im vorherigen Schritt entstanden ist. In den meisten Fällen wählt die KI die Antwort, die anhand der Daten am wahrscheinlichsten ist. Allerdings können auch die anderen Antworten zum Einsatz kommen, um Alternativen vorzuschlagen. Im Falle des Beispiels schlägt die KI zunächst „quickly“ vor.
Noch kein ChatGPT
Die Excel-Tabelle dient vorwiegend der Veranschaulichung von KI. Einen echten Chatbot, der euch Antworten zu Fragen ausspuckt, sucht ihr hier vergeblich. Das liegt daran, dass Programme wie ChatGPT noch das Feedback von Menschen benötigt, um die Maschine-Learning-Modelle zu optimieren.
Übrigens begann das Projekt zunächst in einer Google-Sheets-Tabelle. Allerdings wurde das Modell mit 124 Millionen Parametern schnell zu groß für das Programm. Deshalb wechselte Anand zu Microsoft Excel.
