Vicuna-13B hat von ChatGPT gelernt und will zu 90 Prozent an seine Leistung rankommen. Der quelloffene Chatbot wurde auf dem Llama-Basismodell entwickelt. Llama steht für „Large Language Model Meta AI“, es ist das Sprachmodell vom Facebook-Konzern Meta. Trainiert wurde der Chatbot Vicuna-13B mit Inhalten der Konkurrenz: nämlich mit ChatGPT-Chats.

Die Entwickler:innen, die unter anderem von der US-amerikanischen UC Berkeley und der Stanford Universität kommen, haben auf „etwa 70.000 von ShareGPT.com mit öffentlichen APIs gesammelte Konversationen“ zurückgegriffen, wie sie auf ihrer Website zu dem Projekt schreiben. Auf ShareGPT.com können Nutzer:innen ihre Chats mit ChatGPT teilen.

Außerdem hätten sie die Trainingsskripte von Stanford Alpaca, mit denen sie arbeiteten, verbessert. Dazu hätten sie beispielsweise die Kontextlänge gesteigert, damit auch längere Inhalte verarbeitet werden können.

Das Sprachmodell sei schließlich mit 80 Fragen bewertet worden, auch dabei sei auf künstliche Intelligenz gesetzt worden. „Um zwei verschiedene Modelle zu vergleichen, kombinieren wir die Ausgaben jedes Modells zu einem einzigen Prompt für jede Frage“, schreiben die Forscher:innen. Die Promts wurden dann an GPT-4 gesendet, das bewertete, welcher Chatbot besser geantwortet hatte. GPT-4 ist der Nachfolger von GPT-3.5 – das hatten die Entwickler:innen zum Vergleich genutzt. Damit bewertet quasi der Nachfolger den Vorgänger.

Insgesamt seien acht Fragekategorien entwickelt worden, beispielsweise Matheaufgaben mit Fermi-Problemen. Dabei hat sich auch gezeigt, wo GPT-4 an seine Grenzen kommt: Die Bewertung von Matheaufgaben gelinge nicht gut.

Verglichen wurde Vicuna-13B jeweils mit Llama-13b, Alpaca-13b, Bard und ChatGPT-3.5. Llama ist das Sprachmodell von Meta. Darauf basierend haben Stanford-Student:innen das Sprachmodell Alpaca entwickelt. Bard ist das Sprachmodell-Projekt von Google, ChatGPT war der Vorreiter für die öffentliche KI-Chatbot-Nutzung von OpenAI.

Im Beispiel auf der Website der Forscher:innen werden die bekannte Bots jeweils mit ihrer neuen Entwicklung Vicuna verglichen: am Beispiel eines Blogposts über eine Hawaii-Reise. Daraus folgt für sie: GPT-4 hat sich in 90 Prozent der Fälle im Vergleich mit Llama oder Alpaca für Vicuna entschieden.

Im Vergleich mit ChatGPT habe sich GPT-4 bei 45 Prozent der Fragen für Vicuna entschieden oder die Antworten als gleichwertig mit denen von ChatGPT angesehen. Dabei habe sich bei allen Sprachmodellen gezeigt, dass sie Schwierigkeiten mit Matheaufgaben und Programmierungen haben. Aus allen Ergebnissen haben die Entwickler:innen dann einen Score erstellt, bei dem Vicuna-13B 90 Prozent der Punkte von ChatGPT erzielt hat.

Die Entwickler:innen weisen allerdings auch auf die Problematik des Halluzinierens hin. Die wird auch im Hacker-News-Forum besprochen. Somit sind die Angaben des Chatbots mit Vorsicht zu genießen, weil der Bot sich selbst nicht unbedingt einordnen kann und auch seine Aussagen falsch sein können.

Vicuna kann im Internet ausprobiert werden, den Code gibt es bei GitHub.

Im Open-Source-Bereich der Sprachmodelle hat sich Ende März 2023 außerdem noch etwas getan: Databricks hat mit „Dolly“ eine frei zugängliche Möglichkeit gegeben, eigenen Chatbots zu erstellen. Laut Expert:innen wird es in Zukunft wahrscheinlich mehr und mehr freie Sprachmodelle geben.