Anzeige
Anzeige
News
Artikel merken

Vicuna: Dieser quelloffene Chatbot soll fast so gut wie ChatGPT sein

Entwickler:innen haben einen Open-Source-Chatbot erarbeitet, der an die Leistung von ChatGPT rankommen soll. Er basiert auf Metas Llama-Sprachmodell.

2 Min. Lesezeit
Anzeige
Anzeige

Verglichen wurde Vicuna-13B mit ChatGPT, Bard und Llama. (Foto: Tada Images / Shutterstock)

Vicuna-13B hat von ChatGPT gelernt und will zu 90 Prozent an seine Leistung rankommen. Der quelloffene Chatbot wurde auf dem Llama-Basismodell entwickelt. Llama steht für „Large Language Model Meta AI“, es ist das Sprachmodell vom Facebook-Konzern Meta. Trainiert wurde der Chatbot Vicuna-13B mit Inhalten der Konkurrenz: nämlich mit ChatGPT-Chats.

Anzeige
Anzeige

Die Entwickler:innen, die unter anderem von der US-amerikanischen UC Berkeley und der Stanford Universität kommen, haben auf „etwa 70.000 von ShareGPT.com mit öffentlichen APIs gesammelte Konversationen“ zurückgegriffen, wie sie auf ihrer Website zu dem Projekt schreiben. Auf ShareGPT.com können Nutzer:innen ihre Chats mit ChatGPT teilen.

Vorgänger bewertet seinen Nachfolger

Außerdem hätten sie die Trainingsskripte von Stanford Alpaca, mit denen sie arbeiteten, verbessert. Dazu hätten sie beispielsweise die Kontextlänge gesteigert, damit auch längere Inhalte verarbeitet werden können.

Anzeige
Anzeige

Das Sprachmodell sei schließlich mit 80 Fragen bewertet worden, auch dabei sei auf künstliche Intelligenz gesetzt worden. „Um zwei verschiedene Modelle zu vergleichen, kombinieren wir die Ausgaben jedes Modells zu einem einzigen Prompt für jede Frage“, schreiben die Forscher:innen. Die Promts wurden dann an GPT-4 gesendet, das bewertete, welcher Chatbot besser geantwortet hatte. GPT-4 ist der Nachfolger von GPT-3.5 – das hatten die Entwickler:innen zum Vergleich genutzt. Damit bewertet quasi der Nachfolger den Vorgänger.

Mathe fällt der KI schwer

Insgesamt seien acht Fragekategorien entwickelt worden, beispielsweise Matheaufgaben mit Fermi-Problemen. Dabei hat sich auch gezeigt, wo GPT-4 an seine Grenzen kommt: Die Bewertung von Matheaufgaben gelinge nicht gut.

Anzeige
Anzeige

Verglichen wurde Vicuna-13B jeweils mit Llama-13b, Alpaca-13b, Bard und ChatGPT-3.5. Llama ist das Sprachmodell von Meta. Darauf basierend haben Stanford-Student:innen das Sprachmodell Alpaca entwickelt. Bard ist das Sprachmodell-Projekt von Google, ChatGPT war der Vorreiter für die öffentliche KI-Chatbot-Nutzung von OpenAI.

Im Beispiel auf der Website der Forscher:innen werden die bekannte Bots jeweils mit ihrer neuen Entwicklung Vicuna verglichen: am Beispiel eines Blogposts über eine Hawaii-Reise. Daraus folgt für sie: GPT-4 hat sich in 90 Prozent der Fälle im Vergleich mit Llama oder Alpaca für Vicuna entschieden.

Anzeige
Anzeige

Ergebnis: Vicuna erreicht 90 Prozent der Punkte von ChatGPT

Im Vergleich mit ChatGPT habe sich GPT-4 bei 45 Prozent der Fragen für Vicuna entschieden oder die Antworten als gleichwertig mit denen von ChatGPT angesehen. Dabei habe sich bei allen Sprachmodellen gezeigt, dass sie Schwierigkeiten mit Matheaufgaben und Programmierungen haben. Aus allen Ergebnissen haben die Entwickler:innen dann einen Score erstellt, bei dem Vicuna-13B 90 Prozent der Punkte von ChatGPT erzielt hat.

Die Entwickler:innen weisen allerdings auch auf die Problematik des Halluzinierens hin. Die wird auch im Hacker-News-Forum besprochen. Somit sind die Angaben des Chatbots mit Vorsicht zu genießen, weil der Bot sich selbst nicht unbedingt einordnen kann und auch seine Aussagen falsch sein können.

Vicuna kann im Internet ausprobiert werden, den Code gibt es bei GitHub.

Anzeige
Anzeige
15 lustige von KI generierte Bilder Quelle: Google

Im Open-Source-Bereich der Sprachmodelle hat sich Ende März 2023 außerdem noch etwas getan: Databricks hat mit „Dolly“ eine frei zugängliche Möglichkeit gegeben, eigenen Chatbots zu erstellen. Laut Expert:innen wird es in Zukunft wahrscheinlich mehr und mehr freie Sprachmodelle geben.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Schreib den ersten Kommentar!
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige