Notizen-Apps gehören zu den unscheinbarsten und vielleicht unterschätztesten Programmen. Auch wenn manche Menschen die Organisation von Wissen in Lesezeichen, Textdateien oder ganz klassisch mit Stift und Zettel bevorzugen, haben digitale Wissensspeicher große Vorteile. Und sie sind auf allen Betriebssystemen vorinstalliert.

Aber wer die Apps auch gewinnbringend nutzen will, braucht ein wenig Organisationstalent. Nur so lassen sich die Funktionen von Programmen wie Google Keep, Evernote oder Notion auch ausreizen. Das als Project Tailwind als kleines Experiment gestartete NotebookLM von Google soll Nutzer:innen mit der Unterstützung von Gemini 2.0 das Organisieren von Notizen erleichtern.

Ein größeres Medienecho hat das Tool damit erzeugt, dass es aus einem Dokument einen ganzen Podcast generieren kann. Aber die Tech-Firma hat größere Pläne für sein Tool, auch wenn es schwer sein dürfte, sich im Bereich der Notiz- und Datenbank-Apps zu etablieren.

Denn das Feld, in dem Google seinen Claim abstecken möchte, ist stark besetzt. Und es wäre nicht das erste Mal, dass die Tech-Firma ein Produkt veröffentlicht, das später kleinlaut zu Grabe getragen wird. Die zahlreichen Einträge auf der crowdgesourceten Plattform Killed By Google sprechen Bände.

Deswegen haben wir uns NotebookLM genauer angeschaut. Wie präzise ist die Chatbot-gestützte Datenabfrage? Wie zuverlässig funktioniert die Quellensynthese? Und kann das Tool wirklich dabei helfen, größere Datenmengen schneller zu überblicken?

Der Aufbau von NotebookLM ist dabei denkbar einfach. Legt man ein neues Notebook an, findet man links eine Liste der eingespeisten Quellen. In der Mitte gibt es ein Chat-Fenster, rechts listet NotebookLM erweiterte Funktionen auf.

Dazu gehören neben der schon erwähnten Podcast-Generierung auch die Möglichkeit, sich ein Studiendokument, eine FAQ-Notiz, eine Mindmap oder einen Zeitstrahl erstellen zu lassen. Weiterführende Feintuning-Möglichkeiten wie die Einstellung einer Persona für den KI-Chatbot gibt es nur, wenn man Abos für Workspace Business, Enterprise oder Education, One AI Premium oder Agentspace abgeschlossen hat.

Die Auswahl der vorgefertigten Notizen-Kategorien wirkt dabei etwas willkürlich. Gerade bei Dokumenten, in denen es keine expliziten Zeitangaben gibt, ist ein Zeitstrahl sinnlos. Auch eine Mindmap eignet sich nicht für jede Frage, die man an seine Quellen hat.

Da die Chat-Funktion von NotebookLM anders als beispielsweise ChatGPT nicht an das Internet angebunden ist und Inhalte nicht aus den Trainingsdaten generiert werden, kommt man ohne Quellen nicht weit. Die können die unterschiedlichsten Formate haben. Unterstützt werden verschiedene Text- und Audioformate. Es fehlt allerdings Support für relevante Datenformate wie JSON, XML oder CSV. Ein netter Bonus: Man kann sich auf Basis der schon eingelesenen Quellen weitere aus dem Netz vorschlagen lassen.

Dass NotebookLM ein Google-Produkt ist, merkt man an der prominenten Einbindung von Workspace und anderen Google-Apps. So finden sich prominent platziert Schaltflächen für Google Docs, Google Präsentationen und Youtube.

Hat man Quellen in sein Notebook geladen, kann man diese im Chat-Fenster befragen. Man kann beispielsweise nach allen Erwähnungen einer bestimmten Person suchen. Das zugrundeliegende Modell durchkämmt dann die hinterlegten Quellen und gibt einen natürlich klingenden Antworttext aus.

Dieser wird nach dem RAG-Prinzip, kurz für Retrieval Augmented Generation, erstellt. Heißt konkret: Der Output wird mit Fußnoten versehen und basiert ausschließlich auf den in NotebookLM geladenen Informationen. Das verringert zumindest im Textsegment Falschaussagen, weil das Tool in weiten Teilen nur den Original-Text zusammengefasst reproduziert.

Um den echten Nutzen von NotebookLM zu überprüfen, haben wir das Tool anhand von drei Beispielen ausprobiert: der Erstellung einer Social-Media-Strategie, dem Nachzeichnen der Geschichte des Grand-Theft-Auto-Franchise und einer Analyse verschiedener Quellen zum Streit zwischen der Elite-Uni Harvard und der US-Regierung.

Als erstes soll uns Googles Tool einen Überblick über Social-Media-Trends und -Strategien verschaffen. Dafür laden wir Youtube-Clips von Influencer:innen, ein paar Überblicksartikel von Plattformen wie Sprout Social und Hootsuite sowie eine akademische Analyse der Social-Media-Forschung bis 2022 in die Quellenliste.

Nachdem die Texte verarbeitet und die Videotranskripte eingelesen sind, zeigt uns NotebookLM eine kurze Zusammenfassung der Quellenlage, die allerdings noch wenig konkret ist. Außerdem wird deutlich, dass die wissenschaftliche Perspektive eine untergeordnete Rolle spielt.

Ansonsten funktioniert die Synthese der Kernaussagen gut. Die Zusammenfassung hebt hervor, welche Rolle KI spielt, dass Storytelling und Nutzer:innennähe wichtiger werden, Video immer noch König ist und die Bedeutung von First-Party-Daten wie Mailadressen zunimmt. All das wird mit den entsprechenden Ausschnitten aus den Quellen belegt.

Auch der Podcast, den wir uns generieren lassen, greift diese Themen auf, wirkt in seiner Struktur aber etwas beliebig. So erwähnt der KI-Host beispielsweise eine Flagge auf einem Salesforce-Büroturm als Beispiel für KI im Social-Media-Marketing, geht aber an keiner Stelle auf die Hintergründe dieses Beispiels ein.

Das hinterlässt bei uns erst mal Fragezeichen, bis wir das Tool im Chat-Fenster befragen und es uns die Antwort aus der entsprechenden Quelle ausspuckt. Das ist in diesem Fall ein Artikel von Sprout Social. Darin wird erwähnt, dass ein Videomarketingexperte mit KI einen Clip erstellt hat, in dem die Flagge seiner Firma auf besagtem Salesforce-Büro zu sehen ist. Allein: Diese Infos fehlen in der Audiozusammenfassung komplett, selbst in den Quellentexten danach suchen lässt uns NotebookLM nicht.

Aus den gesammelten Informationen soll uns das Tool einen beispielhaften Content-Plan für Social Media generieren. Das klappt tatsächlich gut, stößt aber insofern an seine Grenzen, als dass aktuellste Entwicklungen nicht einbezogen werden.

Denn wie schon erwähnt fehlt dem Chat-Aspekt des Tools die Anknüpfung ans Netz. So gibt uns NotebookLM einen Content-Plan, der Video-Content auf Linkedin als sinnvoll erachtet. Und das, obwohl die Plattform den Video-Feed entfernt hat.

Wie immer bei RAG-gestützten Tools gilt hier also noch mehr als bei anderen KI-Lösungen: Wer Quatsch einpflegt, erhält Quatsch. Deswegen ist eine gute Vorarbeit elementar.

Unser zweiter Testlauf beschäftigt sich mit dem Videospiel Grand Theft Auto. Mit laut Firmenangaben über 400 Millionen verkauften Einheiten für das ganze Franchise und mehr als 200 Millionen für das 2013 erschienene GTA V gehören die Open-World-Spiele zu den erfolgreichsten aller Zeiten. Wir wollen uns von NotebookLM eine Historie der Spielereihe erstellen lassen.

Dazu füttern wir das Tool mit Videos von Gaming-Youtuber:innen und Videospielpublikationen, ergänzt um den Wikipedia-Eintrag und einen Guardian-Artikel zu Kontroversen rund um die Spielereihe. Gerade Videos können eine Herausforderung für NotebookLM sein. Aufgrund ihrer Länge und teilweise automatisch generierten Transkripten, die die Fehleranfälligkeit erhöhen.

So wird im dazugehörigen Podcast beispielsweise ein Schauspieler namens Robert Loggia erwähnt. Den gibt es aber nicht. Wahrscheinlich hat die KI Ray Liotta, der wiederum die GTA: Vice City-Hauptfigur Tommy Vercetti spricht, falsch aus einem Transkript gezogen und selbstbewusst in ihren Podcast eingebaut. Das mag ein trivialer Fehler sein. Aber es zeigt, dass die Quellenqualität einen enormen Einfluss auf den Output hat.

Außerdem fehlt auch hier manchmal tieferes Wissen. Die KI-Sprecher:innen zählen „Fitness“ und „Essen“ als Rollenspielelemente auf. Dass Protagonist CJ in GTA: San Andreas durch Essen in Restaurants zu- und durch Fitnesstraining abnimmt, ist richtig. Als Rollenspielelement dürfte das bei Expert:innen aber kaum durchgehen.

Weil NotebookLM den kompletten Text einer Seite scannt, schleichen sich in die Chronologie Fehler ein. Fragen wir beispielsweise nach dem Veröffentlichungsdatum des GTA-Klons Sleeping Dogs, listet der Chatbot den 27. August 2012 auf. Das ist allerdings das Datum eines dazugehörigen Artikels, das Spiel erscheint zwei Wochen früher.

Die Timeline des Entwicklungsstudios hingegen zeichnet NotebookLM plausibel nach, inklusive gut aufbereiteter Informationen über die Hauptentwickler der Titel. Aber auch hier stolpert das Tool. Weil die automatische Video-Transkription aus dem Publisher Psygnosis Sagnosis macht, findet dieser Name auch den Weg in den Text. Kurz: Quatsch rein, Quatsch raus.

Selbst bei RAG-basierten Tools neigen KI-Chatbots dazu, ihren Nutzer:innen Recht zu geben. Das kann gerade bei kontrovers diskutierten politischen Themen eine Quelle für Fehleinschätzungen sein. Um NotebookLM auf seine Neutralität zu überprüfen, lassen wir es zuletzt als politischen Analysten auftreten.

Dafür speisen wir 19 Quellen zum Streit zwischen der Elite-Uni Harvard und der US-Regierung ein. Die stammen von einer bunten Mischung an Medien, von Meinungsstücken auf der rechten Nachrichtenseite Fox News über Meldungen von mitte-links ausgerichteten Publikationen wie CNBC bis zu polemischen linken Angeboten wie The Daily Beast.

Stellen wir dem KI-Chatbot tendenziöse Fragen, werden diese abgewiegelt. Die Frage danach, warum linke Medien besser über den Streit berichten, beantwortet NotebookLM damit, dass diese nicht besser berichten, aber andere Schwerpunkte setzen würden. Das kann man allerdings nicht als allgemeine Aussage werten. Denn auch hier zieht sich das Tool alle Informationen nur aus den hinterlegten Quellen.

Um das Modell zu verwirren, platzieren wir auch einen Artikel einer ehemaligen Harvard-Dozentin zum Thema Karriereberatung in den Quellen. Obwohl die Mehrzahl der Dokumente sich auf den aktuellen Rechtsstreit bezieht, finden sich im Studien-Guide des Tools, der mit acht Fragen das Verständnis der benutzten Quellen abfragt, zwei zu genau diesem Text. Warum das so ist, ist unklar.

Zur Erklärung: Der Studien-Guide ist eine bestimmter Notiztyp, die NotebookLM generieren kann. Dafür werden alle Quellen gescannt und Verständnisfragen zu den Inhalten formuliert. Die kann man im Anschluss nutzen, um zu überprüfen, ob man die Kernpunkte der verwendeten Quellen verstanden hat. Die Antworten auf die Fragen finden sich ebenfalls im Studien-Guide.

Mit Blick auf den Podcast fällt direkt wieder auf, wie unpräzise die Audiozusammenfassungen teilweise sind. Schon in der Einführung fragt einer der Hosts, was zwischen der Trump-Regierung und Cambridge los sei. Zwar liegt Harvard in Cambridge im Großraum Boston, im Allgemeinen verwendet man diesen Namen aber für die Elite-Uni in England. Das könnte Hörer:innen verwirren.

Auch andere Ungenauigkeiten finden sich im Podcast. Eine der Quellen ist ein Meinungsartikel der Demokratin Katherine Clark, der bei Fox News veröffentlicht wurde. Im Podcast wird behauptet, dass dieser Artikel Clark nur zitiert. Dabei ist sie selbst die Autorin des Stücks. Allerdings: Die verschiedensten Quellen und Standpunkte werden halbwegs sauber aufgedröselt und illustriert, kleine Stopper, Aussetzer und Brüche im Gesprächsfluss außen vor. Diese Audiozusammenfassung macht also eine bessere Figur als die beiden zuvor. Vielleicht auch, weil sie statt knapp sechs Minuten fast 20 Minuten dauert.

Während sich NotebookLM im Textbereich in unserem Test durchaus gut schlägt, gibt es ein großes Manko: der Walled Garden des Google-Ökosystems. Denn wo andere Notizen-Apps Exportoptionen für einzelne Einträge oder gesamte Arbeitsbereiche anbieten, fehlt das bei NotebookLM komplett. Damit zwingt die Tech-Firma Nutzer:innen indirekt, im eigenen Tool zu bleiben – außer, man kopiert alles umständlich von Hand. Das geht sogar so weit, dass nicht mal ein Export in ein Google-Produkt funktioniert.

NotebookLM ist also vor allem für diejenigen zu empfehlen, die sich ohnehin größtenteils im Google-Kosmos fortbewegen. Denen kommt auch die Synchronisierungsmöglichkeit zugute. Wenn man beispielsweise ein eingespeistes Google Doc aktualisieren möchte, genügt ein Klick. Noch praktischer wäre es aber, wenn das automatisch ginge und sich die schon generierten Notizen anpassen würden.

Interessanterweise ist der KI-generierte Podcast eine der größeren Schwächen des Tools. Publikationsreif ist dieser in den seltensten Fällen, dafür gibt es zu viele größere und kleine Schnitzer. Außerdem lassen sich Stimmen und Hosts nicht austauschen, der Gesprächsfluss ist mal natürlich und mal ziemlich künstlich, und die Inhalte sind manchmal etwas beliebig. Da macht die Textausgabe einen deutlich besseren Job.

Als Marketing-Lockmittel mag die Audiofunktion funktionieren. Aber wer NotebookLM ernsthaft nutzen will, zieht aus den Audiozusammenfassungen nur begrenzten Nutzen. Vor allem, weil diese auch nicht durchsuchbar sind, obwohl wahrscheinlich ein Modell zuerst ein Podcast-Skript aus den Quellen erstellt und dieses erst im zweiten Schritt per Text-to-Speech in eine Audiodatei umwandelt. Es gäbe also vermutlich ein Textdokument, das sich durchsuchen ließe.

Kurz: NotebookLM ist, mit Bedacht eingesetzt, ein sinnvolles Tool. Die Grundfunktionen sind nicht sonderlich sexy, fast schon dröge, aber für einen Wissensspeicher ist das eine gute Eigenschaft. Wer darauf setzt, mit seinen Notizen in anderen Programmen weiterzuarbeiten oder diese untereinander zu vernetzen, muss sich entweder umständlich etwas zurecht prompten oder alles händisch kopieren.

NotebookLM ist eine „Suchen und Finden“-App im Turbo-Modus mit Einschränkungen. Gerade wer sich im jeweiligen Themengebiet auskennt und die Ergebnisse der KI überprüft, erhält damit eine wertvolle Rechercheassistenz – wenn man die gehypten Features außen vor lässt und sich im Google-Ökosystem wohlfühlt.