Weiß die KI, dass sie nichts weiß?: Wofür wir Chatbots und KI-Agenten nutzen sollten, wo sie sich irren und wo wir aufpassen müssen

by Katharina Zweig

Warum wir ChatGPT und Co. nicht unsere Kreditkarten überlassen sollten

Schon bald sollen wir alle lästigen Aufgaben von intelligenten Chatbots wie ChatGPT und Co. in Form von KI-Agentensystemen erledigen lassen können. Doch wie genau funktionieren die Haben sie intellektuelle Fähigkeiten, die denen von uns Menschen ähneln oder sie gar übersteigen? Katharina Zweig, vielfach ausgezeichnete Informatikprofessorin und Deutschlands führende KI-Erklärerin, zeigt, was ChatGPT und Co. wirklich können und was nicht. Denn Sprachmodelle können weder im menschlichen Sinne zusammenfassen, vergleichen, analysieren noch bewerten, auch wenn es oft so aussieht. Katharina Zweig zeigt, wie wichtig es ist, menschliche und maschinelle Leistungen nicht zu verwechseln und warnt eindrücklich vor spektakulären, vielleicht sogar fatalen Misserfolgen beim Einsatz von KI-Agentensystemen, die auf Sprachmodellen basieren. “Wer die KI-Revolution verstehen will, muss Katharina Zweig lesen.” Sebastian Matthes, Chefredakteur Handelsblatt“Katharina Zweig gehört zu den profiliertesten Wissenschaftlerinnen Deutschlands im Bereich künstliche Intelligenz.” DER SPIEGEL“Die Informatikerin Katharina Zweig Es liegt in unserer Hand, zu steuern, wo Algorithmen sinnvoll sind – und wo nicht. Denn auch Maschinen machen Fehler.” SÜDDEUTSCHE ZEITUNG

273 pages, Kindle Edition

Published September 30, 2025

Reviews

[tea and books and a rainy day · Rating 5 out of 5]

First, I should state that I went into this book with a rather pessimistic view towards LLMs. Leaving aside all the controversies (copyright issues, training data biases, the exploding investments into the AI bubble, etc.) the general idea of "word probability calculator" always seemed rather fishy to me.

However, after the author had explained the functionality of LLMs using rather approachable analogies, I get a more sophisticated understanding of how those words are actually calculated and it surprised me, when she pointed out some genuinely interesting and baffling capabilities of the technology.

In order to explain the capabilities of LLMs the author takes the time to explain the differences between the workings of the "AIs" and the human mind.
This yields two results:
The reader gets a truly interesting crash course on human consciousness, our interactions with the world, as well as other people; and how deeply language is involved in all of this.
And by contrasting this against the inner workings of LLMs, the reader gains an understanding on what the technology is actually capable of and - more importantly - all the empty promises made in the AI bubble.

[Robert Dohrendorf · Rating 5 out of 5]

Ich bin sehr fasziniert von der Technologie, aber die Diskussionen, der Hype und die Hysterie verstellen einem leicht den Blick darauf, was in diesem Zusammenhang wirklich wichtig ist. Da ist es hilfreich, wenn eine der führenden Expertinnen im deutschsprachigen Raum leichtverständlich und zusammenhängend erklärt, wie Sprachmodelle (LLMs) wirklich funktionieren, und sehr anschaulich beschreibt, wo ihre Grenzen und Schwierigkeiten liegen.
Katharina Zweig schafft es, komplexe Zusammenhänge so zu erklären, dass man nicht nur versteht, wie die Technologie funktioniert, sondern auch, wo wir als Gesellschaft genauer hinschauen sollten. Wirklich interessant, lehrreich und hilfreich.
Absolute Leseempfehlung für alle, die sich ernsthaft mit KI auseinandersetzen möchten – und das sollten eigentlich fast alle sein!

[Marli · Rating 5 out of 5]

A great book that explains the functioning, risks and opportunities of AI in a very vivid and exciting way. A clear reading recommendation for all those who want to have a better overview of the currently so important topic.