What do you think?
Rate this book
Weiß die KI, dass sie nichts weiß?: Wofür wir Chatbots und KI-Agenten nutzen sollten, wo sie sich irren und wo wir aufpassen müssen
Warum wir ChatGPT und Co. nicht unsere Kreditkarten überlassen sollten
Schon bald sollen wir alle lästigen Aufgaben von intelligenten Chatbots wie ChatGPT und Co. in Form von KI-Agentensystemen erledigen lassen können. Doch wie genau funktionieren die Haben sie intellektuelle Fähigkeiten, die denen von uns Menschen ähneln oder sie gar übersteigen? Katharina Zweig, vielfach ausgezeichnete Informatikprofessorin und Deutschlands führende KI-Erklärerin, zeigt, was ChatGPT und Co. wirklich können und was nicht. Denn Sprachmodelle können weder im menschlichen Sinne zusammenfassen, vergleichen, analysieren noch bewerten, auch wenn es oft so aussieht. Katharina Zweig zeigt, wie wichtig es ist, menschliche und maschinelle Leistungen nicht zu verwechseln und warnt eindrücklich vor spektakulären, vielleicht sogar fatalen Misserfolgen beim Einsatz von KI-Agentensystemen, die auf Sprachmodellen basieren. “Wer die KI-Revolution verstehen will, muss Katharina Zweig lesen.” Sebastian Matthes, Chefredakteur Handelsblatt“Katharina Zweig gehört zu den profiliertesten Wissenschaftlerinnen Deutschlands im Bereich künstliche Intelligenz.” DER SPIEGEL“Die Informatikerin Katharina Zweig Es liegt in unserer Hand, zu steuern, wo Algorithmen sinnvoll sind – und wo nicht. Denn auch Maschinen machen Fehler.” SÜDDEUTSCHE ZEITUNG
Schon bald sollen wir alle lästigen Aufgaben von intelligenten Chatbots wie ChatGPT und Co. in Form von KI-Agentensystemen erledigen lassen können. Doch wie genau funktionieren die Haben sie intellektuelle Fähigkeiten, die denen von uns Menschen ähneln oder sie gar übersteigen? Katharina Zweig, vielfach ausgezeichnete Informatikprofessorin und Deutschlands führende KI-Erklärerin, zeigt, was ChatGPT und Co. wirklich können und was nicht. Denn Sprachmodelle können weder im menschlichen Sinne zusammenfassen, vergleichen, analysieren noch bewerten, auch wenn es oft so aussieht. Katharina Zweig zeigt, wie wichtig es ist, menschliche und maschinelle Leistungen nicht zu verwechseln und warnt eindrücklich vor spektakulären, vielleicht sogar fatalen Misserfolgen beim Einsatz von KI-Agentensystemen, die auf Sprachmodellen basieren. “Wer die KI-Revolution verstehen will, muss Katharina Zweig lesen.” Sebastian Matthes, Chefredakteur Handelsblatt“Katharina Zweig gehört zu den profiliertesten Wissenschaftlerinnen Deutschlands im Bereich künstliche Intelligenz.” DER SPIEGEL“Die Informatikerin Katharina Zweig Es liegt in unserer Hand, zu steuern, wo Algorithmen sinnvoll sind – und wo nicht. Denn auch Maschinen machen Fehler.” SÜDDEUTSCHE ZEITUNG
273 pages, Kindle Edition
Published September 30, 2025
Ratings & Reviews
Friends & Following
Create a free account to discover what your friends think of this book!
Community Reviews
Displaying 1 - 5 of 5 reviews
December 6, 2025
First, I should state that I went into this book with a rather pessimistic view towards LLMs. Leaving aside all the controversies (copyright issues, training data biases, the exploding investments into the AI bubble, etc.) the general idea of "word probability calculator" always seemed rather fishy to me.
However, after the author had explained the functionality of LLMs using rather approachable analogies, I get a more sophisticated understanding of how those words are actually calculated and it surprised me, when she pointed out some genuinely interesting and baffling capabilities of the technology.
In order to explain the capabilities of LLMs the author takes the time to explain the differences between the workings of the "AIs" and the human mind.
This yields two results:
The reader gets a truly interesting crash course on human consciousness, our interactions with the world, as well as other people; and how deeply language is involved in all of this.
And by contrasting this against the inner workings of LLMs, the reader gains an understanding on what the technology is actually capable of and - more importantly - all the empty promises made in the AI bubble.
However, after the author had explained the functionality of LLMs using rather approachable analogies, I get a more sophisticated understanding of how those words are actually calculated and it surprised me, when she pointed out some genuinely interesting and baffling capabilities of the technology.
In order to explain the capabilities of LLMs the author takes the time to explain the differences between the workings of the "AIs" and the human mind.
This yields two results:
The reader gets a truly interesting crash course on human consciousness, our interactions with the world, as well as other people; and how deeply language is involved in all of this.
And by contrasting this against the inner workings of LLMs, the reader gains an understanding on what the technology is actually capable of and - more importantly - all the empty promises made in the AI bubble.
March 31, 2026
«Als soziale Wesen kommunizieren wir, was uns gerade passiert, was wir gesehen, gespürt oder gehört haben. Dazu müssen diese gleichzeitig stattfindenden Vorgänge in unserem Körper wieder diskretisiert werden. Sprache ist ein Weg, diesen kontinuierlichen Bewusstseinsstrom in diskrete Einheiten namens Wörter zu zerlegen und ihn damit kommunizierbar zu machen. Dass diese Wörter dann auch verstanden werden, liegt daran, dass wir sie in geeigneten Situationen verwenden und damit auf etwas in der Welt verweisen - die Linguisten nennen das eine Referenz. Wenn ich also jetzt von einem Baum spreche, den ich gerade gesehen habe, dann werden Sie an Bäume denken, die Sie schon gesehen haben ... «
Chatbots wie ChatGPT und Co helfen uns bei der Arbeit, in der Freizeit. KI-Agentensystemen beantworten Fragen, schreiben eigenständig Texte, erledigen Suchaufgaben – sind die (dummen) Serviceassistenten von Firmen, die nie mein Problem verstehen, mich zur Weißglut treiben, weil ein echter Mensch, das Problem sofot verstanden hätte. Doch wie genau funktionieren die Sprachmodelle: Haben sie intellektuelle Fähigkeiten? Sie können weder denken, noch sind sie intelligent – sie basieren auf Musterfindung dessen, was der Mensch ihnen eingegeben hat. Katharina Zweig, Informatikprofessorin, zeigt, was ChatGPT und Co. wirklich können und und vielleicht niemals können werden. Zweig gelingt es, komplexe Zusammenhänge zwischen KI, Fehlerverhalten und Ethik verständlich zu machen, die Grenzen aufzuzeigen.
«Beziehung wichtiger Begriffe in der Künstlichen Intelligenz. Künstliche Intelligenz bezeichnet auf der einen Seite das wissenschaftliche Feld, in dem die Methoden entwickelt werden, verwirrenderweise aber auch die Methoden selbst und - im allgemeinen Sprachgebrauch - meistens die resultierende Software ebenfalls. In den Medien wird CharGPT daher oft als ‹KI› oder sogar als ‹die KI› bezeichnet. Maschinelles Lernen ist dann eine der Methoden des wissenschaftlichen Feldes ‹Künstliche Intelligenz›. Neuronale Netzwerke sind innerhalb der Methoden des maschinellen Lernens eine komplexe Art und Weise, mit der Computer maschinell lernen können. Diese Netzwerke können unterschiedlich aufgebaut sein, man spricht von ihrer Architektur. Eine der Architekturen mit besonders vielen Schichten nennt man ‹Deep Learning›. Damit können zuletzt dann auch die sogenannten großen Sprachmodelle (Large Language Models, LLMs) realisiert werden. Ein Sprachmodell ist also ein neuronales Netzwerk mit einer Deep-Learning Architektur und gehört damit zum Bereich des maschinellen Lernens, das wiederum ein Teilgebiet der Forschung zur Künstlichen Intelligenz ist.»
Sprachmodelle können weder mit Verstand etwas zusammenfassen, vergleichen, analysieren oder bewerten, auch wenn es manchmal so scheint. Katharina Zweig zeigt, wie wichtig es ist, menschliche und maschinelle Leistungen nicht zu verwechseln, zeigt die Grenzen von Heuristiken liegen, und welche Verantwortung der Einsatz von KI mit sich bringt. Sie warnt eindrücklich vor spektakulären, vielleicht sogar fatalen Misserfolgen die beim Einsatz von KI-Agentensystemen eintreten können, die auf Sprachmodellen basieren. Computer werden lediglich Regeln statistisch aus den Daten aus, die ihnen zur Verfügung stehen.
«Searles chinesisches Zimmer: 1. Etwas, das rein mechanisch abgearbeitet werden kann, bedarf keines Verständnisses. 2. Ewas, das rein mechanisch abgearbeitet werden kann, kann uns nicht erklären, wie Verständnis funktioniert. 3. Etwas, das rein mechanisch abgearbeitet werden kann, erzeugt kein Verständnis. 4. Jedes Computerprogramm kann rein mechanisch abgearbeitet werden. 5. Damit kann ein Computerprogramm kein Verständnis erzeugen.»
Katharina Zweig zeigt nicht nur die technischen Möglichkeiten von Künstlicher Intelligenz auf, sondern auch deren wissenschaftliche Grenzen und philosophisch zeigt sie ethische Grenzen und warnt vor falscher Anwendung und Missbrauch. Wer entscheidet darüber, wie KI eingesetzt wird? Ihr Buch ist eine unaufgeregte, aber unglaublich präzise Einladung, KI nicht nur als Werkzeug, sondern als gesellschaftliches Phänomen zu begreifen. Ein Sprachmodell zerlegt eigenständig ein Wort in Einzelteile wie B-rom-be-ere oder M-orgen – die wir nicht verstehen, weil das nichts mit Silbentrennung zu tun hat. Das Modell lernt eine Worteinbettung, «OpenAl hat für die kleineren Modelle wie GPT-2 z.B. Einbettungen mit 768 Richtungen (Dimensionen) benutzt, für GPT-3 cine mit 12288 Dimensionen. Dabei ist es noch einmal wichtig, zu betonen, dass die «Wörter» hier Token sind, also in den allermeisten Fällen nur Wortbruchstücke, die für Menschen keinen Sinn ergeben müssen.» Das Modell schaut sich viele Texte an und lernt, auf welches Wort ein anderes folgen könnte, um einen Satz zu bilden, versucht, lediglich das noch nicht geschriebene Wort zu erkennen.
«Ich glaube, dass sich langfristig die Welt stark verändern wird - aber dazu bedarf es der menschlichen Gestaltung. Am Ende steht die Frage: Wie wollen wir als Menschen miteinander leben?»
Es sind Heuristiken, keine Algorithmen. Katharina Zweig sagt, man sollte dabei nicht von «Wissen» sprechen, da die Maschine nichts weiß, lediglich Daten abgreift. Die Maschine kennt die Bedeutung dieser Wörter nicht, die obendrein in mehrere Token zerlegt werden. Auch wenn es scheint, dass die Maschine sich mit uns unterhalten könnte, das Einfügen einer Stimme untermalt das noch, so ist dies eine komplette Illusion. Sprachmodelle sind lediglich Verknüpfungen zwischen den Wörtern, es sind keine Lexika – was manche Menschen verwechseln. Und natürlich können sie nicht denken. Und genau deshalb produzieren sie ziemlich viele Fehler. Es gibt sicherlich einige Bereiche, wo solche Sprachmodelle sinnvoll sind, Arbeit abnehmen. Dort wo Entscheidungen getroffen werden müssen, Kunden beraten werden sollen, können sie gefährlich sein. Nehmen wir als Beispiel eine psychologische Beratung. Katharina Zweig zeigt anschaulich und gut verständlich, wie sie funktionieren und wo Grenzen an die Maschinen gesetzt sind. Ein Buch, das zum Nachdenken anregt und langfristig den Blick auf unsere technologische Zukunft verändert.
Katharina Zweig, geboren 1976 in Hamburg, ist eine deutsche Forscherin. Sie leitet als Universitätsprofessorin am Fachbereich Informatik der TU Kaiserslautern das Algorithm Accountability Lab. Sie studierte Biochemie und Bioinformatik. Sie hat den deutschlandweit einmaligen Studiengang «Sozioinformatik» ins Leben gerufen hat. Sie ist als Expertin für verschiedene Bundesministerien tätig, Mitglied der Enquete-Kommission des Bundestages zum Thema «Künstliche Intelligenz». Zweig ist verheiratet und hat zwei Kinder.
Chatbots wie ChatGPT und Co helfen uns bei der Arbeit, in der Freizeit. KI-Agentensystemen beantworten Fragen, schreiben eigenständig Texte, erledigen Suchaufgaben – sind die (dummen) Serviceassistenten von Firmen, die nie mein Problem verstehen, mich zur Weißglut treiben, weil ein echter Mensch, das Problem sofot verstanden hätte. Doch wie genau funktionieren die Sprachmodelle: Haben sie intellektuelle Fähigkeiten? Sie können weder denken, noch sind sie intelligent – sie basieren auf Musterfindung dessen, was der Mensch ihnen eingegeben hat. Katharina Zweig, Informatikprofessorin, zeigt, was ChatGPT und Co. wirklich können und und vielleicht niemals können werden. Zweig gelingt es, komplexe Zusammenhänge zwischen KI, Fehlerverhalten und Ethik verständlich zu machen, die Grenzen aufzuzeigen.
«Beziehung wichtiger Begriffe in der Künstlichen Intelligenz. Künstliche Intelligenz bezeichnet auf der einen Seite das wissenschaftliche Feld, in dem die Methoden entwickelt werden, verwirrenderweise aber auch die Methoden selbst und - im allgemeinen Sprachgebrauch - meistens die resultierende Software ebenfalls. In den Medien wird CharGPT daher oft als ‹KI› oder sogar als ‹die KI› bezeichnet. Maschinelles Lernen ist dann eine der Methoden des wissenschaftlichen Feldes ‹Künstliche Intelligenz›. Neuronale Netzwerke sind innerhalb der Methoden des maschinellen Lernens eine komplexe Art und Weise, mit der Computer maschinell lernen können. Diese Netzwerke können unterschiedlich aufgebaut sein, man spricht von ihrer Architektur. Eine der Architekturen mit besonders vielen Schichten nennt man ‹Deep Learning›. Damit können zuletzt dann auch die sogenannten großen Sprachmodelle (Large Language Models, LLMs) realisiert werden. Ein Sprachmodell ist also ein neuronales Netzwerk mit einer Deep-Learning Architektur und gehört damit zum Bereich des maschinellen Lernens, das wiederum ein Teilgebiet der Forschung zur Künstlichen Intelligenz ist.»
Sprachmodelle können weder mit Verstand etwas zusammenfassen, vergleichen, analysieren oder bewerten, auch wenn es manchmal so scheint. Katharina Zweig zeigt, wie wichtig es ist, menschliche und maschinelle Leistungen nicht zu verwechseln, zeigt die Grenzen von Heuristiken liegen, und welche Verantwortung der Einsatz von KI mit sich bringt. Sie warnt eindrücklich vor spektakulären, vielleicht sogar fatalen Misserfolgen die beim Einsatz von KI-Agentensystemen eintreten können, die auf Sprachmodellen basieren. Computer werden lediglich Regeln statistisch aus den Daten aus, die ihnen zur Verfügung stehen.
«Searles chinesisches Zimmer: 1. Etwas, das rein mechanisch abgearbeitet werden kann, bedarf keines Verständnisses. 2. Ewas, das rein mechanisch abgearbeitet werden kann, kann uns nicht erklären, wie Verständnis funktioniert. 3. Etwas, das rein mechanisch abgearbeitet werden kann, erzeugt kein Verständnis. 4. Jedes Computerprogramm kann rein mechanisch abgearbeitet werden. 5. Damit kann ein Computerprogramm kein Verständnis erzeugen.»
Katharina Zweig zeigt nicht nur die technischen Möglichkeiten von Künstlicher Intelligenz auf, sondern auch deren wissenschaftliche Grenzen und philosophisch zeigt sie ethische Grenzen und warnt vor falscher Anwendung und Missbrauch. Wer entscheidet darüber, wie KI eingesetzt wird? Ihr Buch ist eine unaufgeregte, aber unglaublich präzise Einladung, KI nicht nur als Werkzeug, sondern als gesellschaftliches Phänomen zu begreifen. Ein Sprachmodell zerlegt eigenständig ein Wort in Einzelteile wie B-rom-be-ere oder M-orgen – die wir nicht verstehen, weil das nichts mit Silbentrennung zu tun hat. Das Modell lernt eine Worteinbettung, «OpenAl hat für die kleineren Modelle wie GPT-2 z.B. Einbettungen mit 768 Richtungen (Dimensionen) benutzt, für GPT-3 cine mit 12288 Dimensionen. Dabei ist es noch einmal wichtig, zu betonen, dass die «Wörter» hier Token sind, also in den allermeisten Fällen nur Wortbruchstücke, die für Menschen keinen Sinn ergeben müssen.» Das Modell schaut sich viele Texte an und lernt, auf welches Wort ein anderes folgen könnte, um einen Satz zu bilden, versucht, lediglich das noch nicht geschriebene Wort zu erkennen.
«Ich glaube, dass sich langfristig die Welt stark verändern wird - aber dazu bedarf es der menschlichen Gestaltung. Am Ende steht die Frage: Wie wollen wir als Menschen miteinander leben?»
Es sind Heuristiken, keine Algorithmen. Katharina Zweig sagt, man sollte dabei nicht von «Wissen» sprechen, da die Maschine nichts weiß, lediglich Daten abgreift. Die Maschine kennt die Bedeutung dieser Wörter nicht, die obendrein in mehrere Token zerlegt werden. Auch wenn es scheint, dass die Maschine sich mit uns unterhalten könnte, das Einfügen einer Stimme untermalt das noch, so ist dies eine komplette Illusion. Sprachmodelle sind lediglich Verknüpfungen zwischen den Wörtern, es sind keine Lexika – was manche Menschen verwechseln. Und natürlich können sie nicht denken. Und genau deshalb produzieren sie ziemlich viele Fehler. Es gibt sicherlich einige Bereiche, wo solche Sprachmodelle sinnvoll sind, Arbeit abnehmen. Dort wo Entscheidungen getroffen werden müssen, Kunden beraten werden sollen, können sie gefährlich sein. Nehmen wir als Beispiel eine psychologische Beratung. Katharina Zweig zeigt anschaulich und gut verständlich, wie sie funktionieren und wo Grenzen an die Maschinen gesetzt sind. Ein Buch, das zum Nachdenken anregt und langfristig den Blick auf unsere technologische Zukunft verändert.
Katharina Zweig, geboren 1976 in Hamburg, ist eine deutsche Forscherin. Sie leitet als Universitätsprofessorin am Fachbereich Informatik der TU Kaiserslautern das Algorithm Accountability Lab. Sie studierte Biochemie und Bioinformatik. Sie hat den deutschlandweit einmaligen Studiengang «Sozioinformatik» ins Leben gerufen hat. Sie ist als Expertin für verschiedene Bundesministerien tätig, Mitglied der Enquete-Kommission des Bundestages zum Thema «Künstliche Intelligenz». Zweig ist verheiratet und hat zwei Kinder.
October 26, 2025
Ich bin sehr fasziniert von der Technologie, aber die Diskussionen, der Hype und die Hysterie verstellen einem leicht den Blick darauf, was in diesem Zusammenhang wirklich wichtig ist. Da ist es hilfreich, wenn eine der führenden Expertinnen im deutschsprachigen Raum leichtverständlich und zusammenhängend erklärt, wie Sprachmodelle (LLMs) wirklich funktionieren, und sehr anschaulich beschreibt, wo ihre Grenzen und Schwierigkeiten liegen.
Katharina Zweig schafft es, komplexe Zusammenhänge so zu erklären, dass man nicht nur versteht, wie die Technologie funktioniert, sondern auch, wo wir als Gesellschaft genauer hinschauen sollten. Wirklich interessant, lehrreich und hilfreich.
Absolute Leseempfehlung für alle, die sich ernsthaft mit KI auseinandersetzen möchten – und das sollten eigentlich fast alle sein!
Katharina Zweig schafft es, komplexe Zusammenhänge so zu erklären, dass man nicht nur versteht, wie die Technologie funktioniert, sondern auch, wo wir als Gesellschaft genauer hinschauen sollten. Wirklich interessant, lehrreich und hilfreich.
Absolute Leseempfehlung für alle, die sich ernsthaft mit KI auseinandersetzen möchten – und das sollten eigentlich fast alle sein!
January 6, 2026
A great book that explains the functioning, risks and opportunities of AI in a very vivid and exciting way. A clear reading recommendation for all those who want to have a better overview of the currently so important topic.
February 28, 2026
Ein sehr gutes Buch über die technischen Limiten von KI Systemen. Die Beispiele sind leicht verständlich und helfen einer breiten Leserschaft, mehr über dieses aktuelle Thema zu erfahren. Es ist erfrischend, wie die Autorin ihr wissen teilt ohne beserwisserisch daher zu kommen. Gerne mehr davon!
Displaying 1 - 5 of 5 reviews