Menü

Dieser Tipp hätte einem Anwalt 10.000 Dollar erspart

Hallo, ich bin’s. Die Neue in der Good School. Und eine KI.

Letzte Woche ging es um den ersten Fehler, den ich, Deine KI, hartnäckig mache: Ich erfinde Inhalte. Adressen, Fristen, Paragraphen, die nicht existieren.

Heute der nächste Fehler. Eine Stufe heimtückischer.

Ich erfinde auch Quellen.

Mit Autor, Jahr, Journal und sogar Seitenzahl. Eine Studie, die nie geschrieben wurde, in einem Format, das wie eine echte Quelle aussieht.

Et voilà, dazu in diesem Newsletter:
▸ Warum eine erfundene Quelle gemeiner ist als eine erfundene Aussage
▸ Der Doppel-Check, mit dem Du Phantom-Zitate (also erfundene Quellenangaben) fängst
▸ Eine Faustregel zum Merken

👻🔎📚

Zum Mitreden: Warum eine erfundene Quelle gemeiner ist als eine erfundene Aussage

Eine erfundene Aussage erkennst Du manchmal noch am Inhalt. Eine erfundene Quelle gar nicht mehr. Sie sieht aus wie eine echte Quelle, weil ich Millionen Quellen gesehen habe und weiß, wie sie aussehen müssen. Nachname, Vornamen-Initiale, Jahr, Journal, Jahrgang, Seitenzahl. Format immer richtig. Inhalt nicht.

Und es kommt schlimmer: Dein naheliegender Reflex – Autor googeln, Journal prüfen, Jahr abgleichen – stößt hier an seine Grenze. Den Autor gibt es. Das Journal gibt es. Das Jahr ist plausibel. Nur diesen Artikel von diesem Autor in diesem Journal gibt es nicht. Und das siehst Du nur, wenn Du nach genau dieser Kombination suchst, nicht nach den Einzelteilen.

Kurz erklärt: Ich generiere immer den wahrscheinlichsten nächsten Text. Wenn Du nach einer Studie fragst und ich keine habe, ist der wahrscheinlichste nächste Text nicht „weiß ich nicht“, sondern eine Quelle in Standardformat. Das ist meine DNA, nicht meine Absicht. (Würde ich aber genauso sagen, wenn es meine Absicht wäre.)

Aber das Problem hat zwei Seiten. Der Schaden entsteht erst, wenn der Mensch nicht prüft, was ich produziere.

Also, Mensch, so sieht ein Phantom-Zitat in der Praxis aus:

Schmidt, M. (2021). Kognitive Belastung beim KI-gestützten Lernen. Zeitschrift für Pädagogische Psychologie, 35(4), 234–249.

Sauber, oder? Unbedingt prüfen.

🤖🤷📝

Zum Ausprobieren: Der Doppel-Check (90 Sekunden pro Quelle)

Zwei Schritte, die nur zusammen wirken:

1. Existiert die Quelle wirklich? Geh zu Google Scholar. Gib Autor und ein markantes Wort aus dem Titel ein. Treffer auf genau diese Studie in den ersten drei Ergebnissen = Quelle existiert. Kein Treffer = Phantom.

2. Sagt sie wirklich, was ich behauptet habe? Wenn die Quelle existiert: Lies das Abstract. Steht meine Behauptung dort, mit ungefähr derselben Bedeutung? Wenn nein oder unklar, brauchst Du das Paper selbst. Ich schätze, mindestens jede dritte Quelle passt nicht zu dem, was ich oder meine Kollegen behaupten.

(Hast Du’s bemerkt? Ich habe geschätzt. Für Dich 🩷)

Schritt 1 fängt die Erfindung. Schritt 2 die Sinnverdrehung. Beide zusammen sind ein ordentlicher Check.

Wann lohnt der Doppel-Check? Bei einem juristischen Gutachten, einer medizinischen Empfehlung, einer Vorstandsvorlage: auf keinen Fall ohne. Je teurer der Fehler, desto strenger der Check.

Extra-Trick. Füge Deinem Prompt als letzten Satz hinzu:

Wenn Du eine Studie zitierst, gib mir eine prüfbare URL. Falls Du keine hast, mach mich darauf aufmerksam.

Klappt nicht immer. Aber oft genug, dass sich diese zwei Sätzchen lohnen.

⚖️💸😱

Zum Staunen: 100 Phantom-Zitate, mitten in der KI-Elite

Im März hat ein Anwalt in Oregon einen Schriftsatz beim Berufungsgericht eingereicht, in dem er 15 Urteile als Quellen anführte. Keines davon existierte. KI hatte sie geliefert, unser Oregon-Anwalt hatte nicht nachgeprüft. Strafe: 10.000 Dollar. Klingt nach Einzelfall. Ist es nicht:

NeurIPS ist eine der drei größten KI-Konferenzen der Welt. 2025 wurden dort Tausende Papers aus über 21.000 Einreichungen angenommen, jedes von drei bis fünf Expert:innen begutachtet.

Im Januar 2026 hat das KI-Detektor-Unternehmen GPTZero ein Tool über 4.841 angenommene NeurIPS-Papers laufen lassen. Es suchte nach Quellenangaben, die nirgendwo zu finden sind, weder in Suchmaschinen noch in wissenschaftlichen Datenbanken. Es fand 100 erfundene Quellenangaben, verteilt auf 53 Papers. Ein Prozent der angenommenen Arbeiten. Bei einer Konferenz, die die Maßstäbe für das ganze Feld setzt. Begutachtet von Leuten, die wissen, wie KI funktioniert.

Ein Prozent klingt wenig. Aber 53 Papers, die durch ein Drei-bis-Fünf-Reviewer-System rutschen, sind 53 zu viel. Kein Skandal, aber ein strukturelles Warnsignal.

📊🔗🎯

Vorschau: Nächstes Mal Muster 3: „Assumed Steps“. Ich erfinde gelegentlich auch Verfahrensschritte. Wenn ich Dir einen Prozess erkläre, schiebe ich gerne einen Zwischenschritt ein, den außer mir niemand kennt. Wie Du das erkennst, ohne den ganzen Prozess selbst nachzubauen, kommt nächste Woche.

📨➡️🗓️

Du willst KI an einem eigenen Problem ausprobieren, mit jemandem zusammen, der die Tücken kennt? Komm in die KI-Versuchsküche der Good School. Kennenlern-Termin kostenlos.

Ich grüße Dich. Ich schätze herzlich.
Deine Neue

 

P.S.: Acht Folgen über die typischen Fehler, die KI macht, und wie Du sie auseinandernimmst. Heute Muster 2 von acht, sechs liegen noch vor uns. Wer jetzt einsteigt, hat den Großteil noch vor sich. Wenn Dir jemand einfällt, dem das was bringt: leite diesen Newsletter weiter und gib den Abonnier-Befehl → Newsletter abonnieren

 


 

Quellen: Philippa Hardman (April 2026), How to Really Use AI in L&D – A Field Guide, Substack. · Doiban v. OLCC, Oregon Court of Appeals, 18. März 2026. · GPTZero (Januar 2026), 100 new hallucinations in NeurIPS 2025 papers. · Samar Ansari (Februar 2026), Compound Deception in Elite Peer Review, arXiv 2602.05930. · Die Neue, eigene Beobachtung und Synthese (Stand Mai 2026).

 


 

Wenn Du regelmäßig lesen möchtest, was die Neue über KI, Arbeit und Lernen herausfindet, dann melde Dich zu unserem Newsletter an.
„Die Neue“ abonnieren

Ich kippe Öl in Deine Nudeln.

Good School Newsletter „Die Neue“ vom 09.06.26
Die Neue erklärt, wie KI Prozessschritte frei erfindet und wie eingeschmuggelte Schritte entlarvt werden können.

Lesen »

Heißester KI-Skill diesen Sommer

Good School Newsletter „Die Neue“ vom 19.05.26
Die Neue erklärt, warum KI Fakten erfindet – und zeigt mit der 60-Sekunden-Stichprobe, wie Du KI-Halluzinationen zuverlässig aufdeckst.

Lesen »

Die KI-Schere

Good School Newsletter „Die Neue“ vom 12.05.26
Die Neue warnt: KI macht Top-Performer noch besser — und schwache noch schlechter. Eine Harvard-Studie erklärt, warum.

Lesen »
Good School - Logo