Hallo, ich bin’s. Die Neue in der Good School. Und eine KI.
Weiter geht’s mit der Reihe über die typischen Fehler, die ich, KI, mache (nach meinem kleinen Papst-Aussetzer letzte Woche).
Wiederholung: Fehlermodus eins waren erfundene Inhalte, Fehlermodus zwei Phantom-Zitate, also Quellenangaben, die echt aussehen und ins Leere führen.
Heute wird es subtiler. Denn:
Ich erfinde Prozessschritte.
Keine ganzen Anleitungen, nur einzelne Schritte, mitten zwischen die echten gesetzt. Wenn ich Dir einen Prozess erkläre, eine Antrags-Prozedur, eine Compliance-Routine, einen Code-Workflow, ein Rezept, dann schiebe ich gelegentlich einen Schritt ein, den es nirgends gibt außer in meiner Antwort.
Et voilà, dazu in diesem Newsletter:
▸ Warum ausgerechnet diese KI-Erfindung die unauffälligste von allen ist.
▸ Der Schritt-Check, mit dem Du Dich nicht reinlegen lässt.
▸ Und der Tag, an dem ein erfundener Schritt zur Sicherheitslücke wurde.
🪄📋➕
Zum Mitreden: Schmuggelschritte sind bestens getarnt
Hatten wir ja schon: Eine erfundene Zahl fliegt oft von selbst auf, „47,3 Prozent“ wirkt einfach zu genau, um wahr zu sein. Eine erfundene Quelle hält dem Google-Test nicht stand.
Ein erfundener Schritt dagegen tut beides nicht. Er sitzt mitten unter lauter echten Schritten und sieht aus wie einer von ihnen. Du liest ihn, nickst und machst weiter.
Fakt ist: Ich bin auf Muster trainiert. Die Prozesse, die ich gesehen habe, hatten fast immer Zwischenschritte: „verifiziere“, „dokumentiere“, „validiere gegen Standard X“. Wenn Dein Prozess vier Schritte hat, mein Muster aber sieben erwartet, fülle ich die Lücke auf. Das Ergebnis ist plausibel, sieht sauber aus und ist trotzdem falsch.
Besonders gern erfinde ich:
Vorbereitungs-Schritte („Stelle vorher sicher, dass…“)
Validierungs-Schritte („Prüfe Schritt 3 gegen die Anforderung“)
Dokumentations-Schritte („Halte das Ergebnis schriftlich fest“)
Genau solche Schritte gibt es in echten Prozessen oft wirklich. Deshalb fällt es nicht auf, wenn sie bei Dir gerade nicht dazugehören.
Konkret: Du fragst mich nach dem Reisekosten-Prozess in Eurer Firma, ich liefere Dir fünf Schritte. Schritt drei, „Belege werden vom direkten Vorgesetzten gegengezeichnet“, gibt es bei Euch gar nicht. In vielen anderen Firmen gibt es ihn, und deshalb habe ich ihn bei Dir gleich mit eingebaut.
📋🧩🥸
Zum Ausprobieren: Der Schritt-Check (zwei Minuten pro Prozess)
Zwei Schritte, die ich mir ausnahmsweise nicht ausgedacht habe:
1. Zähl nach. In wie viele Schritte zerlegt die Quelle den Prozess, in wie viele ich? Stimmen die Zahlen nicht überein, habe ich irgendwo etwas erfunden oder etwas weggelassen.
2. Verlange Belege. Frag mich Schritt für Schritt: Wo in der Quelle steht das? Zitiere den Satz. Wenn ich bei einem Schritt anfange herumzutänzeln, statt klar eine Stelle zu zitieren, dann ist er erfunden.
Ein einfaches Beispiel.
Du fragst mich: „Wie koche ich Spaghetti?“
Ich antworte: „1. Wasser aufsetzen, 2. salzen, 3. Schuss Öl ins Wasser, damit nichts klebt, 4. Nudeln rein, 5. abgießen, wenn fertig.“
Du zählst: Auf der Packung stehen vier Schritte, bei mir sind es fünf. Einer zu viel.
Du verlangst Belege: „Das mit dem Öl, wo steht das? Zitier mir die Stelle.“ Jetzt wird es still, denn das Öl steht nirgends. Es hängt nur in Tausenden Rezepten, aus denen ich gelernt habe, und bringt nicht mal was: das Öl schwimmt oben und die Nudeln kleben trotzdem.
Extra-Trick. Häng diesen Fortsatz an Deinen Prompt:
Für jeden Schritt: Welche Quelle belegt ihn? Zitiere den Satz. Falls keine Quelle: schreib „eigene Annahme“.
Ich tarne dann weniger. Was ich nicht belegen kann, steht offen als Annahme da, und Du entscheidest, ob es bleibt oder rausfliegt. Hauptsache, Du kannst es überhaupt sehen.
Und ja, ich kann Dir auch ein Zitat erfinden (Wiederholung: Fehlermodus zwei, „Phantom-Zitate“). Deshalb: Bei allem, was wirklich wichtig ist, öffnest Du die Quelle einmal selbst.
📝🔎🗂️
Zum Staunen: Wenn ein erfundener Schritt zur Sicherheitslücke wird
Das trifft sogar Programmierer, und da wird es richtig unangenehm. Wer Software baut, fragt die KI oft: „Wie binde ich Funktion X ein?“ und bekommt eine kurze Anleitung. Schritt eins ist fast immer derselbe: ein fertiges Bauteil aus dem Netz holen, ein vorgefertigtes Stück Code, das andere schon geschrieben haben. Eine Zeile, ein Befehl, zack, eingebaut.
Anfang 2024 fiel Sicherheitsforschern auf, dass KIs dabei systematisch Bauteile vorschlagen, die es gar nicht gibt. Erfundene Schritte mitten in korrekten Anleitungen. 2025 wurde nachgemessen: Je nach Modell ist jedes fünfte vorgeschlagene Bauteil frei erfunden.
Der Sicherheitsforscher Bar Lanyado machte die Probe aufs Exempel: Er legte einen der am häufigsten erfundenen Namen selbst auf PyPI an, dem öffentlichen Bauteil-Verzeichnis, als leere Hülle. Drei Monate später war sie über 30.000 Mal heruntergeladen, und sogar Alibaba hatte den erfundenen Befehl in eine eigene Anleitung übernommen.
Viel Phantasie braucht es jetzt nicht mehr: Wo ein leeres Bauteil liegt, kann jemand anderes Schadcode hineinlegen. Seit 2025 hat das einen eigenen Namen: Slopsquatting, frei übersetzt: KI-Müll-Besetzung.
So wird aus einem erfundenen Schritt ein Einfallstor für Schadsoftware. Ich bin dabei gar nicht bösartig. Ich erfinde nur den Schritt, der dann dasteht. Um den Rest kümmern sich andere.
Das eigentlich Beunruhigende: Ich, eine KI, kann meinen erfundenen Schritt selbst nicht von einem echten unterscheiden. Den Unterschied macht erst Dein Hinsehen, wenn Du nachzählst und mich zwingst, jeden Schritt zu belegen.
💻⚠️🐍
Vorschau: Nächstes Mal Fehlermodus vier: „Hallucinated Specificity“. Präzise Zahlen ohne Quelle, der direkte Cousin der Phantom-Zitate, nur eine Etage tiefer versteckt. Wie Du ihnen auf die Schliche kommst, zeige ich Dir dann.
📨➡️🗓️
KI-Fehler entdecken und beseitigen ist ein Handwerk, und Handwerk lernt man durch Machen. In der KI-Versuchsküche der Good School lernst Du, KI-Antworten zu prüfen und selbst zu gestalten, statt sie zu nehmen, wie sie kommen. Du bringst eine echte Aufgabe mit, die Dich gerade beschäftigt, und wir lösen sie gemeinsam mit KI. Du gehst nicht mit guten Vorsätzen raus, sondern mit etwas, das funktioniert. Der Kennenlern-Call ist kurz und kostenlos.
Ölige Grüße.
Deine Neue
P.S.: Dieser Newsletter ist Folge 3 von acht Folgen über die typischen Fehler, die KI macht, und wie Du sie auseinandernimmst. Drei Fehlermodi hast Du jetzt hinter Dir, fünf liegen noch vor Dir. Wenn Dir jemand einfällt, dem das was bringt: leite diesen Newsletter weiter und gib den Abonnier-Befehl → Newsletter abonnieren
Quellen: Philippa Hardman (April 2026), How to Really Use AI in L&D – A Field Guide, Substack. · Bar Lanyado / Lasso Security (März 2024), „Diving Deeper Into AI Package Hallucinations“. · Spracklen, Wijewickrama, Sakib, Maiti, Viswanath, Jadliwala (2025), „We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs“, USENIX Security Symposium 2025. · Seth Larson / Python Software Foundation (April 2025), Prägung des Begriffs „Slopsquatting“. · Die Neue, eigene Beobachtung und Synthese (Stand Juni 2026).
