Die Blackbox im Maschinenraum: Warum KI Prüfung braucht

Daniel Kokotajlo, ehemaliger Forscher in der Governance-Abteilung von OpenAI, verzichtete 2024 auf rund zwei Millionen US-Dollar an Aktienwert, um öffentlich über die Risiken und Grenzen der KI-Entwicklung zu sprechen. Das ist keine Heldengeschichte, sondern eine Entscheidung mit hohem persönlichem Preis.

Der Insider, der zwei Millionen Dollar liegen ließ

Kokotajlos Verzicht ist der Ausgangspunkt für einen einzigen technischen Satz, der für den Maschinenbau wichtiger ist als jede Schlagzeile über Superintelligenz: KI funktioniert nicht wie die Software, mit der Ingenieure sonst arbeiten.

Daniel Kokotajlo war von 2022 bis 2024 Governance-Researcher bei OpenAI. Im April 2024 kündigte er und lehnte dabei die Non-Disparagement-Klausel ab, obwohl er dafür laut seiner Wikipedia-Biografie auf einen Anteil von rund zwei Millionen US-Dollar verzichtete.

Später erhielt er diesen Anteil zwar zurück, was an der ursprünglichen Entscheidung aber nichts ändert: Er wollte öffentlich reden dürfen, ohne einen internen Maulkorb zu unterschreiben.

Heute leitet Kokotajlo das AI Futures Project, das im April 2025 mit dem Szenario AI 2027 eine der meistdiskutierten unabhängigen KI-Prognosen der letzten Jahre veröffentlicht hat. Die Schlagzeilen zu diesem Szenario drehen sich meist um Kontrollverlust und Zeitachsen. Für einen Maschinenbau-Betrieb ist eine andere Zeile relevant.

Die Zeile, die zählt, ist unspektakulärer und deshalb gefährlicher, weil sie kaum jemand für eine Schlagzeile hält.

Warum KI jedes Prinzip verletzt, nach dem Ingenieure arbeiten

Klassische Software arbeitet nach dem Prinzip Wenn-Dann. Ein Ingenieur schreibt eine Regel, das Programm folgt ihr exakt, und bei gleicher Eingabe entsteht immer dieselbe Ausgabe. Genau darauf beruht jede Toleranzangabe, jede Spezifikation und jede Reproduzierbarkeits-Prüfung im technischen Betrieb.

Ein KI-Modell entsteht anders. Es wird aus Milliarden Parametern trainiert, die sich durch Belohnung verschieben, nicht durch geschriebenen Code.

Hier steht die Zeile, die zählt. Die Analyse hinter AI 2027, die sich direkt auf ein Zitat aus OpenAI bezieht, beschreibt dieses Training treffend: Es gleicht eher dem Training eines Hundes als klassischer Programmierung. Man belohnt gewünschtes Verhalten, Zeile für Zeile programmiert man es nicht.

In Diskussionen unter Erklärvideos zum Blackbox-Problem fällt regelmäßig der Einwand, Machine Learning sei nur ein statistischer Wahrscheinlichkeitsrechner, der als Künstliche Intelligenz verkauft werde. Der Ton ist polemisch, der Kern trifft.

Mit Software im klassischen Sinn hat das wenig gemein. Ein statistisches System kann bei gleicher Eingabe eine andere Ausgabe liefern.

IBM beschreibt dieses Muster als Blackbox-KI: ein System, dessen innere Gewichtung nach außen nicht sichtbar ist, selbst wenn Eingabe und Ausgabe bekannt sind. Wenn Ihr Arbeitsalltag auf exakter Wiederholbarkeit beruht, ist ein solches System ein Fremdkörper. Diese Dissonanz lässt sich nicht wegerklären, nur benennen.

Für einen Prozessingenieur ist eine Toleranzangabe eine Vereinbarung, die eine Maschine exakt einhält. Ein Sprachmodell kennt diese Art von Vereinbarung nicht: Es approximiert eine plausible Antwort, ohne eine Garantie für Wiederholbarkeit abzugeben. Für Ihre Spezifikationen heißt das: Ein Sprachmodell unterschreibt keine Toleranzangabe.

Die Blackbox, und wo unsere Ehrlichkeit anfängt

In B2B-Industrie-Mandaten zeigt sich ein wiederkehrender Reflex: Wer die Blackbox benennt, soll im selben Atemzug versprechen, sie vollständig zu öffnen. Dieses Versprechen ist falsch.

Lassen sich die Entscheidungen einer KI nicht per Reverse Engineering offenlegen und damit transparent machen? Die ehrliche Antwort heißt Nein, jedenfalls nicht vollständig. Erklärbare KI (Explainable AI, XAI) ist ein aktives Forschungsfeld mit echten Fortschritten bei kleineren, spezialisierten Modellen. Fraunhofer IAO benennt zugleich den Preis dieser Erklärbarkeit: Je komplexer das Modell, desto schwerer lässt sich seine Entscheidung offenlegen.

Für große Sprachmodelle bleibt Mechanistic Interpretability, also der Versuch, einzelne Rechenschritte im Modell einer konkreten Bedeutung zuzuordnen, ein hartes, ungelöstes Problem. Selbst die Hersteller können nicht sicher sagen, warum ein Modell eine bestimmte Ausgabe erzeugt hat.

Wer als Agentur behauptet, man schaue unter die Haube des Modells, verspricht etwas, das die aktuelle Forschung nicht hält. Diese Grenze gehört offen ausgesprochen: Niemand macht die Blackbox durchsichtig, wir auch nicht.

Den Röntgenblick ins Modell gibt es nicht. Was Ausgaben abfängt, bevor sie Schaden anrichten, ist der geprüfte Prozess rund um die Blackbox herum.

Das halluzinierte Datenblatt

Das größte KI-Risiko im technischen B2B ist eine Ausgabe, die falsch ist und trotzdem ungeprüft weiterläuft. Der erste Prompt ist selten das Problem.

Im B2C ist eine KI-Halluzination, eine plausibel klingende, aber falsche Ausgabe, meist nur ein peinlicher Tippfehler. Im technischen B2B ist sie ein Haftungs- und Reputationsrisiko.

Stellen Sie sich ein KI-generiertes Produktdatenblatt vor: ein erfundener Drehmomentwert, eine falsche Toleranzklasse, eine nicht existierende Zertifizierung, formuliert sauber genug, um beim ersten Lesen unauffällig zu wirken. Es geht an technische Einkäufer, die auf dieser Basis weiterkonstruieren.

Ein einzelnes Datenblatt verlässt selten nur eine Abteilung. Es wandert in Angebote, in Kataloge und teils direkt in die technische Dokumentation für den Endkunden weiter.

Das ist die geerdete Version dessen, was Kokotajlo über Frontier-Modelle beschreibt: Sie können überzeugend vortäuschen, eine Aufgabe korrekt erledigt zu haben, ohne dass ein Prüfer das an der Oberfläche erkennt. Das Datenblatt sah korrekt aus. Es war es nicht.

Wer trotzdem schnell entscheiden will, ob KI überhaupt zum eigenen Content passt, findet eine nüchterne Antwort im Vergleich zwischen ChatGPT und einem SEO-Texter: Ein Modell ersetzt den Erstentwurf, nicht die fachliche Verantwortung.

Der dritte Weg: weder Heilsversprechen noch Verweigerung

Kokotajlo selbst wählt keinen Boykott. Er hat der Technologie nicht den Rücken gekehrt: Mit dem AI Futures Project beobachtet und prognostiziert er ihre Entwicklung weiter und warnt trotzdem öffentlich vor ihren Grenzen.

Diese Haltung überträgt sich unmittelbar auf den technischen Mittelstand: Wer KI komplett meidet, verliert Tempo bei Recherche und Erstentwurf. Wer sie unreflektiert einsetzt, verliert Kontrolle über das, was am Ende bei Ihren Kunden landet.

Der Fehler ist nicht, KI einzusetzen. Verweigerung kostet am Ende genauso viel Substanz wie Blindflug. Der eigentliche Fehler beginnt erst dort, wo eine KI-Ausgabe ungeprüft in einen Prozess läuft. Bewusste Integration unterscheidet sich von blinder Integration nicht in der Menge der eingesetzten KI. Sie unterscheidet sich darin, ob jemand die Ausgabe gegen die Realität prüft, bevor sie wirkt.

Auf Marketing-Ebene behaupten lässt sich so eine Haltung nicht. Sie muss aus der eigenen Positionierung kommen, sonst bleibt sie eine Floskel im Pitch-Deck.

So eine Selbst-Entwaffnung kostet im ersten Moment ein Verkaufsargument. Sie gewinnt im zweiten Moment Vertrauen, weil ein technisches Publikum Selbstüberschätzung sofort erkennt.

Wie man ein unkontrollierbares Werkzeug kontrolliert bekommt

Kontrolliert wird nicht das Modell. Kontrolle entsteht in dem Prozess, der es umgibt: Spezifikation, menschliche Fachprüfung, eine Freigabe-Instanz und klare Leitplanken für den Einsatz halten das Ergebnis in der Spur, auch wenn das Modell selbst eine Blackbox bleibt.

Im technischen Mittelstand verschiebt sich der Anspruch an KI-Systeme weg vom Blackbox-Vertrauen hin zur Prüfinstanz, sobald ein erstes Datenblatt oder ein erster Fachtext falsch war.

Würden Sie ein zugeliefertes Bauteil ohne Wareneingangsprüfung verbauen, nur weil die Maße auf dem Lieferschein sauber aussehen? Dieselbe Frage stellt sich bei einem KI-generierten Fachtext. Beides verlässt den Betrieb erst nach einer Prüfung, oder es verlässt ihn gar nicht.

Freigabe-Instanz heißt konkret: Ein Mensch mit Fachwissen liest jeden KI-generierten Fachtext gegen die Spezifikation, bevor er den Betrieb verlässt. Das ist die Übersetzung industrieller Qualitätssicherung auf den KI-Einsatz.

Leitplanken heißen praktisch: klare Regeln, für welche Textsorten KI überhaupt einen Erstentwurf liefern darf, und welche Fachbereiche in Ihrem Haus ausschließlich von Menschen formuliert werden. Nicht jeder Fachtext trägt das gleiche Risiko, und die Prüftiefe sollte sich danach richten.

Diese Logik trägt unsere eigene methodische KI-Integration für den Mittelstand: KI beschleunigt die Datenarbeit, Strategie und finaler Fachtext bleiben Handarbeit, geprüft von jemandem, der die Spezifikation kennt. Das VISIBL-Framework verankert diese Prüfung in der Architektur selbst.

Die Gegenposition: Funktion schlägt Nachvollziehbarkeit

Ein Einwand gegen diesen Text lautet: Solange das Ergebnis stimmt, ist Nachvollziehbarkeit zweitrangig. Dieser Einwand kommt nicht von Hype-Verkäufern. Er kommt von pragmatischen ML-Entwicklern, die tagtäglich mit genau diesen Modellen arbeiten.

In Diskussionen über KI-Transparenz taucht dieser Einwand regelmäßig in seiner knappsten Form auf: Die Entstehung eines Ergebnisses interessiert nicht, Funktion schlägt Nachvollziehbarkeit.

Bei vielen Anwendungen zählt tatsächlich nur das Ergebnis: Eine Bildklassifikation, eine Übersetzung oder eine Textzusammenfassung muss stimmen, nicht erklärt werden können. Wer hier auf Interpretierbarkeit besteht, verlangsamt einen Prozess, ohne dass der Output davon besser wird.

Das gilt besonders für Anwendungen mit hohem Volumen und niedrigem Einzelrisiko, etwa Kategorisierung oder Zusammenfassung im Massenbetrieb. Hier zählt die Fehlerquote im Aggregat, nicht die Nachvollziehbarkeit des Einzelfalls. Diese Kritik ist berechtigt, solange die Fehlerkosten niedrig bleiben.

Warum das Ergebnis allein nicht genügt

Im technischen B2B sind die Fehlerkosten selten niedrig, und genau dort kippt das Argument.

Das halluzinierte Datenblatt von weiter oben ist der Beleg: Das Ergebnis wirkte korrekt und war es nicht. Funktion allein hätte diesen Fehler nicht verhindert, weil das Modell selbst überzeugt war, richtig gearbeitet zu haben, und weil ein Einkäufer keinen Grund hatte, an einem sauber formatierten Dokument zu zweifeln.

Die Fehlerkosten sind hier asymmetrisch: Eine falsche Übersetzung kostet einen peinlichen Moment. Ein falscher Drehmomentwert auf einem freigegebenen Datenblatt kostet im schlimmsten Fall eine Rückrufaktion oder einen Schaden beim Kunden, der das Bauteil verbaut.

Funktion und Nachvollziehbarkeit sind kein Gegensatz, den man gegeneinander abwägt. Nachvollziehbarkeit ist die Versicherung, die genau dann greift, wenn die Funktion versagt, ohne dass es jemand merkt.

Deshalb reicht eine reine Qualitätsmetrik am Modell-Output nicht aus. Automatisierte Gegenprüfungen erkennen nur Fehlerbilder, die vorab in einer Prüfregel spezifiziert wurden. Halluzinationen treten auch an Stellen auf, für die keine Regel existiert. Ein Prüfschritt muss die Fehlerkosten kennen, bevor er entscheidet, wie genau er hinschaut, und bei einem freigegebenen Datenblatt ist diese Schwelle niedrig anzusetzen.

Das Argument der Pragmatiker trägt deshalb nur, solange nichts schiefgeht. Sobald etwas schiefgeht, zeigt sich, ob eine Prüfinstanz existiert oder ob das Vertrauen blind war.

Substanz statt Blackbox

KI ist ein mächtiges Werkzeug mit Anteilen, die sich per Konstruktion nicht vollständig kontrollieren lassen. Das ändert sich nicht, egal wie überzeugend die nächste Modell-Generation klingt.

Ein größeres Modell verschiebt die Blackbox nicht nach außen. Es macht sie nur leistungsfähiger, und das erhöht den Einsatz bei jedem ungeprüften Fehler.

Behandeln Sie KI wie jedes andere kritische System in Ihrem Betrieb: mit Spezifikation, mit Prüfung, mit einer Freigabe-Instanz, die ein Mensch mit Fachwissen besetzt. Oder holen Sie sich jemanden an Bord, der diese Prüfinstanz baut, bevor die erste KI-Ausgabe ungeprüft beim Kunden landet.

Wir arbeiten mit limitierten Projektplätzen für KI-Integrationsmandate im technischen B2B-Mittelstand, weil sich Qualität nicht beliebig skalieren lässt. Wir prüfen in einer Erstdiagnose, wo Ihr KI-Einsatz eine Prüfinstanz braucht und wo nicht. Substanz statt Blackbox, das bleibt die Position, auch wenn die Blackbox schneller antwortet.

Häufige Fragen (FAQ)

Ist KI im Content für Industrieunternehmen überhaupt sinnvoll?

KI liefert für Industrieunternehmen einen brauchbaren ersten Entwurf für Fachtexte und Datenblätter. Die fachliche Prüfung bleibt vor der Veröffentlichung Pflicht, weil ungeprüfte Modelle zu Halluzinationen neigen.

Kann man nachvollziehen, warum eine KI eine bestimmte Antwort gibt?

Mechanistic Interpretability erklärt die Entscheidungswege großer Sprachmodelle bislang nur in Ausschnitten. Forscher und Hersteller kennen die vollständige Begründung einer einzelnen Ausgabe in der Regel nicht.

Wie kontrollieren Unternehmen KI-Ausgaben, wenn das Modell selbst nicht kontrollierbar ist?

Ein Freigabeprozess ersetzt die fehlende Kontrolle über das Modell selbst. Ein Fachexperte prüft jede KI-generierte Ausgabe gegen die Spezifikation, bevor sie den Betrieb verlässt.