Sie haben sich für KI entschieden. Jetzt zählen die Entscheidungen, die über den Erfolg bestimmen.

Von der Entscheidung zum Nutzen

Die Frage, ob KI eingesetzt werden soll, ist weitgehend beantwortet. In der McKinsey-Umfrage 2025 nutzten 88 % der Organisationen KI regelmäßig in mindestens einer Geschäftsfunktion.² Offen bleibt, warum so wenige von ihnen Ergebnisse sehen. In der Ausgabe 2026 schreiben 37 % der KI überhaupt einen EBIT-Effekt zu, etwa so viele wie ein Jahr zuvor, und nur rund 6 % gelten als High Performer.¹ Die BCG-Umfrage 2026 unter 1.330 Führungskräften fällt etwas optimistischer aus: Sie stuft 7,5 % der Unternehmen als „future-built“ ein und weitere 41 % als Unternehmen, die KI skalieren und besser abschneiden als andere.³

Die Gründe sind kein Rätsel. Gartner erwartete, dass bis Ende 2025 mindestens 30 % der Projekte mit generativer KI nach dem Proof of Concept aufgegeben werden, und nannte schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten oder unklaren Geschäftsnutzen.⁴ Für agentische KI erwartet Gartner, dass aus ähnlichen Gründen bis Ende 2027 mehr als 40 % der Projekte eingestellt werden.⁵ Das sind Fehler in der Umsetzung, nicht in der Technologie. Entschieden werden sie durch fünf Entscheidungen, die nach der Entscheidung für KI kommen.

Entscheidung 1: Den Arbeitsablauf neu gestalten, nicht nur die Aufgabe

Der größte einzelne Unterschied zwischen KI-High-Performern und den übrigen ist nicht das Modell. Fast drei Viertel der High Performer geben an, Arbeitsabläufe grundlegend neu gestaltet zu haben, gegenüber einem Viertel der übrigen Befragten.¹ Wer KI in einen Schritt eines unveränderten Prozesses einfügt, bekommt einen schnelleren Schritt in einem Prozess, der weiterhin langsam ist. Wer den Prozess neu um das herum gestaltet, was KI gut kann, und um die Stellen, an denen Menschen die Verantwortung behalten müssen, erzielt ein anderes Ergebnis.

In der Praxis heißt das, vor jeder Technologieauswahl konkrete Fragen zu beantworten: Wo im Prozess handelt die KI, was erhält sie, was liefert sie, wer prüft das, und was passiert, wenn sie falschliegt? In den KI-Workflows, die ich entwerfe, hat jede dieser Fragen eine schriftliche Antwort, einschließlich einer Checkliste, die das Ergebnis bestehen muss, und einer namentlich benannten Person, die es freigibt.

Entscheidung 2: Die Art der KI

„KI“ umfasst sehr unterschiedliche technische Muster mit unterschiedlichen Kosten, Risiken und Stärken. Die Wahl des Musters ist die folgenreichste technische Entscheidung einer Umsetzung.

Zwei Forschungsergebnisse sollten diese Wahl prägen. Erstens schneidet Retrieval beim Zugang eines Modells zu Wissen durchweg besser ab als unüberwachtes Fine-Tuning, sowohl bei bekannten als auch bei völlig neuen Fakten.⁷ Zweitens ist Retrieval kein Allheilmittel: Forschende in Stanford stellten fest, dass kommerzielle juristische Recherchewerkzeuge auf Retrieval-Basis bei mehr als 17 % und mehr als 34 % der Benchmark-Anfragen halluzinierten.⁸ Die Wahl des Musters bestimmt das Risikoprofil; sie macht Prüfungen nicht überflüssig.

Der Markt spiegelt diese Vielfalt. Unter 100 von a16z befragten CIOs großer Unternehmen nutzen 37 % fünf oder mehr Modelle, vor allem weil unterschiedliche Anwendungsfälle unterschiedliche Stärken brauchen. Dieselbe Studie stellt fest, dass agentische Workflows den Wechsel zwischen Modellen erschweren.¹⁰

Entscheidung 3: Architektur, Daten und Hosting

Ob die Daten bereit sind, entscheidet über mehr Projekte als die Qualität des Modells. Gartner prognostiziert, dass Organisationen bis 2026 60 % der KI-Projekte aufgeben werden, die nicht von KI-tauglichen Daten getragen werden, und stellte fest, dass 63 % der Organisationen nicht über die passenden Datenmanagement-Praktiken für KI verfügen oder nicht sicher sind, ob sie sie haben.⁶

Daraus folgen drei Architekturentscheidungen. Woher kommen die Daten, und wer pflegt sie? Wie wird die KI an bestehende Systeme angebunden, und mit welchen Berechtigungen? Wo läuft sie? In Europa ist die letzte Frage nicht mehr nur eine technische, sondern auch eine rechtliche. Der EU Data Act gilt seit dem 12. September 2025²⁰ und begrenzt die Kündigungsfristen für den Wechsel des Cloud-Anbieters auf zwei Monate; Wechselentgelte sind ab Januar 2027 verboten.²² Der Europäische Datenschutzausschuss hat festgestellt, dass ein mit personenbezogenen Daten trainiertes KI-Modell nicht immer als anonym gelten kann und dass eine rechtswidrige Entwicklung die Rechtmäßigkeit der späteren Nutzung beeinträchtigen kann.²¹

Auch die Kosten gehören hierher. Der Preis für Abfragen an ein Modell auf dem Niveau von GPT-3.5 ist zwischen November 2022 und Oktober 2024 um mehr als den Faktor 280 gesunken.¹¹ Einsparungen kommen dennoch selten an, weil Entwickler auf die neuesten, leistungsfähigsten Modelle umsteigen, sobald diese erscheinen, so der Investor Menlo Ventures.⁹ Eine modulare Architektur, in der sich das Modell hinter einer Aufgabe austauschen lässt, schützt sowohl vor Lock-in als auch vor schleichend steigenden Kosten.

Entscheidung 4: Evaluation und menschliche Aufsicht

Ein KI-System ohne vereinbartes Qualitätsmaß lässt sich weder verbessern noch verteidigen, und man kann ihm nicht vertrauen. Die verlässlichsten Umsetzungen legen vor dem Aufbau fest, wie ein gutes Ergebnis aussieht, und testen gegen eine Sammlung echter Fälle. Ein starkes Modell als Bewerter einzusetzen, kann diese Arbeit skalieren, in der Forschung mit über 80 % Übereinstimmung mit menschlichen Bewertern; dieselbe Forschung dokumentiert jedoch systematische Verzerrungen, etwa zugunsten längerer Antworten.¹² Automatisierte Evaluation unterstützt das menschliche Urteil; sie ersetzt es nicht.

Die Aufsicht ist die zweite Hälfte. Für Hochrisiko-Systeme verlangt der EU AI Act, dass Menschen die Fähigkeiten und Grenzen des Systems verstehen, sich des Automatisierungsbias bewusst bleiben, Ergebnisse übersteuern oder rückgängig machen und das System anhalten können.¹³ Das sind gute Gestaltungsprinzipien für jedes System, dessen Fehler teuer sind, ob reguliert oder nicht. Die OWASP-Liste der wichtigsten Sicherheitsrisiken von LLM-Anwendungen, von Prompt Injection bis zu übermäßiger Handlungsfreiheit, ist eine praktische Checkliste für die technische Seite.¹⁹

Entscheidung 5: Governance und Regulierung

Regulierung ist heute eine Vorgabe für das Design, mit konkreten Terminen. Der EU AI Act ist am 1. August 2024 in Kraft getreten. Verbote und Pflichten zur KI-Kompetenz gelten seit dem 2. Februar 2025, Pflichten für Modelle mit allgemeinem Verwendungszweck seit dem 2. August 2025 und die meisten übrigen Regeln, einschließlich der Transparenzpflichten, seit dem 2. August 2026; für die Kennzeichnung KI-generierter Inhalte in Systemen, die bereits auf dem Markt sind, gilt eine Übergangsfrist bis zum 2. Dezember 2026.¹⁴ Der Digital Omnibus zur KI, Verordnung (EU) 2026/1744, seit dem 27. Juli 2026 in Kraft, hat die Pflichten für Hochrisiko-Systeme nach Anhang III auf den 2. Dezember 2027 verschoben und für solche, die in regulierte Produkte eingebaut sind, auf den 2. August 2028.^14,15 Außerdem hat er die Pflicht zur KI-Kompetenz abgeschwächt: Organisationen müssen Maßnahmen ergreifen, um die KI-Kompetenz ihrer Beschäftigten zu fördern, statt ein bestimmtes Niveau zu gewährleisten.¹⁶

Über die gesetzlichen Pflichten hinaus geben freiwillige Rahmenwerke der Governance eine Struktur: das NIST AI Risk Management Framework mit seinem Profil für generative KI¹⁷ und ISO/IEC 42001 für KI-Managementsysteme.¹⁸ Für eine kleine Organisation ist der nützliche Kern einfach: ein Verzeichnis der KI-Anwendungen, eine Risikoeinstufung für jede, eine verantwortliche Person und eine Dokumentation, wie jedes System evaluiert und beaufsichtigt wird. Dieser Artikel bietet allgemeine Informationen, keine Rechtsberatung.

Warum der Kontext entscheidet

Es liegt nahe anzunehmen, dass die leistungsfähigste Lösung die beste ist: das größte Modell, der autonomste Agent, die am stärksten integrierte Plattform. In der Praxis hängt die richtige Lösung vom Kontext ab, in dem sie läuft. Zwei Organisationen mit demselben Anwendungsfall können unterschiedliche Antworten brauchen.

Dieselbe Logik gilt für Autonomie. Ein Agent, der über mehrere Systeme hinweg handelt, kann die richtige Wahl für ein Team mit ausgereiften Berechtigungen, Protokollierung und Prüfprozessen sein. Für ein Team ohne diese Voraussetzungen bringt ein einfacherer Assistent, der Arbeit vorbereitet, die dann eine Person abschließt, oft mehr Nutzen bei weit geringerem Risiko.

Die Organisationen, die mit KI Erfolg haben, sind selten die mit der ausgefeiltesten Technologie. Es sind die, deren Entscheidungen zu ihrem Arbeitsablauf, ihren Daten, ihren Menschen und ihren Pflichten passen, und die diese Entscheidungen überprüfen, sobald sich eines davon ändert.

Häufige Fragen