Die meisten KI-Vergleiche messen das Falsche. Sie stellen Benchmark-Punkte nebeneinander, vergleichen Kontextfenster und küren einen Sieger, und beantworten damit keine einzige Frage, die in einem echten Unternehmen tatsächlich anfällt. In diesem Beitrag lege ich das Raster offen, mit dem ich KI-Werkzeuge für Kundinnen und Kunden bewerte. Sieben Kriterien, keines davon ein Benchmark. Alle folgenden Vergleiche in diesem Blog nutzen genau dieses Raster.
Das Wichtigste in Kürze
- Benchmarks sagen wenig über den Nutzen im Betrieb aus, sie messen Laborbedingungen, nicht Ihren Arbeitsalltag.
- Sieben Kriterien entscheiden in der Praxis: reale Arbeitslast, Kontext-Anbindung, Datenschutz, Einführbarkeit, Gesamtkosten, Ausstiegskosten, Entwicklungstempo.
- Die Lizenz ist der kleinste Kostenblock: und trotzdem der häufigste Entscheidungsanker.
- Ausstiegskosten prüft fast niemand, obwohl sie über Jahre teurer werden als der Einstiegspreis.
- Das Raster ersetzt keine Entscheidung. Es sorgt nur dafür, dass Sie die richtigen Fragen stellen, bevor Sie eine treffen.
Warum ich ein eigenes Raster verwende
Wenn ein neues Modell erscheint, sind die Vergleichstabellen innerhalb weniger Stunden im Netz. Sie zeigen Punktwerte in standardisierten Tests: Mathematik, Programmierung, Textverständnis. Das ist nicht wertlos, aber es beantwortet eine Frage, die Sie gar nicht gestellt haben. Sie wollen nicht wissen, welches Modell eine Aufgabensammlung besser löst. Sie wollen wissen, ob Ihre Buchhaltung damit schneller fertig wird und ob die Anwaltskanzlei nebenan Ihre Vertragsentwürfe nicht plötzlich in einem fremden Trainingsdatensatz wiederfindet.
Dazu kommt: Der Abstand zwischen den führenden Modellen ist in den vergangenen zwei Jahren deutlich kleiner geworden. Für die allermeisten Aufgaben im Mittelstand (E-Mails, Zusammenfassungen, Auswertungen, Entwürfe) liefern alle großen Anbieter brauchbare Ergebnisse. Der Unterschied, der Ihr Projekt trägt oder scheitern lässt, liegt woanders.
Eine Offenlegung vorweg: Ich verdiene mein Geld mit Beratung und Training rund um Claude. Das färbt naturgemäß auf meine Einschätzungen ab. Genau deshalb liegt dieses Raster offen. Sie können damit nachrechnen und zu einem anderen Ergebnis kommen als ich. In den folgenden Vergleichen nenne ich außerdem in jedem Beitrag ausdrücklich die Fälle, in denen ein anderes Werkzeug die bessere Wahl ist.
Kriterium 1: Reale Arbeitslast statt Demo-Prompt
Jedes Werkzeug sieht in der Demo gut aus. Die Frage ist, was passiert, wenn Sie es mit Ihrer tatsächlichen Arbeit füttern: dem 40-seitigen Angebot, der gewachsenen Excel-Tabelle, dem Mailverlauf über sieben Monate mit drei Ansprechpartnern.
So teste ich das: Ich nehme drei bis fünf Aufgaben, die im Betrieb wöchentlich anfallen, und lasse sie von jedem Kandidaten bearbeiten, mit echten Unterlagen, nicht mit Beispieldaten. Bewertet wird nicht, welches Ergebnis am schönsten klingt, sondern wie viel Nacharbeit nötig ist, bis es verwendbar ist. Ein Werkzeug, das in 80 Prozent der Fälle brillant ist und in 20 Prozent unbrauchbaren Unsinn liefert, den man erst suchen muss, ist im Alltag schlechter als eines, das durchgängig solide bleibt.
Kriterium 2: Kontext-Anbindung
Ein Sprachmodell ohne Zugriff auf Ihre Informationen ist ein sehr belesener Praktikant am ersten Arbeitstag. Es kennt die Welt, aber nicht Ihre Firma. Der eigentliche Sprung im Nutzen entsteht dort, wo das Werkzeug an Ihre Daten kommt: an Dateien, an das Postfach, an die Ablage, an die Fachanwendung.
Die entscheidenden Fragen: Kann ich Dateien und Ordner dauerhaft hinterlegen, oder muss ich sie in jedem Gespräch neu hochladen? Gibt es Konnektoren zu den Systemen, die wir ohnehin nutzen? Und lässt sich eine eigene Anbindung bauen, wenn es für unser Fachsystem nichts Fertiges gibt, etwa über das Model Context Protocol?
Kriterium 3: Datenschutz und Vertragslage
Hier liegt der teuerste Irrtum, dem ich in Beratungsgesprächen begegne, und er betrifft nicht die Anbieterwahl, sondern die Tarifwahl.
Bei den großen Anbietern gilt dasselbe Muster: In den Privattarifen werden Inhalte standardmäßig für das Training der Modelle verwendet, ein Opt-out ist möglich. In den Geschäftstarifen findet standardmäßig kein Training auf Ihren Inhalten statt. Das heißt im Klartext: Der Mitarbeiter, der mit seinem privaten Gratiszugang mal eben einen Kundenvertrag zusammenfassen lässt, ist das Datenschutzproblem, nicht die Anbieterwahl auf der Geschäftsleitungsebene.
Was ich konkret prüfe: Wird auf unseren Daten trainiert, und ab welchem Tarif nicht mehr? Gibt es einen Auftragsverarbeitungsvertrag, und wer ist Vertragspartner? Wo liegen die Daten? Wie lange werden sie aufbewahrt, und lässt sich das konfigurieren? Welche Subunternehmer sind eingebunden?
Das ist eine Praxis-Einschätzung aus der Beratung, keine Rechtsberatung. Für die verbindliche Bewertung Ihres konkreten Falls brauchen Sie Ihren Datenschutzbeauftragten oder eine Kanzlei.
Kriterium 4: Einführbarkeit im Team
Ein Werkzeug, das nur die zwei technikaffinen Kolleginnen bedienen können, verändert nichts am Betriebsergebnis. Die Frage ist nicht, wie gut die Software im besten Fall ist, sondern wie viele Menschen sie im Alltag tatsächlich benutzen werden.
Dazu gehört Unspektakuläres: Gibt es eine zentrale Benutzerverwaltung? Lässt sich das Ganze an die bestehende Anmeldung koppeln? Kann ich als Administrator sehen, wer es nutzt, und wer nicht? Und wie viel Schulung braucht es realistisch, bis jemand ohne Vorkenntnisse damit produktiv wird? Meine Erfahrung: Zwei bis drei begleitete Stunden pro Person bringen mehr als jede Funktionsliste. Wie eine solche Einführung strukturiert abläuft, habe ich im Sechs-Wochen-Plan beschrieben.
Kriterium 5: Gesamtkosten über zwölf Monate
Die Lizenzgebühr ist der Posten, über den alle reden, und der kleinste der drei. Rechnen Sie stattdessen so:
- Lizenz: Sitzpreis × Anzahl Personen × zwölf Monate. Achten Sie auf Mindestabnahmen und darauf, ob eine Basislizenz vorausgesetzt wird, bei manchen Anbietern ist der beworbene Preis nur der Aufpreis.
- Einführung: Auswahl, Einrichtung, Richtlinie, Anbindung an Ihre Systeme. Einmalig, aber selten klein.
- Schulung und Begleitung: nicht die einmalige Vorführung, sondern die Betreuung in den ersten Monaten, in denen die Fragen erst aufkommen.
Bei zehn Personen liegen die Lizenzkosten je nach Anbieter im niedrigen vierstelligen Bereich pro Jahr. Einführung und Schulung liegen erfahrungsgemäß darüber. Wer nur die Lizenz vergleicht, optimiert den kleinsten Hebel.
Kriterium 6: Ausstiegskosten
Das Kriterium, das in Auswahlprozessen fast nie vorkommt, und das mit jedem Monat teurer wird. Die Frage lautet: Was kostet es, in zwei Jahren zu wechseln?
Konkret: Bekomme ich meine Gesprächsverläufe, hinterlegten Dokumente und selbst gebauten Vorlagen wieder heraus, und in welchem Format? Wie viel Arbeit steckt in Konfiguration und Anbindungen, die beim Wechsel verloren geht? Und wie sehr hat sich das Werkzeug in Arbeitsabläufe eingegraben, die dann neu geschrieben werden müssen?
Meine Faustregel: Alles, was Sie selbst formulieren, also Richtlinien, Vorlagen und aufbereitetes Firmenwissen, sollte in einem Format liegen, das Sie auch ohne den Anbieter noch lesen können. Einfache Textdateien in Ihrer eigenen Ablage sind kein Rückschritt, sondern eine Versicherung.
Kriterium 7: Tempo der Produktentwicklung
Ein zweischneidiges Kriterium. Hohes Tempo bedeutet, dass Ihr Werkzeug in einem Jahr deutlich mehr kann als heute, ohne dass Sie etwas tun müssen. Es bedeutet aber auch, dass Ihre Schulungsunterlagen veralten, dass Bedienoberflächen sich verschieben und dass eine Funktion, um die Sie einen Ablauf gebaut haben, wieder verschwinden kann.
Was ich hier bewerte, ist weniger die Geschwindigkeit als die Verlässlichkeit: Kündigt der Anbieter Änderungen an? Gibt es Übergangsfristen? Bleiben Schnittstellen stabil, auch wenn die Oberfläche sich ändert? Für einen Betrieb, der Abläufe auf ein Werkzeug stützt, ist Berechenbarkeit mehr wert als die nächste Funktion.
Wie Sie das Raster anwenden
Nicht alle sieben Kriterien wiegen gleich schwer, das hängt von Ihrer Lage ab. Ein Steuerberatungsbüro gewichtet Datenschutz und Ausstiegskosten hoch. Eine Werbeagentur gewichtet reale Arbeitslast und Kontext-Anbindung hoch und kann beim Datenschutz pragmatischer sein, solange keine Mandantendaten im Spiel sind.
Mein Vorschlag: Vergeben Sie vor dem Vergleich Gewichte, welche drei Kriterien sind für Sie die wichtigsten? Erst danach schauen Sie sich die Werkzeuge an. Andersherum passiert regelmäßig, dass ein beeindruckendes Detail die Gewichtung im Nachhinein verschiebt.
Häufige Fragen
Sind Benchmarks komplett wertlos?
Nein. Sie zeigen zuverlässig, ob ein Modell in einer Kategorie grob abfällt. Für die Auswahl zwischen den drei oder vier führenden Anbietern taugen sie aber kaum, weil die Unterschiede dort klein und die Testbedingungen weit von Ihrem Arbeitsalltag entfernt sind.
Wie lange dauert eine Bewertung nach diesem Raster?
Für zwei Kandidaten realistisch zwei bis drei Wochen: eine Woche für die Testaufgaben, eine für Datenschutz- und Vertragsprüfung, dazu die Zeit, die Ihre Fachabteilungen für Rückmeldungen brauchen. Wer das an einem Nachmittag entscheidet, entscheidet nach Bauchgefühl, was manchmal reicht, aber dann bitte bewusst.
Können wir nicht einfach mehrere Werkzeuge parallel nutzen?
Können Sie, es kostet nur mehr, als die meisten erwarten. Nicht an Lizenzgebühren, sondern an Abstimmung, Schulung und Datenschutzaufwand pro zusätzlichem Werkzeug. Meine Empfehlung ist ein Standardwerkzeug plus ein bewusst zugelassenes Zweitwerkzeug.
Gilt das Raster auch für kleine Betriebe?
Ja, nur mit weniger Aufwand. Bei drei Personen prüfen Sie dieselben sieben Punkte, aber in wenigen Stunden statt in Wochen. Die Kriterien ändern sich nicht, nur die Tiefe der Prüfung.
Welches Werkzeug empfehlen Sie denn nun?
Das hängt von Ihrer Gewichtung ab, dafür gibt es dieses Raster. In den folgenden Beiträgen dieser Reihe rechne ich die gängigen Kandidaten einzeln durch, jeweils mit den Fällen, in denen sie gewinnen, und denen, in denen sie verlieren.