KI-Vendor-Auswahl für den Mittelstand: 12-Punkte-Checkliste 2026

Warum die Vendor-Auswahl über Erfolg oder Scheitern von KI-Projekten entscheidet

Die Wahl des richtigen KI-Anbieters ist eine der folgenreichsten Entscheidungen, die ein mittelständisches Unternehmen bei der Digitalisierung trifft — und gleichzeitig eine der am häufigsten unterschätzten. Laut Forrester Wave: AI Vendors 2024 scheitern 47 % aller KI-Projekte in Unternehmen primär aufgrund einer fehlerhaften Vendor-Wahl: falsche Anbieterpassung, mangelnde DSGVO-Konformität, unklare Vertragsgrundlagen oder unterschätzter Vendor-Lock-in sind die führenden Ursachen.

Der Gartner Magic Quadrant for AI Platforms 2024 unterstreicht: Unternehmen, die bei der Vendor-Auswahl weniger als drei Anbieter systematisch vergleichen, laufen viermal häufiger in eine langfristige Abhängigkeit mit hohen Wechselkosten — die sogenannte Vendor-Lock-in-Falle. Im deutschen Mittelstand ist dieses Risiko besonders ausgeprägt, weil viele KMU unter Zeitdruck und ohne strukturierte Auswahlkriterien entscheiden.

Was macht eine gute KI-Vendor-Auswahl aus? Sie ist kein reiner Preisvergleich und kein Funktionalitäts-Checklist. Eine professionelle Vendor-Evaluation für den Mittelstand bewertet mindestens vier Dimensionen gleichzeitig: technische Passgenauigkeit (kann das Tool die definierten Use Cases tatsächlich abdecken?), regulatorische Konformität (DSGVO, EU AI Act, Schrems-II-Implikationen), kommerzielle Nachhaltigkeit (Pricing-Transparenz, Lock-in-Risiko, Exit-Möglichkeiten) und organisatorische Passung (Support-Sprache, Dokumentation, Roadmap-Transparenz für den deutschen Markt).

Besonders kritisch für deutsche KMU: Der Markt für DSGVO-konforme KI-Lösungen mit EU-Hosting ist deutlich kleiner als allgemein angenommen. Laut Statista DACH AI Market Report 2024 bieten nur 23 % der am deutschen Markt aktiven KI-Anbieter ein nachweislich DSGVO-konformes EU-Hosting ohne Datentransfer in Drittstaaten. Der Schrems-II-Compliance-Druck erhöht die Notwendigkeit eines strukturierten Auswahlprozesses erheblich — informelle Vendor-Entscheidungen auf Basis von Produktdemos reichen hier schlicht nicht aus.

Die wirtschaftlichen Konsequenzen einer Fehlentscheidung sind gravierend: Wechselkosten zu einem anderen KI-Anbieter belaufen sich laut einer Erhebung von Wito AI (2025) auf das 1,5- bis 3-fache der ursprünglichen Initialinvestition — inklusive Datenmigration, Neuintegration, Schulungsaufwand und produktivitätsloser Übergangszeit. Damit ist ein strukturierter Auswahlprozess nicht nur eine Qualitätsentscheidung, sondern eine direkte Investitionsschutzmaßnahme.

Die 12-Punkte-Checkliste für die KI-Vendor-Auswahl im Mittelstand

Diese Checkliste wurde auf Basis von über 30 Vendor-Evaluationen für deutsche KMU entwickelt und deckt alle kritischen Dimensionen ab — von der DSGVO-Konformität bis zur Exit-Strategie. Alle zwölf Punkte sollten vor einer Kaufentscheidung bewertet sein.

1. DSGVO-Konformität und EU-Hosting-Nachweis

Verlangen Sie einen schriftlichen Nachweis, dass alle Daten ausschließlich auf Servern innerhalb der EU (oder im EWR) verarbeitet und gespeichert werden. Ein mündliches Versprechen oder eine allgemeine Datenschutzerklärung reichen nicht aus. Fragen Sie explizit: Wo befinden sich die Rechenzentren? Welche Subunternehmer sind eingesetzt? Gibt es Datentransfers in Drittstaaten — auch temporäre?

2. AVV nach Art. 28 DSGVO

Ein Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO ist bei der Verarbeitung personenbezogener Daten durch einen KI-Anbieter verpflichtend — nicht optional. Prüfen Sie, ob der Anbieter einen vollständigen AVV anbietet, der alle technischen und organisatorischen Maßnahmen (TOMs) dokumentiert. US-Anbieter nutzen häufig abweichende Bezeichnungen wie "Data Processing Agreement" (DPA) — inhaltlich muss dieser Art. 28 DSGVO entsprechen.

3. Datenexfiltrations-Schutz und Modell-Training

Klären Sie verbindlich: Werden Ihre Eingabedaten für das Training der KI-Modelle genutzt? Viele Anbieter verwenden Opt-out-Mechanismen, die standardmäßig Datentraining erlauben. Dies ist bei personenbezogenen oder geschäftskritischen Daten ein erhebliches Compliance-Risiko. Fordern Sie eine schriftliche Zusage, dass Ihre Daten nicht für Modell-Training verwendet werden — oder wählen Sie einen Anbieter mit "Data Isolation"-Garantie.

4. Modell-Auditierbarkeit und Erklärbarkeit

Für KI-Systeme im Hochrisiko-Bereich nach EU AI Act (Art. 13, Verordnung EU 2024/1689) ist Erklärbarkeit der Entscheidungen Pflicht. Aber auch außerhalb der Hochrisiko-Klassifizierung sollten KMU darauf bestehen, dass der Anbieter nachvollziehbar erklären kann, wie das Modell zu seinen Ausgaben kommt. "Black Box"-Systeme ohne Audit-Möglichkeit sind langfristig ein Governance-Risiko.

5. Vendor-Lock-in-Bewertung

Analysieren Sie: Wie proprietär sind die Datenformate? Gibt es einen dokumentierten Datenexport-Prozess? Können trainierte Modelle oder Fine-Tunings exportiert werden? Wie tief integriert sich das System in Ihre Infrastruktur — und wie aufwändig wäre ein Anbieterwechsel nach 24 Monaten? Ein hoher Lock-in ist kein automatisches Ausschlusskriterium, muss aber explizit in die Entscheidung einbezogen werden.

6. Skalierbarkeit und Pricing-Transparenz

Verstehen Sie das Preismodell vollständig: Gibt es versteckte Kosten bei steigendem Nutzungsvolumen? Wie verhält sich der Preis bei 10×, 100× heutigem Nutzungsvolumen? Viele SaaS-KI-Anbieter haben aggressiv eskalierende Preise bei API-Nutzung — was im Pilotprojekt günstiger erscheint, kann im Rollout schnell unwirtschaftlich werden.

7. SLA: Verfügbarkeit und Antwortzeiten

Prüfen Sie das Service-Level-Agreement (SLA) auf: garantierte Uptime (mindestens 99,5 % für Produktionssysteme), maximale Ausfallzeit je Monat, Reaktionszeit bei kritischen Incidents, und ob es finanzielle Kompensation (Service Credits) bei SLA-Verletzungen gibt. Achtung: Viele Anbieter schließen "Force Majeure" sehr breit — schauen Sie in die Klauseln.

8. Support-Sprache Deutsch

Unterschätzen Sie nicht den Faktor Support-Sprache: Bei kritischen Produktionsproblemen müssen Ihre Mitarbeitenden (nicht nur die IT-Leitung) mit dem Support kommunizieren können. Englischsprachiger Support ist für deutsche KMU oft eine versteckte Nutzungsbarriere. Prüfen Sie: Gibt es deutschen Support? Welche Supportzeiten gelten für europäische Zeitzone?

9. Roadmap-Transparenz

Ein seriöser KI-Anbieter kommuniziert seine Produktroadmap offen und regelmäßig. Fragen Sie: Wie stabil ist das API-Interface? Wie lange im Voraus werden Breaking Changes angekündigt? Was ist die Deprecation-Policy für ältere Modellversionen? Anbieter, die keine Roadmap-Transparenz bieten, erzeugen hohen internen Wartungsaufwand durch erzwungene Migrationen.

10. Referenzkunden DACH

Fordern Sie mindestens drei vergleichbare Referenzkunden aus dem DACH-Raum an — aus ähnlicher Branche und Unternehmensgröße. Sprechen Sie direkt mit diesen Referenzkunden (nicht nur mit vom Anbieter aufbereiteten Case Studies). Fragen Sie nach: Was lief besser als erwartet? Was war enttäuschend? Wie ist die tatsächliche Support-Qualität im Alltag?

11. Exit-Strategie und Datenlöschung

Was passiert mit Ihren Daten, wenn Sie den Vertrag kündigen? Klären Sie vertraglich: Frist für vollständigen Daten-Export, Format des Exports (maschinenlesbar, nicht proprietär), schriftliche Bestätigung der vollständigen Datenlöschung nach Vertragsende, und wie lange der Anbieter Daten nach Kündigung aufbewahren darf (DSGVO-konforme Löschfristen nach Art. 5 Abs. 1 lit. e DSGVO).

12. EU AI Act Hochrisiko-Klassifizierung beim Anbieter

Klären Sie, ob das KI-System vom Anbieter als Hochrisiko-KI-System nach Anhang III des EU AI Acts klassifiziert ist. Ist dies der Fall, unterliegt sowohl der Anbieter als auch Ihr Unternehmen als Betreiber erhöhten Compliance-Anforderungen. Fragen Sie nach dem EU AI Act Compliance-Status und dem voraussichtlichen Datum der CE-Kennzeichnung (Pflicht für Hochrisiko-Systeme ab 02. August 2027 für neue Systeme, früher für bereits am Markt befindliche).

DSGVO-Bewertung: EU-Anbieter vs. US-Anbieter nach Schrems II

Das Schrems-II-Urteil des Europäischen Gerichtshofs (EuGH C-311/18) vom Juli 2020 hat die Rechtslage für die Nutzung US-amerikanischer Cloud- und KI-Dienste fundamental verändert. Der Privacy-Shield-Mechanismus wurde für ungültig erklärt — seitdem ist die Übermittlung personenbezogener Daten in die USA ohne adäquate Schutzmaßnahmen unzulässig.

Das EU-US Data Privacy Framework (DPF), das im Juli 2023 als Nachfolger des Privacy Shields in Kraft trat, ermöglicht unter bestimmten Voraussetzungen wieder Datentransfers in die USA. Allerdings bewerten Datenschutzbehörden — darunter der Bundesdatenschutzbeauftragte (BfDI) — das DPF weiterhin kritisch: Eine erneute gerichtliche Anfechtung (Schrems III) gilt als wahrscheinlich. Unternehmen, die auf US-Anbieter setzen, tragen das Risiko einer erneuten Rechtsgrundlagen-Entwertung.

Besondere Bedeutung hat die Frage der Modell-Trainingsdaten: Wenn ein US-Anbieter Ihre Eingabedaten standardmäßig für das Training seiner Modelle nutzt, verlassen personenbezogene Daten die EU — auch wenn das eigentliche Rechenzentrum in Europa liegt. Dies ist datenschutzrechtlich als Übermittlung in ein Drittland zu bewerten, wenn die Trainingsinfrastruktur in den USA betrieben wird.

Für den EU AI Act gilt zusätzlich: KI-Systeme, die in der EU eingesetzt werden, müssen unabhängig vom Sitz des Anbieters die EU-Anforderungen erfüllen. Auch US-Anbieter müssen für ihre in der EU genutzten Hochrisiko-Systeme einen EU-Bevollmächtigten benennen (Art. 22 EU AI Act). Deutsche KMU sollten prüfen, ob ihr KI-Anbieter diesen EU-Bevollmächtigten bereits benannt hat — andernfalls übernehmen sie faktisch Teile der Compliance-Verantwortung selbst.

Vertragsklauseln, die Sie bei der KI-Vendor-Auswahl aushandeln sollten

Der Bitkom Leitfaden KI-Vertragsgestaltung 2024 identifiziert fünf Vertragsklauseln, die im Standard-Angebot vieler KI-Anbieter fehlen, für deutsche KMU aber unverzichtbar sind. Wer diese Klauseln nicht proaktiv einfordert, nimmt erhebliche Risiken in Kauf.

AVV nach Art. 28 DSGVO — vollständig und detailliert

Der Auftragsverarbeitungsvertrag muss alle nach Art. 28 DSGVO erforderlichen Inhalte enthalten: Gegenstand und Dauer der Verarbeitung, Art und Zweck, Art der personenbezogenen Daten, Kategorien betroffener Personen sowie vollständige Liste der eingesetzten Subunternehmer (Unterauftragsverarbeiter). Klauseln wie "wir setzen Unterauftragsverarbeiter ein, deren Liste auf Anfrage bereitgestellt wird" sind nicht ausreichend — die Liste muss vertraglich beigefügt sein und Änderungen müssen mit Vorlaufzeit angekündigt werden.

Modell-Update-Notification und Versionsstabilität

KI-Modelle werden laufend aktualisiert — oft ohne dass Nutzer davon erfahren. Ein Modell-Update kann die Ausgaben Ihres KI-Systems grundlegend verändern und zu unerwartetem Verhalten in Produktionsprozessen führen. Vereinbaren Sie: Mindestankündigungsfrist von 30 Tagen vor Breaking Changes, Option zur Weiternutzung einer älteren Modellversion für mindestens 90 Tage nach Update-Einführung, und eine Regressionstest-Obliegenheit des Anbieters.

Service-Level-Agreement: Verfügbarkeit und Antwortzeit

Ein vollständiges SLA für KI-Produktionssysteme enthält: Uptime-Garantie mindestens 99,5 % pro Kalendermonat (das entspricht maximal 3,6 Stunden Downtime pro Monat), maximale API-Latenz (p95) für Standardanfragen, Eskalationspfad für kritische Incidents mit Reaktionszeiten unter 4 Stunden, und finanzielle Service Credits bei SLA-Verletzungen. Standard-ToS ohne spezifische SLA-Klauseln bieten keine Grundlage für Schadensersatz bei Produktionsausfällen.

Audit-Recht und Compliance-Nachweise

Deutsche Unternehmen haben das Recht, die Einhaltung der vereinbarten Datenschutzmaßnahmen zu überprüfen. Vereinbaren Sie das Recht auf eigene oder beauftragte Audits (mindestens einmal jährlich) oder alternativ — und in der Praxis häufiger — die regelmäßige Bereitstellung aktueller Zertifizierungsnachweise: ISO 27001, SOC 2 Type II, BSI C5 (Cloud Computing Compliance Criteria Catalogue des Bundesamts für Sicherheit in der Informationstechnik).

Exit-Klausel mit Daten-Export und Datenlöschung

Vereinbaren Sie vertraglich: Nach Vertragsende stellt der Anbieter alle Ihre Daten innerhalb von 30 Tagen in einem standardisierten, maschinenlesbaren Format (z.B. JSON, CSV, nicht proprietäres Format) zur Verfügung. Nach dem Export löscht der Anbieter alle Kopien Ihrer Daten vollständig und bestätigt dies schriftlich. Die Übergangsfrist (parallel weiterlaufender Betrieb bei Anbieterwechsel) muss vertraglich gesichert sein — idealerweise 90 Tage nach Kündigung.