Die EU macht ernst mit der Regulierung von künstlicher Intelligenz: Ab 2026 müssen Unternehmen, die KI nutzen oder entwickeln, zahlreiche neue Vorschriften beachten. Was bedeutet das für Nutzer und Anbieter konkret? Und warum sollten sich auch Hoteliers schon jetzt mit dem Thema beschäftigen?

Wer könnte besser Licht ins Dunkle bringen als Rechtsanwalt Thomas Nietsch: In unserem schriftlichen Interview mit ihm erfahrt ihr, was der sogenannte AI Act für die Hotelbranche bedeutet, welche Herausforderungen auf Hoteliers zukommen und wie man sich rechtzeitig vorbereiten kann. 

Was ist der AI Act und für wen gilt dieses neue Gesetz?

Der AI Act ist als die weltweit erste umfängliche Regulierung von künstlicher Intelligenz ein Prestigeprojekt der EU und wurde daher unter erheblichem Zeitdruck noch vor der EU-Wahl 2024 finalisiert und verabschiedet. Als EU-Verordnung gilt der AI Act unmittelbar in allen EU-Mitgliedsstaaten und bedarf keiner nationalen Umsetzung mehr. 

Ziel des AI Act ist die Förderung des Vertrauens in KI, aber auch der Schutz von Grundrechten, Sicherheit und Demokratie vor den Auswirkungen von KI. Das Gesetz gilt grundsätzlich unabhängig vom Anwendungsbereich oder der Risikoaffinität einer KI, wobei es aber einem risikobasierten Ansatz folgt. Reguliert wird der gesamte Lebenszyklus von KI, von der Entwicklung, über die Integration in andere Systeme und den Vertrieb bis hin zum Betrieb durch den Endanwender. Insofern treffen wirtschaftliche, aber auch staatliche Akteure entlang dieser Wertschöpfungskette eine Vielzahl von Pflichten, deren genauer Umfang davon abhängt, in welcher konkreten Rolle der Akteur in die Verwendung von KI involviert ist. Das Gesetz unterscheidet hierbei grundsätzlich zwischen “Anbietern” als Entwickler von KI-Anwendungen und “Betreibern”, die lediglich vorgefertigte Anwendungen Dritter verwenden. Daneben werden auch Anbieter von “KI-Modellen mit allgemeinem Verwendungszweck” reguliert, darunter werden insbesondere Large Language Models verstanden, deren Einsatz im Grunde nicht limitiert ist und immer vom konkreten Betreiber bestimmt wird, der die Modelle als Grundlage einer konkreten Anwendung nutzt.

Neben dem strikten Verbot von unverhältnismäßig risikoträchtigen KI-Anwendungen, wie etwa zur unterschwelligen Beeinflussung von Menschen, zum Profiling mit dem Effekt der sozialen Benachteiligung, zur Bewertung des Risikos der Begehung einer Straftat durch eine Person oder zur automatisierten Echtzeit-Identifizierung in öffentlichen Räumen, setzt der AI Act auf ein abgestuftes Transparenz-, Sicherheits- und Risikovermeidungskonzept für den rechtmäßigen Einsatz der Anwendungen. Es gibt dabei naturgemäß eine Vielzahl von Überschneidungen mit anderen Regulierungen auf EU- oder nationaler Ebene, wie insbesondere dem Datenschutzrecht, dem Schutz der Privatsphäre, dem Recht am geistigen Eigentum und dem Schutz von Geschäftsgeheimnissen. 

Warum sollten Hoteliers sich mit dem AI Act beschäftigen?

KI wird heute für die unterschiedlichsten Zwecke in fast allen Unternehmen genutzt. Die Hotel- und Gastronomiebranche bildet da natürlich keine Ausnahme. Wenn ein Hotelier sich dazu entscheidet, z.B. ein KI-basiertes Buchungssystem bzw. einen Chatbot für seine Gäste zu verwenden, treffen ihn Pflichten unter dem AI Act, selbst wenn er das System als fertige Lösung von einem Drittanbieter erwirbt. Das gilt natürlich umso mehr, wenn ein Hotelbetreiber eine ganz eigene Anwendung entwickelt oder entwickeln lässt, da er dann Anbieter des Systems ist, und nicht bloß Betreiber.

Aber auch wenn KI-Anwendungen nur für interne Zwecke, z.B. zum Mitarbeitermanagement genutzt werden, fällt der jeweilige Hotelbetreiber hierbei in den Anwendungsbereich des AI Act und hat entsprechende Pflichten zu erfüllen. Der AI Act unterscheidet insofern nicht, ob KI mit Außenwirkung oder nur für interne Zwecke eingesetzt wird.

Ähnlich wie unter der DSGVO drohen bei Verstoß gegen den AI Act empfindliche Bußgelder von bis zu 35 Millionen Euro oder 7% des globalen Jahresumsatzes bei besonders kritischen Verstößen, im Übrigen bis zu 15 Millionen Euro oder 3% des globalen Jahresumsatzes. Der AI Act sieht abgestufte Umsetzungsfristen vor: das absolute Verbot des Einsatzes von bestimmter KI gilt bereits seit dem 2. Februar 2025, Pflichten für KI-Modelle mit allgemeinem Verwendungszweck sowie die Bußgeldvorschriften gelten ab dem 2. August 2025, während die meisten übrigen Regeln ab dem 2. August 2026 gelten.  

Welche Verpflichtungen könnten auf Hoteliers zukommen, die KI einsetzen?

Grundlegende und für alle Anbieter und Betreiber von KI-Systemen geltende Anforderung ist, dass sämtliches Personal, das mit dem Betrieb von KI befasst ist, über hinreichende Kompetenz in dieser Hinsicht verfügt. Insofern sollte das Personal ausreichend geschult und mit der Funktionsweise und den Risiken der KI hinreichend vertraut gemacht werden.

Die weiteren Pflichten hängen im Wesentlichen davon ab, in welche Risikoklasse eine KI-Anwendung fällt und ob der Hotelier als Anbieter oder Betreiber der KI gilt. Ausgehend davon, dass vermutlich im gewöhnlichen Wirtschaftsverkehr die streng verbotenen KI-Anwendungen keine große Rolle spielen werden, stellt sich zunächst die Frage, ob eine KI-Anwendung ein hohes Risiko für die vom AI Act geschützten Rechtsgüter darstellt oder nicht. Das ist einerseits dann der Fall, wenn die KI eine sicherheitsrelevante Funktion in einem regulierten Produkt übernimmt, z.B. in Kraftfahrzeugen, Maschinen, Aufzügen, Schutzausrüstung oder Medizinprodukten. Das dürfte für Anwendungen in der Hotelbranche vermutlich eher nicht relevant werden, ist aber auch nicht gänzlich ausgeschlossen, z.B. bei Fahrstühlen. Andererseits liegt eine Hochrisiko-KI aber z.B. auch vor, wenn es sich um biometrische Identifizierungssysteme, Systeme mit dem Zweck der Auswahl oder Einstellung von Personal, der Beurteilung, Beförderung oder Kündigung von Personal, oder Systeme zur Bonitätsprüfung handelt. Derartige Systeme können in der Hotelbranche durchaus verwendet werden, etwa in der Personalplanung oder zur Bonitätsprüfung von Gästen. In diesen Fällen sind die Anforderungen an den rechtmäßigen Betrieb der KI sehr hoch. So hat der Anbieter, also der Entwickler, der die KI auf dem Markt bereitstellt, zunächst ein Risiko- und Qualitätsmanagementsystem einzurichten, es gelten besondere Qualitätsanforderungen für Test- und Validierungsdaten, die für das Training der KI verwendet werden und eine technische Dokumentation ist zu erstellen. Die KI-Anwendung selbst muss so gestaltet sein, dass sie die Protokollierung von Ereignissen im Zusammenhang mit der Verwendung der KI ermöglichen und es dem Betreiber der KI möglich ist, die KI sicher verwenden zu können. Es muss die Möglichkeit der menschlichen Überwachung der KI bestehen und die KI muss vor fehlerhaften Ausgaben, Ausfällen und Cyberattacken geschützt werden. Zudem bedürfen Hochrisiko-KI-Anwendungen einer EU-Konformitätsbewertung durch eine anerkannte Stelle, der CE-Kennzeichnung sowie der Registrierung in einer EU-weiten Datenbank. 

Doch auch die bloßen Betreiber von Hochrisiko-KI unterliegen eigenen Pflichten bei deren Betrieb: der ordnungsgemäße Betrieb der KI muss sichergestellt und durch geschultes Personal überwacht werden, die Eingabedaten müssen korrekt sein und dem Anwendungszweck der KI entsprechen. Ferner müssen bestimmte Betreiber von KI eine Grundrechte-Folgenabschätzung in Bezug auf die konkrete Anwendungsform der KI vornehmen. Sofern eine KI-Anwendung hingegen kein hohes Risiko beinhaltet, gelten lediglich abgeschwächte Pflichten: im Wesentlichen hat der Anbieter bzw. Betreiber Nutzer darüber zu informieren, dass sie mit einer KI kommunizieren bzw. die ihnen angezeigten Inhalte von einer KI erzeugt wurden.   

Für Large Language Models oder ähnliche KI-Modelle mit allgemeinem Verwendungszweck, die in größere KI-Systeme integriert werden, gelten zusätzliche Pflichten, unabhängig davon, ob das Modell selbst ein hohes Risiko birgt oder nicht. Insbesondere hat der Anbieter solcher Modelle eine hinreichende technische Dokumentation zu erstellen und mit Kunden zu teilen, die das Modell in eine Anwendung integrieren. Ferner muss eine Strategie zur Einhaltung des Urheberrechts im Zusammenhang mit solchen Modellen entwickelt werden. Sofern das KI-Modell im Vergleich zu anderen Modellen besonders innovativ und effektiv ist und daher ein systemisches Risiko für Sicherheit und Grundrechte birgt, sind zusätzliche Maßnahmen zur Vermeidung solcher Risiken zu ergreifen.

Wie können Hoteliers herausfinden, ob ihre eingesetzten KI-Systeme regelkonform sind?

In jedem Fall müssen Hoteliers, auch wenn sie lediglich als Betreiber einer eingekauften KI-Lösung auftreten, ihre eigenen Pflichten unter dem AI Act erfüllen, also im Regelfall zumindest darauf hinweisen, dass Inhalte KI-generiert sind. Um aber den genauen Umfang der sie treffenden Pflichten zu analysieren, ist eine Einschätzung dahingehend erforderlich, ob eine konkrete Anwendung als Hochrisiko-KI gilt oder nicht. Wenn dem so ist, gelten erheblich schwerwiegendere Pflichten, die ein deutlich größeres Maß an Compliance-Maßnahmen erfordern und natürlich auch entsprechende Kosten verursachen.

Hoteliers, die eine KI-Anwendung von einem Drittanbieter einkaufen, sollten ferner darauf achten, dass die jeweiligen Anbieter ihre jeweiligen gesetzlichen Anforderungen erfüllen. Dies ist zwar nicht ausdrücklich gesetzlich vorgeschrieben, bei Verwendung einer KI, die diesen Anforderungen nicht genügt, besteht aber zumindest die Gefahr einer zivilrechtlichen Haftung, sofern die KI nicht wie gewünscht agiert und dabei Schäden entstehen. Insofern ist es in jedem Fall anzuraten, als Betreiber die bereitgestellte Dokumentation des Anbieters genau zu überprüfen. Bei der Verwendung von KI-Systemen mit hohem Risiko sollte auch die EU-Konformitätsbewertung und CE-Kennzeichnung sowie die Registrierung in der Datenbank der EU überprüft werden.

Sofern Hoteliers z.B. ein Large Language Model eines Drittanbieters in eine eigene KI-Anwendung integrieren, gilt es darauf zu achten, dass der Anbieter des Modells seine entsprechenden Pflichten erfüllt, insbesondere wenn es sich um ein Modell mit systemischem Risiko handelt. Hierzu sollte man sich die vom Anbieter zu fertigende Dokumentation vorlegen lassen.

Bei all diesen Pflichten ist es  schwierig, den Überblick zu behalten, gerade wenn das Thema KI nicht in den Kern der Tätigkeiten eines Unternehmens fällt. Insofern ist es  hilfreich, wenn sich bestimmte Vertrauenssiegel und ähnliche Methoden entwickeln, die es Betreibern von KI ermöglichen, festzustellen, ob eine eingekaufte Lösung den gesetzlichen Anforderungen genügt. 

Der AI Act sieht in dieser Hinsicht insbesondere vor, sogenannte Codes of Conduct zuzulassen, die es Anbietern und Betreibern von KI-Anwendungen ermöglichen, sich unter diesen zu zertifizieren, um ein besonderes Maß an Vertrauenswürdigkeit nachzuweisen. Derartige Codes of Conduct müssen natürlich aber zunächst entwickelt und eine entsprechende Überwachungsstruktur geschaffen werden und dann von den zuständigen Aufsichtsbehörden zugelassen werden. Es ist also nicht damit zu rechnen, dass entsprechende Qualitätsnachweise direkt nach Inkrafttreten des AI Act zur Verfügung stehen. Bis dahin wird es den Betreibern der KI selbst unterliegen, sich mit den Anbietern auseinanderzusetzen und abzustimmen, um eine rechtmäßige Nutzung der KI sicherzustellen.

Welche Schritte sollten Unternehmen jetzt unternehmen, um bis 2026 bereit für die neuen KI-Regelungen zu sein?

Zunächst ist jedes Unternehmen, ob in der Hotelbranche oder nicht, gut beraten, rechtzeitig eine Bestandsaufnahme aller verwendeten Anwendungen und Systeme zu erstellen, und ob diese KI-Funktionen beinhalten. Sodann gilt es festzustellen, in welche Risikokategorie die jeweiligen Anwendungen fallen. Gegebenenfalls sollten sich die Unternehmen in diesem Zusammenhang mit ihren Dienstleistern abstimmen, um sicherzustellen, wen welche Pflichten genau treffen und wie deren Einhaltung gemeinsam sichergestellt werden kann. Die Abgrenzung der Verantwortungsbereiche kann bei mehreren Beteiligten schwierig sein und sollte daher kooperativ angegangen werden. 

Neben den Compliance-Fragen, die der AI Act unmittelbar aufwirft, müssen Hotelbetreiber natürlich auch andere Rechtsgebiete beachten, wenn sie KI-Anwendungen verwenden. Insbesondere gilt es natürlich sicherzustellen, dass die vom Nutzer eingegebenen Daten DSGVO-konform verarbeitet werden. Dabei stellt sich regelmäßig die Frage, wo die Eingabedaten eigentlich gespeichert werden, d.h. lokal beim Betreiber oder bei einem Dienstleister in der Cloud und ob diese genau verwendet werden, z.B. zum Training für die Verbesserung der KI in der Zukunft. Auch kann es für den Hotelier problematisch werden, wenn sich herausstellt, dass die Daten, die zum ursprünglichen Training der KI verwendet wurden, unter Verstoß gegen das Urheber- oder Datenschutzrecht erlangt wurden. Das gilt nicht nur dann, wenn der Hotelier eine ganz eigene KI-Anwendung entwickelt hat und somit unmittelbar für die Verwendung der Daten verantwortlich ist, sondern auch wenn eine fertige Lösung oder zumindest ein LLM von einem Dienstleister eingekauft werden. Um dieses Risiko zu minimieren, bieten sich zumindest vertragliche Regelungen mit dem Anbieter der KI oder des LLM an, um sich im Haftungsfall zumindest finanziell schadlos zu halten.

Dr. Thomas Nietsch ist Rechtsanwalt und Partner im Berliner Büro der internationalen Kanzlei K&L Gates LLP. Er berät ein breites Portfolio an Mandanten, von Startups bis zu internationalen Konzernen, in Fragen der Compliance mit Digitalregulierung und bei der Markteinführung neuer digitaler Geschäftsmodelle. Im Vordergrund stehen dabei regelmäßig Fragen des Datenrechts, der KI- und Plattformregulierung, IT-Sicherheit, (Open Source-) Software-Lizenzierung und Vertragsgestaltung im B2B und B2C-Bereich. Thomas Nietsch ist nebenbei Co-Leiter der Arbeitsgruppe für Drittstaatentransfers und Mitglied des Beschwerde-Komitees für den EU Cloud Code of Conduct, dem ersten EU-weiten Verhaltenskodex für Datenschutz in der Cloud-Industrie.