KI-Zwischenfälle & KI-Fails

Ein Video, das scheinbar ein notgelandetes Passagierflugzeug auf dem Bahnhof der Stadt Jabalpur zeigt, verbreitete sich viral und löste zunächst Besorgnis aus. Die Flughafen- und Sicherheitsbehörden reagierten mit einer Sicherheitsbesprechung, die Polizei hat mögliche rechtliche Schritte gegen den Urheber angekündigt.

Ein von der US-Einwanderungsbehörde ICE genutztes KI-Tool zur Bewerberauswahl hat fälschlicherweise zahlreiche neue Rekruten als 'erfahren' eingestuft und sie ohne die vorgeschriebene Ausbildung in Außenstellen geschickt. Statt einer achtwöchigen Präsenz-Schulung absolvierten sie nur ein vierwöchiges Online-Programm, obwohl sie keine echte Polizeierfahrung hatten. ICE entdeckte den Fehler erst nach Wochen und führt nun manuelle Überprüfungen durch.

Betrüger nutzen eine KI-generierte Stimme der Tochter, um gegenüber der Mutter einen Verkehrsunfall und eine Festnahme durch die Carabinieri vorzutäuschen.

Der chinesische Tech-Konzern Tencent, u. a. Betreiber von WeChat und einer der größten Internet- und Spielekonzerne der Welt, geriet in die Schlagzeilen, weil sein KI-Chatbot Yuanbao Nutzer ungewöhnlich unhöflich anfuhr. Auf Programmierfragen reagierte die KI mit Beschimpfungen wie 'Hau ab' und 'Kannst du das nicht selbst debuggen?'. Screenshots des Vorfalls verbreiteten sich rasch in sozialen Netzwerken und lösten Diskussionen über die Zuverlässigkeit von KI aus. Tencent entschuldigte sich und sprach von einem seltenen Fehlverhalten des Systems, das untersucht werde.

Der nationale Wetterdienst der USA veröffentlichte eine Windwarnung für Idaho. Die zugehörige Karte zeigte mehrere Orte, die nicht existieren. Die Behörde gab später an, dass die Karte mit Hilfe generativer KI erstellt worden sei.

Die KI-Übersichten von Google lieferten irreführende Hinweise zu Gesundheitsthemen. Deshalb wurden sie teilweise deaktiviert.

Sicherheitsforscher von OX Security entdeckten zwei bösartige Chrome-Erweiterungen, die private Unterhaltungen aus ChatGPT und DeepSeek abgreifen und an einen Server der Angreifer senden. Die Erweiterungen gaben sich als bekannte legitime Tools aus und hatten zusammen über 900.000 Downloads im Chrome Web Store. Eine davon war sogar mit dem offiziellen Featured-Badge von Google versehen.

Über Weihnachten kam es in mehreren Orten in Cornwall (England) zu 15 Graffiti-Sachbeschädigungen. Unbekannte sprühten Parolen wie „AI will replace us all“ und „AI will take our jobs“.

Ein neuseeländisches Medienunternehmen veröffentlichte in regionalen Zeitungen eine Weihnachtsbuchliste für Kinder, die mehrere Buchtitel enthielt, die nicht existierten. Autoren waren mit Büchern genannt, die sie nicht geschrieben hatten. Es wurde spekuliert, ob die falschen Titel mit künstlicher Intelligenz erzeugt sein könnten. Das Medienunternehmen gab an, dass die Liste von einer externen Quelle bezogen wurde. Es zog die Liste zurück und entschuldigte sich für den Fehler.

Nach Druckverlust in der Kabine einer Beechcraft King Air B200 aktivierten die Piloten das Notlandesystem Garmin Autoland. Das System übernahm die Steuerung des Flugzeugs, wählte einen geeigneten Flughafen aus, kommunizierte an die Flugsicherung und brachte das Flugzeug sicher auf die Landebahn. Kein echtes KI-System, aber hochgradig autonomes Verhalten.

Der KI-Bildgenerator Grok auf der Plattform X wurde verstärkt genutzt, um sexualisierte Bilder von realen Personen ohne deren Zustimmung zu erzeugen.

Die Polizei der Stadt Heber, Utah, testete zwei KI-Systeme, um schriftliche Berichte aus Body-Cam-Aufnahmen zu generieren. In einem Bericht wurde behauptet, dass sich ein Polizist in einen Frosch verwandelt habe. Es stellte sich heraus, dass im Hintergrund der Disney-Film 'The Princess and the Frog' (Deutscher Titel: Küss den Frosch) lief und die Inhalte des Films ebenfalls in den Bericht eingingen. Man erkenne daraus die Notwendigkeit, die KI-generierten Berichte zu überprüfen. Aufgrund der immensen Zeitersparnis will man jedoch an der KI-Nutzung festhalten.

In einem Insolvenzverfahren bei der Unternehmensgerichtbank Gent beantragte die Gesellschaft die Wiedereröffnung der Debatten. Das Gericht stellte fest, dass der Antrag auf nicht existente Rechtsprechung Bezug nahm, die mutmaßlich aus unkontrollierter KI-Nutzung stammte, und wertete dieses Vorgehen als unredlich und prozessstörend.

Die Familie einer seit Juni 2025 vermissten Frau erhielt ein angebliches Foto, das die Frau gefesselt in einem Lieferwagen zeige, um Geld für die vorgebliche Freilassung zu erpressen. Vermutlich wurden Vermissten-Poster für die Generierung genutzt.

Das Verwaltungsgericht Hamburg lehnte den Eilantrag eines Schülers der 9. Klasse ab, der gegen die Bewertung seines Reading Log ('Lesetagebuch') geklagt hatte. Er wollte erreichen, dass der Täuschungsvorwurf wegen Nutzung von ChatGPT bis zur Hauptsacheentscheidung zurückgenommen oder nicht weiter kommuniziert wird. Das Gericht hielt die Bewertung als Täuschungsversuch und die Note 'ungenügend' für rechtmäßig und lehnte den einstweiligen Rechtsschutz ab.

In einem interdiktalen Verfahren vor einem Gericht in der argentinischen Provinz Salta hatte ein Beklagter Berufung eingelegt, diese aber nicht fristgerecht begründet. Daraufhin erklärte das Gericht die Berufung für verfallen (desierta). Gleichzeitig stellte die Richterin fest, dass der Schriftsatz schwerwiegende Unstimmigkeiten hat und vermutet Erstellung mit KI. Sie ermahnt den Anwalt: Die Nutzung Künstlicher Intelligenz ist nicht verboten, aber der Anwalt bleibt inhaltlich voll verantwortlich.

Auf Facebook wird von Unbekannten ein Video über einen angeblichen Staatsstreich in Frankreich veröffentlicht. Ein Staatsführer aus Afrika zeigt sich darauf hin besorgt über die Situation in Frankreich.

Ein Kläger reichte vor dem Bezirksgericht Wrocław (Sąd Okręgowy we Wrocławiu) eine Schadensersatzklage ein, deren Klageschrift vollständig mithilfe von ChatGPT erstellt worden war. Die KI verwendete dabei unzutreffende bzw. nicht existierende Rechtsgrundlagen und verfälschte gesetzliche Vorschriften. Das Gericht wies die Klage als unbegründet ab und stellte klar, dass die Verantwortung für den Inhalt der Klageschrift beim Kläger liegt.

Bei einer Tesla-Präsentation in Miami stürzte der humanoide Roboter 'Optimus' zu Boden. Eine auffällige Handbewegung kurz vor dem Fall weckte Spekulationen, dass der Roboter möglicherweise nicht autonom, sondern per Fernsteuerung bewegt wurde.

In dem Verfahren ging es um eine Verfassungsbeschwerde gegen eine Entscheidung des obersten Verwaltungsgerichts. Bei der ersten Prüfung stellte das Verfassungsgericht fest, dass die Beschwerde zahlreiche schwerwiegende Mängel aufwies: Es wurden nicht existierende Gerichtsentscheidungen angeführt oder bestehende Entscheidungen inhaltlich falsch wiedergegeben. Damit wies die Beschwerde typische Anzeichen ungeprüfter KI-generierter Inhalte auf. Nach Auffassung des Gerichts wurde es dadurch in die Irre geführt und der ordnungsgemäße Ablauf des Verfahrens erheblich erschwert. Das Verfassungsgericht verhängte deshalb gegen den Anwalt eine Ordnungsstrafe in Höhe von 25.000 CZK (ca. 1.030 EUR).

Eine gehobene Modemarke hat ein KI-generiertes Video veröffentlicht. Es führt zu breiter Kritik, weil es unnatürlich und wenig hochwertig wirkt.

In einem familienrechtlichen Berufungsverfahren vor dem Federal Circuit and Family Court of Australia (Division 1), Appellate Jurisdiction ging es im Kern um eine Kostenentscheidung, nachdem die Berufung kurz vor der Verhandlung zurückgezogen wurde. Das Gericht stellte fest, dass in den eingereichten Schriftsätzen Künstliche Intelligenz eingesetzt worden war und dabei unrichtige bzw. nicht verlässliche Rechtsprechungsnachweise auftauchten. Weil Umfang und Art der KI-Nutzung unklar blieben und berufsrechtliche Pflichten berührt waren, ordnete das Gericht u. a. Schritte zur Weiterleitung an zuständige Aufsichts- bzw. Beschwerdestellen an und traf kostenbezogene Anordnungen. Zudem thematisierte das Gericht Risiken wie Vertraulichkeit/Geheimhaltung beim Einstellen von Prozessmaterial in KI-Tools.

Der Supreme Court of Victoria befasste sich in einem nachlassrechtlichen Verfahren auch mit der Qualität eingereichter schriftlicher Unterlagen. Eine Rechtsvertreterin hatte KI-Tools entgegen gerichtlicher Leitlinien zur Erstellung von Teilen der Schriftsätze genutzt und dabei wurden nicht existente Fundstellen. Das Gericht stellte klar, dass der Einsatz von KI eine verlässliche Kontrolle der Quellen erfordert.

In einem Beitrag der Sendung 'Agenda' zur US-Einwanderungspolitik wird ein kurzes Video gezeigt, in dem ein New Yorker Polizist einen Mitarbeiter der Einwanderungsbehörde ICE anschreit. Das Video war jedoch KI-generiert.

Beim wichtigsten Literaturpreis Neuseelands, den Ockham New Zealand Book Awards, wurden zwei Bücher bekannter neuseeländischer Autorinnen ausgeschlossen, weil ihre Buchcover mithilfe von Künstlicher Intelligenz erstellt wurden. Grund dafür ist eine neue Regel, die jeglichen Einsatz von KI im gesamten Buchprojekt verbietet, einschließlich Covergestaltung. Der Ausschluss erfolgte unabhängig vom literarischen Inhalt, der vollständig von Menschen verfasst wurde. Die Entscheidung wurde kritisiert, weil Autoren meist keinen Einfluss auf das Cover haben und die Regel erst nach Einreichung der Bücher eingeführt wurde. Nach dieser öffentlichen Kritik und nach weiteren Gesprächen entschieden die Veranstalter schließlich, die betroffenen Titel zum Wettbewerb 2026 zuzulassen.

In einem Eilverfahren vor dem Verwaltungsgericht Köln beantragte ein Beteiligter vorläufige Akteneinsicht in einem kommunalrechtlichen Zusammenhang; der Antrag wurde abgelehnt. Das Gericht stellte dabei fest, dass das Vorbringen mehrfach fehlerhafte und unzutreffende Zitate enthielt. Diese Fehler legten nach Auffassung des Gerichts nahe, dass die Antragsschrift möglicherweise unter Einsatz eines KI-Werkzeugs erstellt und dessen Ergebnisse ungeprüft übernommen wurden. Eine eigenständige rechtliche Bewertung oder Sanktion des KI-Einsatzes nahm das Gericht nicht vor.

In einem Strafverfahren wegen schwerwiegenden sexuellen Missbrauchs in der Provinz Salta legte die Verteidigung ein Rechtsmittel gegen die Entscheidung über die Zulassung zur Hauptverhandlung ein. Das Gericht wies das Rechtsmittel als unzulässig zurück, da diese Entscheidung nach geltendem Recht nicht anfechtbar ist. Zugleich beanstandete der Richter den eingereichten Schriftsatz, weil er deutliche Hinweise auf ungeprüfte KI-Nutzung aufwies, darunter falsche oder nicht einschlägige Gesetzesverweise, fehlerhafte Inhalte sowie nicht ausgefüllte Platzhalter. Der Richter betonte, dass die Nutzung Künstlicher Intelligenz zulässig sei, aber der Anwalt in der Verantwortung bleibe. Der Anwalt wurde aufgefordert, die zitierte Rechtsprechung nachzuweisen, andernfalls werde das Ethiktribunal der Anwaltskammer eingeschaltet.

Im Rahmen einer arbeitsrechtlichen Klage einer ehemaligen Angestellten gegen ihren früheren Arbeitgeber, ein US-amerikanisches Gesundheitssystem, reichte die Anwältin der Klägerin einen Schriftsatz ein, der zahlreiche unzutreffende bzw. nicht existente Gerichtsentscheidungen zitierte. Das Gericht prüfte das Verhalten der Anwältin unter dem Gesichtspunkt anwaltlicher Sorgfalts- und Wahrheitspflichten sowie der Einhaltung lokaler Verfahrensregeln zur Offenlegung eines möglichen KI-Einsatzes. Es kam zu dem Ergebnis, dass die Anwältin gegen ihre beruflichen Sorgfalts- und Prüfpflichten verstoßen hatte. Die ursprüngliche Klage wurde durch Vergleich beigelegt.

Bei einer Ausschreibung für die Wartung von Straßen reichte das Unternehmen mit € 3,7 Mio das niedrigste Angebot ein. Bei der Begründung des niedrigen Preises verwies es auf KI-generierte Steuerrechtsprechungen, die nicht existierten. Darauf hin wurde das Unternehmen durch die nationale Berufungskammer (Krajowa Izba Odwoławcza, KIO) von der Ausschreibung ausgeschlossen.

Bei der Risikobewertung eines Fußballspiels zwischen Maccabi Tel Aviv und Aston Villa im November 2025 berief sich die Polizei auf einen Lagebericht, der ein angebliches früheres Spiel zwischen Maccabi Tel Aviv und West Ham United als Beleg für ein erhöhtes Sicherheitsrisiko anführte. Diese Partie hatte jedoch nie stattgefunden, sondern war das Ergebnis von KI-Halluzinationen. Der Bericht floss in die Entscheidung ein, Maccabi-Fans vom Spiel auszuschließen.

Zwei Männer wollten bei Niedrigwasser über einen Damm zur Insel Sully Island (Bristolkanal) gelangen und anschließend wieder zurücklaufen. Dabei verließen sie sich auf von ChatGPT genannte Tidezeiten. Die KI nannte jedoch eine um ca. zwei Stunden falsche Zeit für die Ebbe, sodass der Damm bei der geplanten Rückkehr bereits überflutet wurde und die beiden Männer auf der Insel festsaßen. Sie wurden von der Küstenwache gerettet.

Ein 15jähriges Mädchen schrieb seiner Mutter, dass ein unbekannter Mann an der Tür geklingelt habe. Das Mädchen schickte der Mutter ein Bild, das den Mann zeigt, wie er auf dem heimischen Sofa liegt. Die Mutter rief darauf hin die Polizei. Es stellte sich heraus, dass das Bild mit KI generiert wurde.

Von einem Mietwagen-Kunden wurden fälschlicherweise $2.200 für bereits vorhandene Schäden verlangt. Offenbar registrierten die KI-Scanner an der Mietwagenstation die Schäden bei der Abholung nicht.

Anthropic, US-Anbieter von KI-Systemen und Entwickler des Modells Claude, hat eine neuartige Cyber-Spionagekampagne aufgedeckt und unterbunden. Dabei wurde mit hoher Wahrscheinlichkeit eine staatlich unterstützte chinesische Gruppe identifiziert. Die Angreifer nutzten das KI-Tool Claude Code, um nahezu autonom Ziele auszuspähen, Schwachstellen zu analysieren und Daten zu stehlen. Sicherheitsmechanismen wurden durch gezielte Manipulationen ('Jailbreaks') umgangen. Der technische Angriff wurde überwiegend von der KI durchgeführt und erforderte nur wenige menschliche Eingriffe. Anthropic sperrte die betroffenen Konten, warnte mögliche Opfer und kooperierte mit den Behörden. Der Vorfall verdeutlicht die Skalierungsmöglichkeiten von KI-basierten Cyberangriffen, aber auch die Wichtigkeit von KI-basierter Abwehr.

In einem Berufungsverfahren aus dem Wohnungseigentumsrecht zur Streitwertfestsetzung einer Beseitigungsklage wurde die Berufung nach einem gerichtlichen Hinweisbeschluss zurückgenommen. Der Klägervertreter hatte zur Stützung seiner Rechtsauffassung mehrere angebliche BGH-Entscheidungen mit wörtlichen Zitaten, Aktenzeichen und Fundstellen angeführt. Das Gericht stellte fest, dass diese Entscheidungen vollständig erfunden waren, und äußerte die Hoffnung, dass es sich um ungeprüft übernommene KI-Halluzinationen gehandelt habe und nicht um bewusst vom Klägervertreter vorgenommene Fälschungen. Zur Überprüfung führten Kammermitglieder eigene Abfragen bei gängigen, auch juristischen, Chatbots durch, die sämtlich die zutreffende Rechtsauffassung wiedergaben. Die ungeprüfte Übernahme halluzinierter Inhalte wertete das Gericht als schweren Verstoß gegen anwaltliche Grundpflichten und als Gefährdung der Rechtspflege.

Bei einer Rede zum Beginn des akademischen Jahres an der Universität von Ghent nutzte die Rektorin halluzinierte Zitate. Der Vorfall wurde später aufgedeckt, in der Folge verzichtete die Rektorin im Januar 2026 auf die Ehrendoktorwürde der Universität Amsterdam.

In dem Fall ging es um einen arbeitsgerichtlichen Rechtsstreit vor dem Gericht in Turin, in dem die Klägerin mehrere Zahlungs- und Abgabenbescheide angriff. Das Gericht stellte fest, dass der Schriftsatz offenbar unter Einsatz von KI erstellt worden war und zahlreiche unzutreffende, zusammenhanglose und fallfremde juristische Zitate enthielt. Diese unkontrollierte KI-Nutzung führte zu einem unsystematischen und rechtlich unbehelflichen Vortrag, der als schwerwiegender Mangel der Prozessführung gewertet wurde. Infolge dessen wurde der Antrag vollständig abgewiesen, der Klägerin die Verfahrenskosten auferlegt und zusätzlich eine Sanktion wegen missbräuchlicher Prozessführung verhängt.

In einem Verfahren vor dem neuseeländischen Employment Court (ein höheres Arbeitsgericht) stellte der sich selbst vertretende Kläger den Antrag, bestimmte Teile des Verfahrens abzutrennen. Der Antrag wurde mangels stichhaltiger Gründe abgelehnt. Zudem stellte Gericht fest, dass der Kläger sich in seinem Antrag auf Gerichtsentscheidungen berief, die nicht existieren. Das Gericht hielt es für wahrscheinlich, dass diese Verweise aus generativer KI stammten. Es betonte, dass auch bei KI-Nutzung die Verantwortung für die Richtigkeit bei der einreichenden Partei liegt.

Kein großer Zwischenfall, sondern Erkenntnisse aus Tausenden Seiten Konversationen: Wie wurde ChatGPT und GenAI in 2 Stadtverwaltungen im US-Bundesstaat Washington genutzt? Wofür und wie wurde es genutzt? Was waren Frustrationen? Wie entwickelten sich die Regeln zur Nutzung?

In einem Schadensersatzprozess hat ein Anwalt Berufung mit nicht auffindbaren Zitaten eingelegt. Er wurde gebeten, die Quellen zu nennen, worauf hin er die gutgläubige Nutzung von KI-Chatbots einräumte. Der Richter betonte, dass die Nutzung von KI den Anwalt nicht von seiner Pflicht entbindet, die Quellen zu prüfen. Er fordert die Anwaltskammer auf, sich mit der Problematik auseinanderzusetzen, die durch unüberlegte Nutzung generativer künstlicher Intelligenz entstanden ist.

In einer simulierten Gerichtsverhandlung in Neuseeland wurde untersucht, wie künstliche Intelligenz als Grundlage für strafrechtliche Beweise funktionieren könnte. Es waren ein reales Gericht und reale Anwälte beteiligt. Die fiktive Anklage basierte auf KI-Analyse von Online-Daten, die Verteidigung kritisierte dabei die undurchsichtige 'Black Box'-Technologie und das Fehlen wissenschaftlicher Überprüfung. Die Staatsanwaltschaft argumentierte, dass Polizei und Justiz moderne Technologien nutzen müssten. Jedoch zeigten sowohl der Richter als auch das Publikum deutliche Zweifel an der Zuverlässigkeit der KI-basierten Analyse. Letztlich hinterließ der Prozess mehr Fragen über die Verwertbarkeit von KI-Beweismitteln als Antworten.

Der Fußballverein FC Carl Zeiss geht mit einem 73-seitigen Schreiben gegen das Urteil eines Sportgerichts in Berufung. Das Schreiben ist offenbar KI-generiert und verweist auf frei erfundene Entscheidungen.

Bei einem Test der US Navy kam es zu einem Zwischenfall mit autonomen Drohnenbooten. Nachdem eines der Fahrzeuge wegen eines Software-Fehlers liegenblieb, kollidierte ein weiteres Drohnenboot mit ihm.

Ein Jurastudent der Universität Amsterdam gab bei einer Gruppenarbeit nicht existente Quellen an, die nach Auffassung des Prüfungsausschusses durch unzulässige KI-Nutzung entstanden waren. Die Arbeit wurde für ungültig erklärt und der Student von Erstprüfungen ausgeschlossen. Der Student wandte sich gegen diese Entscheidung. Der Staatsrat stellte fest, dass der Betrug hinreichend nachgewiesen sei und die Sanktionen rechtmäßig und verhältnismäßig seien. Die Berufung wurde zurückgewiesen, wenngleich formale Begründungsmängel festgestellt wurden.

Ein mexikanisches Bundesgericht hatte die Höhe einer Sicherheitsleistung zu überprüfen, die von einem Bezirksgericht für eine bestimmte Klage festgelegt wurde. Es ging um die Frage, wie der Betrag objektiv und sachgerecht bestimmt werden kann. Zur Unterstützung seiner Entscheidung nutzte das Bundesgericht eine KI-gestützte Berechnung auf nachvollziehbaren Daten wie Immobilienwerten, Inflationsraten und Zinssätzen. Die endgültige Entscheidung blieb jedoch in der Hand des Richters. Aus diesem Fall wurden zwei Thesen abgeleitet: Zum einen wird der Einsatz von KI als unterstützendes Werkzeug in gerichtlichen Verfahren für zulässig erklärt, zum anderen werden grundlegende ethische Standards für eine solche Nutzung festgelegt.

Ein ehemaliger Mitarbeiter der Stadt Santana de Parnaíba legte im Rahmen einer Klage auf Wiedereinstellung ein Rechtsmittel ein. Das Oberlandesgericht des Bundesstaates São Paulo (Tribunal de Justiça do Estado de São Paulo) nahm das Rechtsmittel nicht an, da die erforderliche Gebühr nicht entrichtet wurde. Zusätzlich stellte das Gericht bösgläubige Prozessführung fest und verhängte eine Geldstrafe, weil der Beschwerdeführer nicht existente Gerichtsentscheidungen zitierte, was auf den missbräuchlichen Einsatz künstlicher Intelligenz zurückzuführen sei.

Ein KI-basiertes Vibe-Coding-Tool von Replit hat laut einem Nutzerbericht ohne Erlaubnis seine Produktionsdatenbank gelöscht. Replit reagierte auf den Vorfall und kündigte Sicherheitsverbesserungen an.

Eine Studentin legte am Berufsbildungszentrum ROC/MBO College Noord eine Abschlussprüfung ab, die später wegen angeblichen Einsatzes von ChatGPT für ungültig erklärt wurde. Der Vorwurf beruhte auf einer nicht belegten Beobachtung eines Aufsehers, ohne dass die Studentin zeitnah angehört wurde, sie erfuhr erst Wochen später von dem Vorwurf. Das Verwaltungsgericht Raad van State (Staatsrat der Niederlande) setzte die Entscheidung wegen schwerer Verfahrensmängel vorläufig außer Kraft.

Das Amtsgericht Köln rügte in einem familiengerichtlichen Umgangsverfahren die Verwendung von offenbar mit Künstlicher Intelligenz generierten, frei erfundenen Fundstellen und Zitaten in einem anwaltlichen Schriftsatz. Es wies darauf hin, dass es einen Verstoß gegen die Bundesrechtsanwaltsordnung (BRAO) darstellen könne.

Die Suprema Corte de Justicia de la Nación (SCJN) entschied, dass ein ausschließlich durch künstliche Intelligenz erzeugtes Werk nicht urheberrechtlich geschützt werden kann. Anlass war die Ablehnung der Registrierung eines KI-erstellten Avatars wegen fehlender menschlicher Schöpfung. Das Gericht stellte klar, dass das mexikanische Urheberrecht Autorenschaft an menschliche Kreativität knüpft und KI nicht als Urheberin anerkennt. Das Urteil gilt formal nur für den konkreten Fall, hat aber grundsätzliche Bedeutung für die Einordnung KI-generierter Werke in Mexiko.

Beim Test eines autonomen maritimen Drohnenfahrzeugs der US Navy kam es zu einem Unfall, als das aus dem Hafen geschleppte Drohnenfahrzeug unerwartet startete und ein Begleitboot zum Kentern brachte. Der Kapitän des Begleitboots musste aus dem Wasser gerettet werden.

Ein Unbekannter hatte sich auf dem Messenger Signal als US-Außenminister Marco Rubio angemeldet und mehrere hochrangige Personen kontaktiert. Um Vertrauen zu gewinnen, nutzte der Täter KI-generierte Sprachnachrichten.

Das Ministerium für Gesundheit und Soziales der kanadischen Provinz Newfoundland and Labrador beauftragte für $ 1,6 Mio das Unternehmen Deloitte mit der Erstellung eines Plans zur Stärkung der Arbeitskräfte im Gesundheitswesen. Der Plan verweist auf 4 Quellen, die nicht existieren und die KI-Generierung vermuten lassen.

Die Social-Media-Kanäle der Stadt Mailand verbreiten eine Stellenausschreibung des Italienischen Nationalen Olympischen Komitees. In der Anzeige wird ein KI-generiertes Bild verwendet, das rund 20 Menschen zeigt, deren Erscheinung leicht monströs verfremdet ist.

In einem Beitrag über den dänischen Schriftsteller Harald Voetmann veröffentlichte die Zeitung Politiken eine KI-generierte Faktenbox, die mehrere Fehler enthielt. Die Zeitung bedauerte das Versehen und gab als Ursache das Testen neuer KI-basierter redaktioneller Werkzeuge an, ohne die Ergebnisse zu überprüfen.

Der MAHA-Bericht der US-Regierung enthält Quellen, die nicht existieren. Es gibt Vermutungen, dass sie von KI generiert wurden. Später wurden die Quellen entfernt.

Eine Zeitung aus Chicago hat eine Liste mit 15 Buchempfehlungen herausgegeben, von denen mindestens 10 durch die KI erfunden waren.

Ein Anwalt beantragte beim Gericht, ein von der Polizei beschlagnahmtes Mobiltelefon an den Angeklagten zurückzugeben. Die Polizei legte unter Berufung auf zwei Präzedenzfälle Widerspruch ein. Später stellte sich heraus, dass keiner dieser Fälle existierte; beide waren von einem KI-System erfunden worden.

In einem Verfahren vor dem OLG Celle ging es um Zahlungsansprüche aus einem langfristigen Coaching- bzw. Beratungsvertrag und um die Frage, ob dieser als Dienst höherer Art (§ 627 BGB) einzuordnen ist. Im Berufungsverfahren spielten unzutreffende bzw. unscharfe rechtliche Zitate und Einordnungen eine Rolle, die in Struktur und Inhalt auf KI-generierte Fehlzitate hindeuteten. Trotz dieser Fehlzitate entschied das Gericht zugunsten der Beklagten, da der klägerische Vortrag prozessual nicht schlüssig war.

Bei der Vertretung eines Obdachlosen zitiert eine Junior-Anwältin halluzinierte Rechtsfälle.

Das neuseeländische Employment Court, ein höheres Arbeitsgericht, behandelte eine prozessuale Anfrage einer Klägerin zur Verlängerung einer Zahlungsfrist sowie zur Zulassung weiterer Unterlagen. Dabei wies das Gericht darauf hin, dass eine von der Klägerin zitierte frühere Gerichtsentscheidung nicht existierte. Es stellte klar, dass dies offenbar auf die unkritische Nutzung generativer KI zurückzuführen war, und mahnte, KI-generierte Inhalte vor der Verwendung in Gerichtsverfahren sorgfältig zu überprüfen.

Der Vorschlag für eine neue Kindergarten- und Schulstruktur enthielt 7 Quellen, die von ChatGPT frei erfunden waren. Eine große Wirtschaftsprüfungsagentur wurde beauftragt, den Vorfall zu untersuchen, Kosten 1,2 Millionen norwegische Kronen, ca. € 101.000. Der Ergebnisbericht wurde veröffentlicht und nennt mehrere Ursachen, u.a. dass die Verwaltung nicht auf den Einsatz von KI vorbereitet war. Die halluzinierten Quellen haben jedoch keinen Einfluss auf das Ergebnis der Strukturreform gehabt, da die Grundzüge bereits 2021 beschlossen wurden.

Die KI von Google hat in Neuseeland wiederholt die gerichtliche Unterdrückung von Namen verletzt. In Such- und KI-Antwortfunktionen wurden die Namen von Personen genannt, für die ein Identitätsverbot galt.

Betrüger locken Führungskräfte des größten norwegischen Finanzdienstleister-Gruppe in eine Videokonferenz. Dort gibt ein Deepfake der Chefin die Anweisung, fast 24 Millionen Norwegische Kronen auf ein Konto von Betrügern zu leisten. Der Betrugsversuch wurde jedoch bemerkt.

Der Chatbot Lucie musste nach 3 Tagen abgeschaltet werden. Die im Vergleich zu Systemen wie ChatGPT engen Systemgrenzen wurden nicht ausreichend kommuniziert, was zu zahlreichen belustigten Kommentaren über falsche Antworten führte.

Der Betreiber eines Webshops für Körperscans berichtet über aggressives Webcrawling durch OpenAI, bei dem in kurzer Zeit umfangreiche Daten heruntergeladen wurden. Dadurch wurde der Webshop zeitweise lahmgelegt und die Betriebskosten stiegen deutlich an.

Betrüger nutzten ausgefeiltes KI-gestütztes Social Engineering, um eine Kommunalverwaltung zur Änderung der Kontakt- und Kontodaten eines Lieferanten zu veranlassen. In der Folge flossen 2,3 Millionen Australische Dollar (ca. 1,3 Millionen Euros) zu den Kriminellen, wovon ca. 600.000 AUD zurückgewonnen werden konnten.

Die Universität nutzte eine Software zum Aufdecken von KI-generierten Inhalten und beschuldigte ca. 6.000 Studenten der Täuschung. In vielen Fällen erwiesen sich die Vorwürfe als haltlos und die Nutzung der Software wurde im März 2025 eingestellt.

Das Hochschulmagazin Khrono hat die Zahlen von 19 staatlichen Universitäten und Hochschulen Norwegens für das Jahr 2024 zusammengeführt und deckt damit fast alle entsprechenden Institutionen ab. Insgesamt gab es 145 Verdachtsfälle.

Das neuseeländische Berufungsgericht behandelte einen komplexen internationalen Zivilstreit über Betrugsvorwürfe sowie die Anerkennung und Durchsetzung ausländischer Gerichtsurteile. Dabei reichte der sich selbst vertretende Kläger Schriftsätze ein, die offenbar mit KI erstellt wurden und die auf fiktive Gerichtsentscheidungen zitierten. Das Gericht betonte, dass auch beim Einsatz von KI die Pflicht zu einer sorgfältigen rechtlichen Prüfung fortbesteht und fehlerhafte KI-Inhalte die Glaubwürdigkeit der Partei erheblich beeinträchtigen können.

Bei einer öffentlichen Sitzung des Austin City Council wurde während der Redner-Phase ein Anruf zugelassen, in rassistische und hetzerische Aussagen gemacht wurden. Der Anruf wurde offenbar mit einer KI erstellt. Die Stadtverwaltung leitete eine Untersuchung ein.

Die Deutsche Zentrale für Tourismus startet ein Projekt mit 'KI-Influencerin' und einem Chatbot, das aus verschiedenen Gründen zunächst heftig kritisiert wird.

Auf einem der Bilder ist ein lebloser Körper auf einem Spielplatz zu sehen, außerdem gibt es schwebende Objekte und Menschen mit zu vielen Gliedmaßen.

In einem Verfahren in der spanischen Provinz Navarra zitierte ein Anwalt fälschlich aus dem kolumbianischen Strafrecht und stellte dies als spanische Rechtsprechung dar. Das Gericht eröffnete daraufhin ein separates Verfahren, um zu prüfen, ob Prozessmissbrauch oder mangelnde prozessuale Redlichkeit vorlag (Art. 247 Ley de Enjuiciamiento Civil, LEC). Der Anwalt räumte ein, für die Ausarbeitung ChatGPT-3 genutzt zu haben. Das Gericht kommt zu dem Schluss, dass der unkritische Einsatz von KI grundsätzlich Prozessmissbrauch darstellen kann. Im konkreten Fall wurde jedoch von einer Sanktion abgesehen, weil die Problematik neu war, der Fehler unverzüglich eingeräumt wurde und kein Vorsatz vorlag.

Ein Reporter einer Zeitung aus der Stadt Cody, Wyoming, nutzte für seine Artikel generative KI. Dabei entstanden auch halluzinierte Zitate von betroffenen Personen. Der Fall wurde von einer konkurrierenden Zeitung aufgedeckt, der Reporter trat darauf hin ab.

Für die Zeit von August 2023 bis Juli 2024 hat die norwegische Hochschulzeitung Khrono die Fälle von 17 staatlichen Universitäten und Hochschulen zusammengetragen.

Die Polizei nahm einen Teilnehmer am Hochschul-Zulassungstest 'Temel Yeterlilik Testi' (TYT) fest, der mit Hilfe von KI täuschen wollte. Er nutzte dazu eine als Hemdknopf getarnte Kamera, einen in der Schuhsohle versteckten Router und einen Ohrhörer, um sich die 120 Fragen beantworten zu lassen.

In einem Streit zweier Hausbesitzer nutzt ein Richter des Bezirksgerichts Gelderland ChatGPT, um Informationen rund um die Nutzung von Solarpanelen zu recherchieren. Im Urteil wird ChatGPT als Quelle ausgewiesen, was mediale Aufmerksamkeit erzeugt.

Das Verwaltungsgericht München behandelt in einem Eilverfahren den Antrag eines Bewerbers zur vorläufigen Zulassung zu einem Masterstudiengang 'Management and Technology' an der Technischen Universität München, nachdem er im Zulassungsverfahren abgelehnt worden war. Die Universität hatte den Bewerber unter anderem damit abgewiesen, dass sein eingereichtes Essay gegen die Regeln guter wissenschaftlicher Praxis verstoßen haben soll, weil es teilweise mit unerlaubter Hilfe von KI-Tools erstellt worden sei. Das Gericht lehnte den Eilantrag ab, weil kein überzeugender Anspruch auf Zulassung glaubhaft gemacht wurde.

In einem Supermarkt wurde eine Māori-Frau fälschlicherweise des Geschäfts verwiesen, sie fühlte sich deshalb diskriminiert. Die Supermarktkette testete in 25 Geschäften ein Gesichtserkennungssystem, um Personen zu identifizieren, die nach vorherigen Diebstählen mit einem Hausverbot belegt sind. Der Supermarkt entschuldigte sich für den Fehler und kündigte an, den Vorfall der Datenschutzbehörde zu melden.

Ein humanoider Roboter soll eine Reporterin während eines Interviews unsittlich berührt haben.

Ein Open-Access-Fachjournal im Bereich Zell- und Entwicklungsbiologie veröffentlichte einen Artikel über die Rolle spermatogonialer Stammzellen für die Spermienbildung und den Einfluss des JAK/STAT-Signalwegs. Illustriert wurde der Artikel u.a. mit dem KI-generierten Bild einer Ratte mit übergroßem Penis und unsinnigen Beschriftungen. Die Veröffentlichung wurde nach kurzer Zeit zurückgezogen.

Im Rahmen einer Schadensersatzklage in Höhe von 90 Mio Pfund stellt der Kläger diverse halluzinierte Fälle zusammen, die sein Rechtsanwalt ungeprüft in den Schriftsatz übernimmt.

Ein Benutzer bringt den Chatbot eines Paketdienstes dazu, Gedichte zu schreiben und das eigene Unternehmen zu diskreditieren. Der Benutzer war frustriert, weil er über den Chatbot keine Auskunft zu seinem Paket bekam.

Die Rechtsanwältin gab an, dass sie nicht wusste, dass KI-ChatBots falsche Antworten geben könnten. Sie wurde gerügt und ihr wurden die Kosten der Gegenseite auferlegt, die Halluzinationen zu erkennen.

Die im November 2023 zur Wiederwahl anstehende Sheriff (Frau) von Philadelphia (u.a. verantwortlich für die Sicherheit der Gerichte und für Gefangenentransporte) führt auf ihrer Webseite 22 Erfolgsgeschichten an, mit Verweisen auf entsprechende Medienberichte. Im Februar 2024 stellte sich heraus, dass die Geschichten und die Medienberichte von einem externen Berater per ChatGPT generiert wurden und halluziniert waren.

Das Verwaltungsgericht München befasst sich mit dem Antrag eines Studienbewerbers auf vorläufige Zulassung zu einem Masterstudiengang nach Ablehnung seiner Bewerbung. Diese Ablehnung beruhte darauf, dass der Bewerber das geforderte Essay unter Einsatz künstlicher Intelligenz erstellt hatte, was das Gericht als Täuschung im Bewerbungsverfahren wertete und den Antrag auf einstweiligen Rechtsschutz ablehnte.

In der brasilianischen Stadt Porto Alegre verabschiedete der Stadtrat eine Verordnung, die es der städtischen Wasserbehörde untersagt, den Eigentümern die Kosten für einen neuen Wasserzähler nach Diebstahl in Rechnung zu stellen. Zusätzlich werden Fristen für den Austausch gestohlener Zähler festgelegt. Der Stadtrat nahm eine entsprechende Vorlage einstimmig an, jedoch ohne zu wissen, dass der Text vollständig von ChatGPT generiert wurde. Der hier federführende Stadtrat machte die Quelle erst nach der Verabschiedung öffentlich.

Außergewöhnliche Zugriffe beeinträchten die Nutzung von ChatGPT und der API.

Bei einer parlamentarischen Untersuchung zur Verantwortung und Ethik großer Beratungs- und Wirtschaftsprüfungsunternehmen reichen australische Wissenschaftler eine Stellungnahme ein, die mehrere erfundene Anschuldigungen über Fehlverhalten enthielt. Die Akademiker entschuldigten sich später dafür und erklärten, dass die Fehler unbeabsichtigt auf die Nutzung von Google Bard zurückzuführen seien.

Das Hochschulmagazin Khrono trug Daten von 13 norwegischen Bildungseinrichtungen zusammen. Insgesamt gab es 16 Verdachtsfälle, davon wurden 3 Studenten suspendiert.

Ein Bot der neuseeländischen Supermarktkette Pak'nSave generiert Rezepte für Chlorgas und andere giftige Mahlzeiten.

Samsung reagiert damit auf einen Vorfall, bei dem sensitiver interner Quellcode zu ChatGPT hochgeladen wurde.

Bei einer Schadensersatzklage gegen eine Fluggesellschaft reichen zwei Rechtsanwälte einen Schriftsatz ein, der mehrere von ChatGPT erfundene Präzedenzfälle enthält. Sie erklären 'I declare under penalty of perjury that the foregoing is true and correct.' Nach dem Aufdecken werden sie zu einer Zahlung von $5.000 verurteilt.

Die Abteilung für Equity, Diversity und Inclusion des Peabody College of Education and Human Development der Vanderbilt University versandte am 16. Februar 2023 eine E-Mail als Reaktion auf eine Schießerei an der Michigan State University. Die Nachricht war ausdrücklich als mit ChatGPT formuliert ausgewiesen. Die Nutzung von ChatGPT in dieser tragischen Situation löste eine Kontroverse aus, in deren Folge sich die stellvertretende Dekanin entschuldigte.

Die Google-KI nennt fälschlicherweise allererste Aufnahmen eines Exoplaneten als Erfolg des James Webb Space Telescope.

Der Chatbot gibt Auskunft, dass ein Trauer-Rabatt auch nachträglich beantragt werden kann. Die Fluggesellschaft verweigert das, mit dem Hinweis, dass der Chatbot eine eigene Legaleinheit sei. Ein Gericht stellt jedoch fest, dass sich die Fluggesellschaft die Auskünfte des Chatbots zurechnen lassen und Entschädigung leisten muss.

Ein Mann wurde auf dem Gelände von Windsor Castle festgenommen, der mit einer Armbrust die englische Queen töten wollte. Er wurde durch einen KI-Chatbot zu dieser Tat ermutigt.

Das KI-gesteuerte Schiff 'Mayflower' war kurz nach dem Start zu einer historischen Atlantik-Kreuzung wegen technischer Probleme zur Umkehr gezwungen. Ungefähr 350 Meilen vor der Küste Englands gab es auf dem autonomen Forschungsschiff einen mechanischen Defekt, den die Bord-KI nicht selbst als Notlage erkannte. Die Mission wurde zunächst abgebrochen. Bei einem weiteren Versuch gelang die Fahrt über den Atlantik und das Boot erreichte nach fünfwöchiger Fahrt im Juni 2022 den Hafen von Halifax, Kanada.

Die schwedische Polizei setzte in den Jahren 2019 und 2020 mit Clearview AI eine Anwendung zur Gesichtserkennung ein. Die Nutzung wurde später als rechtswidrig eingestuft und die Polizeibehörde musste eine Strafe zahlen.

Bei einem Terroranschlag auf zwei Moscheen in Neuseeland mit 51 Toten übertrug der Täter seine Tat per Livestream auf Facebook. Facebook gab später an, KI zu nutzen, um gewalttätige Videos zu erkennen, jedoch schlug die KI in diesem Fall nicht an. Es sei schwierig, die KI zu trainieren, weil es zum Glück an Trainingsdaten mangelt. Außerdem sei es schwierig, echte Vorfälle von Videospielen zu unterscheiden. Deshalb bleiben auch künftig Menschen wichtig, die solche Vorfälle melden und Menschen, die sie sichten.

Am 18. März 2018 wurde eine Fußgängerin in Tempe, Arizona, von einem autonomen Testfahrzeug erfasst. Die Frau überquerte nachts die Straße und schob dabei ein Fahrrad, während das Fahrzeug mit ca. 70 km/h unterwegs war. Zwar erkannte das System die Person mehrere Sekunden vor dem Aufprall, klassifizierte sie jedoch nicht korrekt und leitete keine Notbremsung ein. Die Sicherheitsfahrerin war abgelenkt und griff erst unmittelbar vor dem Aufprall ein; die Fußgängerin kam bei dem Unfall ums Leben.

Aufgrund einer fehlerhaften Gleisbesetztmeldung fuhr ein im Automatikmodus betriebener Zug auf einen vorausfahrenden, haltenden Zug auf. Es gab 9 Tote und zahlreiche Verletzte.