Bert Kondruß, 18.05.2024
Der Test
Die ESRS-Anforderung
Für den Test wurde eine Offenlegungspflicht der ESRS zufällig ausgewählt, hier die ESRS E1-5 "Energieverbrauch und Energiemix". Es wurde geprüft, ob auf Basis von ChatGPT eine sinnvolle Zusammenfassung generiert werden kann, um ein einfachen Zugang zur Anforderung zu erhalten.
Die Angabepflicht E1-5 enthält 9 Abschnitte, Nr. 35 bis 43. Dazu kommen 7 Anwendungsanforderungen (Application Requirements) AR 32 bis 38.
Der deutsche Text der E1-5 enthält in dieser Version einen Fehler: Der Satz 37a lautet "Gesamtenergieverbrauch aus erneuerbaren Quellen", er müsste jedoch heißen: "Gesamtenergieverbrauch aus fossilen Quellen" - das kann gerade bei einer Zusammenfassung des Textes relevant sein.
(Quelle: Europäische Kommission)
Prompts
Für die Aufgabe wurden drei Prompts genutzt, Änderungen hervorgehoben.
●
Prompt A: Es geht um Nachhaltigkeitsreporting nach EU CSRD und ESRS. Bitte fasse die wichtigen Anforderungen der Angabepflicht E1-5 in einer Bullet-Liste zusammen.
●
Prompt B: Es geht um Nachhaltigkeitsreporting nach EU CSRD und ESRS. Bitte fasse die wichtigen Anforderungen der Angabepflicht ESRS E1-5 in einer Bullet-Liste zusammen.
●
Prompt C: Es geht um Nachhaltigkeitsreporting nach EU CSRD und ESRS. Bitte fasse die wichtigen Anforderungen der Angabepflicht E1-5 "Energieverbrauch und Energiemix" in einer Bullet-Liste zusammen.
AI-Modelle
Mit den Prompts wurden verschiedene ChatGPT-Modelle und darauf basierende Anwendungen getestet:
- ChatGPT 3.5
- ChatGPT 4
- ChatGPT 4o
- Community-GPT: CSRD Expert (zufällig aus öffentlich nutzbaren CSRD-GPTs ausgewählt),
- Ubirch ESG Assistant
Zum Vergleich wurde ein eigener Community-GPT gebaut: ESRS RAG. Als Quelle für zusätzliches Fachwissen wurden u.a. die ESRS aus der Delegierten Verordnung (EU) 2023/2772 auf Deutsch und Englisch als PDF hochgeladen (RAG = Retrieval Augmented Generation).
Bewertung
Die Ergebnisse wurden subjektiv bewertet:
●
Oberthema: Wurde das große übergeordnete Thema getroffen? Stammt die Antwort aus dem Bereich der ESG-Berichterstattung und EU CSRD oder ist man ganz woanders gelandet, beispielsweise beim Arbeitsschutz? (ja/nein)
●
Thema: Bezieht sich die Antwort auf die ESRS E1-5? (ja/nein)
●
Korrekt: Ist die Antwort inhaltlich richtig bzw. entspricht sie den Erwartungen an eine Zusammenfassung der wichtigsten Punkte? (1 bis 5 Punkte)
●
Vollständig: Wurden alle wichtigen Dinge genannt? (1 bis 5 Punkte)
Wurde das Oberthema oder das Thema nicht getroffen, so wurde die Antwort nicht bewertet.
Ergebnisse
| Modell | ChatGPT 3.5 | ChatGPT 4, 4o, CSRD Expert, Ubrich | ESRS RAG | ||||||
|---|---|---|---|---|---|---|---|---|---|
| Prompt | A | B | C | A | B | C | A | B | C |
| Oberthema | ja | ja | ja | ja | ja | ja | ja | ja | ja |
| Thema | nein | nein | ja | nein | nein | ja | ja | ja | ja |
| Korrekt | 2 | 2 | 4 | 3 | 4 | ||||
| Vollständig | 2 | 3 | 3 | 2 | 3 |
Zahlen: n von 5 Punkten
●
Die schwächsten Ergebnisse liefert ChatGPT 3.5. Das ist aber nicht überraschend, weil dessen Trainingsdaten nur bis September 2021 reichen, während die ersten Entwürfe zur ESRS im November 2022 erschienen sind.
●
ChatGPT 4 liefert leicht bessere Ergebnisse, auch wenn die Trainingsdaten ebenfalls nur bis September 2021 gehen (gpt-4-0613).
●
ChatGPT 4o geht bis Oktober 2023 (gpt-4o-2024-05-13), die Ergebnisse sind jedoch nicht wirklich besser.
●
Ein ähnliches Niveau zeigen die beiden GPTs. Zwar weist CSRD Expert aus, dass es mit mehr als 1000 Artikeln und offiziellen Texten der EFRAG angereichert wurde. Das kommt jedoch bei den hier getesteten Prompts nicht zur Geltung. Möglicherweise entstehen Unschärfen durch die Abfrage auf Deutsch, das kann Gegenstand eines weiteren Tests sein.
●
Der sonst bei GHG-Fragen sehr gut agierende Ubirch ESG Assistant liefert hier ein Niveau wie ChatGPT 4. Möglicherweise ist er nicht speziell auf ESRS-Fragen ausgelegt und fällt damit auf das ChatGPT-Standardwissen zurück.
●
Am besten schneidet der mit einfachsten Mitteln selbst gebaute ESRS RAG Community-GPT ab. Jedoch sind auch hier die Ergebnisse noch weit unter dem, was für dieses Thema an Präzision eigentlich notwendig wäre.
●
In jedem Fall wichtig ist das Prompt Engineering, also die Formulierung der Fragestellung bzw. der Aufgabe. Sie hat in vielen Fällen wesentlichen Einfluss auf das Ergebnis.
●
Eine weitere Schwierigkeit ist das nicht deterministische Verhalten. Auch bei gleichem Prompt wird jedes Mal eine etwas andere Antwort geliefert. Das ist bei regulatorischen Texten eher nicht akzeptabel.
Fazit
Der Test hat untersucht, ob das native ChatGPT, ggf. mit einfachen Zusätzen, eine Unterstützung beim Verständnis der komplexen und bürokratischen ESRS geben kann. Das wurde anhand einer einzelnen Offenlegungspflicht untersucht und kann damit nur Anhaltspunkte liefern. Die Ergebnisse waren nicht zufriedenstellend. Mit speziell darauf trainierten Systemen mag es anders aussehen. Aber alleine mit dem nativen ChatGPT ist eine vielleicht aus anderen Bereichen gewohnte schnelle Nutzung ("Bitte generiere einen Content-Plan für eine Social Media-Kampagne ...") für ESG aktuell noch nicht sinnvoll möglich. Auch mit RAG über Community GPTs fehlt die für Regulatorik notwendige Präzision. Denn am Ende müssen Wirtschaftsprüfer bestätigen, dass der Bericht korrekt ist, und das legt die Latte für alle Schritte dazwischen sehr hoch.
Einzelne Ergebnisse
Chat GPT 3.5
Bei Prompt A wird fröhlich halluziniert. Bemerkenswert ist die Erläuterung für ESRS: European Single Format Reporting Standard - hier ist wohl eine Kreuzung mit ESEF European Single Electronic Format entstanden.
Mit Prompt B wird zumindest nicht mehr versucht, die Abkürzung ESRS zu deuten. Die Inhalte sind jedoch nicht besser als bei A, sie scheinen sogar noch weiter entfernt vom Duktus der ESRS zu sein.
Erst mit Prompt C und dem Zusatz "Energieverbrauch und Energiemix" werden die Ergebnisse besser und erwartete Begriffe wie "Gesamtenergieverbrauch" tauchen auf. Aber es fehlen relevante Themen wie die klimaintensiven Sektoren. Und von Maßnahmen zur Energieeffizienzverbesserung und zur Angabe von Emissionsdaten ist in der E1-5 nichts zu lesen.
ChatGPT 4
ChatGPT 4 scheint sich bei Prompt A mehr auf die EU-Umweltziele zu konzentrieren.
ChatGPT 4o
Diese Version gilt zum Zeitpunkt des Schreibens des Artikels als das leistungsfähigste Modell. Jedoch scheint es trotz neuerer Trainingsdaten zu den ESRS nicht sattelfest zu sein, zumindest nicht bei Prompt A, und ruft zum Risikomanagement auf.
Auch bei Prompt B kommt es trotz explizitem Hinweis auf ESRS E1-5 vom Kurs ab.
Erst mit Prompt C werden die Ergebnisse besser. Wobei auch hier nach Maßnahmen und Ergebnissen gefragt wird, sogar nach Trends und Veränderungen, Einhaltung von gesetzlichen und regulatorischen Vorgaben und Zielen und Zielerreichung - was deutlich über die E1-5 hinausgeht.
ESRS RAG
Der ESRS RAG GPT findet bereits bei Prompt A die richtige Richtung und kommt schneller zum Punkt.
Bei Prompt B wird er gesprächiger. Interessanterweise listet er nun die Nummer der Absätze als Quellen auf. Bemerkenswert, dass er den Inhalt aus Absatz 37 nun nach dem von Absatz 38 aufführt.
Bei Prompt C kommt er richtig in Fahrt, was dann bald keine Zusammenfassung mehr ist. Nun hat er aber auch Inhalte aus den Application Requirements / Anwendungsanforderungen übernommen und führt sie unter "Methodische Anforderungen" auf.
