Wir haben getestet: Wie gut kann KI Texte erstellen?

Natür­lich haben auch wir es im letzten Jahr getan: auspro­biert, wie gut ChatGTP im Schreiben von Arti­keln war. Unser Fazit damals fiel gemischt aus. Ja, eine Haus­auf­gabe zu einem nicht zu aktu­ellen und schwie­rigen Thema ist durchaus drin. Da sind die Sorgen mancher Lehrer gerecht­fer­tigt. Für einen Über­sichts­ar­tikel zu einem wissen­schaft­li­chen Thema war es unserer Meinung nach schon nicht mehr geeignet. Schön für uns – unser Job bleibt uns noch eine Weile erhalten.

Was damals aber ein mehr als unbe­hag­li­ches Gefühl zurück­ge­lassen hat, war die Art und Weise, wie ChatGTP mit Lite­ra­tur­hin­weisen umging. Die hat es sich nämlich zu einem großen Teil einfach ausge­dacht. Kein Scherz: Diese „Refe­renzen“ waren aus Versatz­stü­cken von real exis­tie­renden Autoren­namen, Titeln, Jour­nalen usw. zusam­men­ge­fügt. Auf den ersten Blick fiel es nicht einmal auf, sondern erst bei einer Über­prü­fung – welche bei einem Wissen­schafts­jour­na­listen ja dazu gehört.

Die gute Nach­richt ist, dass künst­liche Intel­li­genz sich tatsäch­lich weiter­ent­wi­ckelt. Die gleiche Anfrage zum heutigen Zeit­punkt an ChatGTP gestellt wird mit völlig korrekten Refe­renzen beant­wortet. Trotzdem machen solche Fehl­läufe der KI darauf aufmerksam, dass wir ihr einen Vertrau­ens­vor­schuss geben – der nicht gerecht­fer­tigt sein muss.

Jetzt ist auch eine der im Internet vorhan­denen Online-Recht­schreib­prü­fungs­platt­formen „auf die KI gekommen“ (rechtschreibpruefung24.de). Dabei soll diese nicht vornehm­lich die Gram­ma­tik­prü­fung verbes­sern, sondern sie liefert Umfor­mu­lie­rungs­vor­schläge. Das sieht dann zum Beispiel so aus:

Original:

Was damals aber ein mehr als unbe­hag­li­ches Gefühl zurück­ge­lassen hat, war die Weise, wie ChatGTP mit Lite­ra­tur­hin­weisen umging. Die hat es sich nämlich zu einem großen Teil einfach ausge­dacht. Kein Scherz: Diese „Refe­renzen“ waren aus Versatz­stü­cken von real exis­tie­renden Autoren­namen, Titeln, Jour­nalen usw. zusam­men­ge­fügt. Auf den ersten Blick fiel es nicht einmal auf, sondern erst, wenn die Über­prü­fung anfing – welche bei einem Wissen­schafts­jour­na­listen ja dazu gehört.

Einfa­cher:

Damals hat mich beson­ders gestört, wie ChatGTP mit Lite­ra­tur­hin­weisen umge­gangen ist. Sie wurden größ­ten­teils einfach erfunden, indem reale Autoren­namen, Titel und Jour­nal­namen zusam­men­ge­setzt wurden. Zuerst fiel das nicht auf, erst bei genauerer Überprüfung.

Formell:

Was jedoch ein überaus unan­ge­nehmes Gefühl hinter­ließ, war die Vorge­hens­weise von ChatGTP im Umgang mit Lite­ra­tur­hin­weisen. Ein Groß­teil davon wurde tatsäch­lich nur konstru­iert. Diese ‘Refe­renzen’ bestanden nämlich aus Frag­menten real exis­tie­render Autoren­namen, Titel und Zeit­schriften. Dies blieb zunächst unbe­merkt und wurde erst bei genauerer Prüfung offen­sicht­lich — etwas, was für einen Wissen­schafts­jour­na­listen uner­läss­lich ist.

Alter­nativ:

Ein sehr beun­ru­hi­gendes Gefühl entstand damals durch die Art und Weise, wie ChatGTP mit Lite­ra­tur­hin­weisen umging. Tatsäch­lich wurden sie größ­ten­teils einfach erfunden, indem reale Autoren­namen, Titel und Jour­nal­namen zusam­men­ge­wür­felt wurden. Das fiel zuerst nicht auf; erst bei genauerem Hinsehen — was für einen Wissen­schafts­jour­na­listen wichtig ist — wurde es deutlich.

Unsere Meinung zum Ergebnis

 Teil­weise gar nicht schlecht, aber der Sinn ist an einigen Stellen leicht verdreht und teil­weise fehlen Inhalte. Bei weiteren Tests mit anderen Texten änderte sich sowohl in der Version „Einfa­cher“ als auch „Alter­nativ“ der eigent­liche Sinn manchmal ganz erheblich.

Fazit: Für komplexe und anspruchs­volle Texte scheint KI momentan ein nettes Hilfs­mittel zu sein. Aber bitte ganz genau hinschauen und das Vertrauen in die Black Box in engen Grenzen halten!

P.S. Für unsere Versuche wurden jeweils nur die kosten­losen Versionen getestet.