Natürlich haben auch wir es im letzten Jahr getan: ausprobiert, wie gut ChatGTP im Schreiben von Artikeln war. Unser Fazit damals fiel gemischt aus. Ja, eine Hausaufgabe zu einem nicht zu aktuellen und schwierigen Thema ist durchaus drin. Da sind die Sorgen mancher Lehrer gerechtfertigt. Für einen Übersichtsartikel zu einem wissenschaftlichen Thema war es unserer Meinung nach schon nicht mehr geeignet. Schön für uns – unser Job bleibt uns noch eine Weile erhalten.
Was damals aber ein mehr als unbehagliches Gefühl zurückgelassen hat, war die Art und Weise, wie ChatGTP mit Literaturhinweisen umging. Die hat es sich nämlich zu einem großen Teil einfach ausgedacht. Kein Scherz: Diese „Referenzen“ waren aus Versatzstücken von real existierenden Autorennamen, Titeln, Journalen usw. zusammengefügt. Auf den ersten Blick fiel es nicht einmal auf, sondern erst bei einer Überprüfung – welche bei einem Wissenschaftsjournalisten ja dazu gehört.
Die gute Nachricht ist, dass künstliche Intelligenz sich tatsächlich weiterentwickelt. Die gleiche Anfrage zum heutigen Zeitpunkt an ChatGTP gestellt wird mit völlig korrekten Referenzen beantwortet. Trotzdem machen solche Fehlläufe der KI darauf aufmerksam, dass wir ihr einen Vertrauensvorschuss geben – der nicht gerechtfertigt sein muss.
Jetzt ist auch eine der im Internet vorhandenen Online-Rechtschreibprüfungsplattformen „auf die KI gekommen“ (rechtschreibpruefung24.de). Dabei soll diese nicht vornehmlich die Grammatikprüfung verbessern, sondern sie liefert Umformulierungsvorschläge. Das sieht dann zum Beispiel so aus:
Original:
Was damals aber ein mehr als unbehagliches Gefühl zurückgelassen hat, war die Weise, wie ChatGTP mit Literaturhinweisen umging. Die hat es sich nämlich zu einem großen Teil einfach ausgedacht. Kein Scherz: Diese „Referenzen“ waren aus Versatzstücken von real existierenden Autorennamen, Titeln, Journalen usw. zusammengefügt. Auf den ersten Blick fiel es nicht einmal auf, sondern erst, wenn die Überprüfung anfing – welche bei einem Wissenschaftsjournalisten ja dazu gehört.
Einfacher:
Damals hat mich besonders gestört, wie ChatGTP mit Literaturhinweisen umgegangen ist. Sie wurden größtenteils einfach erfunden, indem reale Autorennamen, Titel und Journalnamen zusammengesetzt wurden. Zuerst fiel das nicht auf, erst bei genauerer Überprüfung.
Formell:
Was jedoch ein überaus unangenehmes Gefühl hinterließ, war die Vorgehensweise von ChatGTP im Umgang mit Literaturhinweisen. Ein Großteil davon wurde tatsächlich nur konstruiert. Diese ‘Referenzen’ bestanden nämlich aus Fragmenten real existierender Autorennamen, Titel und Zeitschriften. Dies blieb zunächst unbemerkt und wurde erst bei genauerer Prüfung offensichtlich — etwas, was für einen Wissenschaftsjournalisten unerlässlich ist.
Alternativ:
Ein sehr beunruhigendes Gefühl entstand damals durch die Art und Weise, wie ChatGTP mit Literaturhinweisen umging. Tatsächlich wurden sie größtenteils einfach erfunden, indem reale Autorennamen, Titel und Journalnamen zusammengewürfelt wurden. Das fiel zuerst nicht auf; erst bei genauerem Hinsehen — was für einen Wissenschaftsjournalisten wichtig ist — wurde es deutlich.
Unsere Meinung zum Ergebnis
Teilweise gar nicht schlecht, aber der Sinn ist an einigen Stellen leicht verdreht und teilweise fehlen Inhalte. Bei weiteren Tests mit anderen Texten änderte sich sowohl in der Version „Einfacher“ als auch „Alternativ“ der eigentliche Sinn manchmal ganz erheblich.
Fazit: Für komplexe und anspruchsvolle Texte scheint KI momentan ein nettes Hilfsmittel zu sein. Aber bitte ganz genau hinschauen und das Vertrauen in die Black Box in engen Grenzen halten!
P.S. Für unsere Versuche wurden jeweils nur die kostenlosen Versionen getestet.