KI und wissenschaftliches Arbeiten am IfKW

Computer rechnen für uns, sprechen mit uns und sie bieten nun auch an, für uns zu schreiben. Forschende vermelden immer mehr Durchbrüche im Rahmen der „Künstlichen Intelligenz“ (KI), zuletzt insbesondere bei den „Large Language Models“ (LLMs), zu denen etwa LaMDA von Google, LLaMA von Meta oder GPT von OpenAI gehören. In Suchmaschinen wie Bing oder als Chatbots wie ChatGPT sind sie einfach zu handhaben und regen dazu an, diverse Textaufgaben – vielleicht sogar wissenschaftliche Arbeiten – an sie auszulagern.

Im Kern basieren LLMs auf sehr (sehr!) großen Textmengen, etwa der gesamten Wikipedia. Aus diesen Textmengen wird berechnet, wie häufig Wörter gemeinsam auftreten: In Texten, in denen „München“ steht, kommt häufig auch das Wort „Deutschland“ vor – die beiden Wörter haben also etwas gemein. Seltener taucht in Texten mit „München“ hingegen das Wort „Uganda“ auf – es ist also weniger stark mit der bayerischen Landeshauptstadt verbunden. Vereinfacht ausgedrückt werden für LLMs diese Gemeinsamkeiten herangezogen und mithilfe maschinellen Lernens in statistische Modelle überführt, die imstande sind, textuelle Aufforderungen (sogenannte „prompts“) entsprechend dieser Gemeinsamkeiten zu beantworten (vgl. Haim, im Druck, S. 184-192).

Diese Durchbrüche mit KI sind beeindruckend: Gerade, weil LLMs unter anderem auf der Wikipedia basieren, „kennen“ die Modelle große wissenschaftliche Theorien und „wissen“ auch über die urhebenden Forschenden Bescheid. LLMs eignen sich also für erste Themenüberblicke. Sie eignen sich auch zur Übersetzung oder zum Kürzen eingegebener Texte. Besonders stark sind LLMs im Umgang mit Code, um also etwa R- oder SPSS-Code zu generieren oder zu übersetzen. Und auch Formatierungen haben LLMs in den ihnen zugrunde liegenden Textmengen zuhauf gesehen – und können etwa uneinheitliche Literaturverzeichnisse einigermaßen fehlerfrei in APA überführen.

Zu den größten Gefahren im Umgang mit LLMs gehört indes, ihre Antworten als „Wissen“ zu verkennen. LLMs können keine Fakten prüfen. Die ihnen zugrunde liegende künstliche Intelligenz hat nichts mit der genuinen Problemlösekompetenz von Menschen zu tun. Stattdessen generieren LLMs korrekte menschliche Sprache aus der statistischen Modellierung von Wort-Ähnlichkeiten. Das führt dazu, dass LLMs „halluzinieren“, also voller Überzeugung erstunken und erlogene Antworten präsentieren (Bang et al., 2023).

Da das Trainieren der Modelle mitunter Monate (und im Übrigen auch immense Energieressourcen) in Anspruch nimmt, ist der zugrunde liegende Textbestand außerdem veraltet. Die Antworten von LLMs bilden deshalb umso schlechter die „Realität“ ab, je älter die Modelle sind (Lazaridou et al., 2021). Eine „Realität“, die außerdem alle erdenklichen Verzerrungen enthält: So kommt in Texten, auf denen LLMs basieren, beispielsweise der „Professor“ häufiger in Kombination mit „Herr“ als in Kombination mit „Frau“ vor (Weidinger et al., 2022).

Jüngste LLMs begegnen dieser Schwäche bisweilen durch Googeln. Sie generieren also zunächst Suchanfragen, die sie an Suchmaschinen übermitteln, um das zentrale Suchergebnis wiederum in die eigentliche Antwort einzubauen. Damit wirkt die abgebildete „Realität“ mitunter etwas aktueller, was sie aber keinesfalls belastbarer macht. Denn auch diese Generation von LLMs kennt keine Fakten – das kann sie mit ihrer Technologie überhaupt nicht – und dabei hilft auch ein bisschen Googeln nicht.

Für das Verfassen wissenschaftlicher Arbeiten sind Quellenarbeit, Faktenprüfung, logisches Denken und schlüssiges Argumentieren essenziell. LLMs kennen keine Quellen, prüfen keine Fakten, denken nicht und schon gar nicht logisch. Sie haben kein wissenschaftliches Erkenntnisinteresse, sondern sie halluzinieren und verbauen Erfundenes in kohärente natürliche Sprache. Selbst wenn sie es mitunter steif und fest selbst behaupten, können LLMs keine wissenschaftliche Arbeit verfassen. Mehr noch: Das Verfassen wissenschaftlicher Arbeiten mit LLMs ist gemäß der eidesstattlichen Erklärung am IfKW untersagt.

Verwendung finden können LLMs dennoch: Genau wie automatische Rechtschreibprüfung oder algorithmische Paraphrasierung erleichtern LLMs das Übersetzen, Kürzen und Formatieren, mitunter helfen sie ein bisschen bei der Auswertung. Gut eingesetzt können sie mühsame und lästige repetitive Aufgaben während des eigenen Verfassens wissenschaftlicher Arbeiten erleichtern. In dieser Form ist nichts gegen ihren Einsatz einzuwenden.

Bang, Y., Cahyawijaya, S., Lee, N., Dai, W., Su, D., Wilie, B., Lovenia, H., Ji, Z., Yu, T., Chung, W., Do, Q. V., Xu, Y., & Fung, P. (2023). A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity (Version 2). arXiv. https://doi.org/10.48550/ARXIV.2302.04023 

Haim, M. (im Druck). Computational Communication Science. Eine Einführung. Wiesbaden: Springer VS. https://link.springer.com/book/9783658401702 

Lazaridou, A., Kuncoro, A., Gribovskaya, E., Agrawal, D., Liska, A., Terzi, T., Gimenez, M., de Masson d‘Autume, C., Kočisky, T., Ruder, S., Yogatama, D., Cao, K., Young, S., & Blunsom, P. (2021). Mind the Gap: Assessing Temporal Generalization in Neural Language Models. In Advances in Neural Information Processing Systems. https://openreview.net/forum?id=73OmmrCfSyy 

Weidinger, L., Uesato, J., Rauh, M., Griffin, C., Huang, P.-S., Mellor, J., Glaese, A., Cheng, M., Balle, B., Kasirzadeh, A., Biles, C., Brown, S., Kenton, Z., Hawkins, W., Stepleton, T., Birhane, A., Hendricks, L. A., Rimell, L., Isaac, W., … Gabriel, I. (2022). Taxonomy of Risks posed by Language Models. In Proceedings to FAccT ’22: 2022 ACM Conference on Fairness, Accountability, and Transparency. https://doi.org/10.1145/3531146.3533088