Kan AI reproducere fagdisciplinær stemme?
Et komparativt korpusbaseret studie af GPT4’s evne til at reproducere fagdisciplinær stemme i AI-genereret sprogvidenskabelig prosa.
DOI:
https://doi.org/10.7146/nys.v1i65.143044Nøgleord:
generativ kunstig intelligens, chatbots, tekstkvalitet, fagdisciplinær stemme, korpuslingvistikResumé
Formålet med denne artikel er at afdække, i hvilket omfang generative AI-modeller – med GPT4 som eksempel – er i stand til at reproducere fagdisciplinær stemme i dansksproget akademisk prosa. De nye store sprogmodeller kommer med løfter om at forandre vores skrivepraksisser, herunder også akademisk skrivning, men det er stadig uklart, hvad kvaliteten er af de autogenererede bidrag, ikke mindst når modellerne anvendes på mindre sprog som fx dansk. Vi er særligt interesserede i fænomenet fagdisciplinær stemme, fordi det er et relativt velbeskrevet fænomen, der samtidig kan undersøges kvantitativt gennem analyse af korpusteksters overfladestruktur. Vi fokuserer særligt på tre aspekter af fagdisciplinær stemme, henholdsvis stillingtagen, engagement og fagspecifikt ordforråd og undersøger dette kvantitativt gennem en korpusbaseret komparativ undersøgelse, hvor vi sammenligner et korpus bestående af dansksprogede sprogvidenskabelige artikler med et korpus af AI-genereret akademisk prosa med sprogvidenskabeligt indhold. Analysen viser, at de AI-genererede tekster på nogle områder afviger signifikant fra de autentiske sprogvidenskabelige tekster. For kategorien fagspecifikt ordforråd er forskellene relativt store, og for kategorierne stillingtagen og engagement er forskellene relativt små. I de to sidstnævnte kategorier er forskellene så små, at vi med en vis rimelighed kan sige, at de AI-genererede tekster på disse områder reproducerer fænomenet disciplinær stemme på en måde, der fra et kvantitativt perspektiv er svært at skelne fra det, vi ser i de autentiske tekster.
Referencer
Anderson, N. m.fl. 2023. AI did not write this manuscript, or did it? Can we trick the AI text detector into generated texts? The potential future of ChatGPT and AI in Sports & Exercise Medicine manuscript generation. BMJ Open Sport — Exercise Medicine 9(1). 1–4. DOI: https://doi.org/10.1136/bmjsem-2023-001568.
Baumann, J.F. & M.F. Graves. 2010. What Is Academic Vocabulary? Journal of Adolescent & Adult Literacy. Hoboken: Blackwell Publishing Ltd. 54(1). 4–12. DOI: https://doi.org/10.1598/JAAL.54.1.1.
Bender, E.M. m.fl. 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21), 610–623. DOI: https://doi.org/10.1145/3442188.3445922.
Berthelsen, U.D. 2007. Attitudeadverbialerne i semantisk og pragmatisk perspektiv. MUDS - Møderne om Udforskningen af Dansk Sprog 11. 52–63.
Biber, D. 2006. University language: a corpus-based study of spoken and written registers. Philadelphia: Benjamins.
Biber, D. & S. Conrad. 2009. Register, genre, and style. Cambridge: University Press.
Biber, D. & B. Gray. 2015. Grammatical Complexity in Academic English: Linguistic Change in Writing. Cambridge: Cambridge University Press. DOI: https://doi.org/10.1017/CBO9780511920776.
Blei, D.M., A.Y. Ng & M.I. Jordan. 2003. Latent Dirichlet Allocation. Journal of Machine Learning Research 3. 993–1022.
Carter, M. 2007. Ways of Knowing, Doing, and Writing in the Disciplines. College composition and communication. Urbana: National Council of Teachers of English 58(3). 385–418.
Chatman, S. 1978. Story and discourse: narrative structure in fiction and film. Ithaca: Cornell University Press.
Chihara, L.M. & T.C. Hesterberg. 2019. Mathematical Statistics with Resampling and R. John Wiley & Sons.
Christensen, L.D. & R.Z. Christensen. 2019. Dansk Grammatik. Odense: Syddansk Universitetsforlag.
Clusmann, J. m.fl. 2023. The future landscape of large language models in medicine. Communications Medicine. Nature Publishing Group 3(1). 1–8. DOI: https://doi.org/10.1038/s43856-023-00370-1.
Dergaa, I. m.fl. 2023. From human writing to artificial intelligence generated text: examining the prospects and potential threats of ChatGPT in academic writing. Biology of Sport 40(2). 615–622. DOI: https://doi.org/10.5114/biolsport.2023.125623.
Eke, D.O. 2023. ChatGPT and the rise of generative AI: Threat to academic integrity? Journal of Responsible Technology 13. DOI: https://doi.org/10.1016/j.jrt.2023.100060.
Enevoldsen, K., L. Hansen & K. Nielbo. 2021. DaCy: A unified framework for Danish NLP. Ceur Workshop Proceedings, vol. 2989, 206–216.
Fløttum, K., T. Dahl & T. Kinn. 2006. Academic Voices: Across languages and disciplines. Amsterdam: John Benjamins Publishing Company.
Frye, B.L. 2022. Should Using an AI Text Generator to Produce Academic Writing Be Plagiarism? Fordham Intellectual Property, Media & Entertainment Law Journal.
Ghosh, S. & A. Caliskan. 2023. ChatGPT Perpetuates Gender Bias in Machine Translation and Ignores Non-Gendered Pronouns: Findings across Bengali and Five other Low-Resource Languages. arXiv. DOI: https://doi.org/10.48550/arXiv.2305.10510.
Guinda, C.S. 2012. Proximal Positioning in Students’ Graph Commentaries. K. Hyland & C. Sancho Guinda (red.), Stance and Voice in Written Academic Genres, 166–183. London: Palgrave MacMillan UK.
Grønnum, N. 1998. Fonetik og fonologi: almen og dansk. København: Akademisk Forlag.
Gunser, V.E. m.fl. 2022. The Pure Poet: How Good is the Subjective Credibility and Stylistic Quality of Literary Short Texts Written with an Artificial Intelligence Tool as Compared to Texts Written by Human Authors? Proceedings of the Annual Meeting of the Cognitive Science Society 44. 1744–1750.
Halliday, M.A.K. 1985. An introduction to functional grammar. London: Edward Arnold.
Halliday, M.A.K. & R. Hasan. 1976. Cohesion in English. London: Longman.
Hansen, E. & L. Heltoft. 2019. Grammatik over det danske sprog. København: Det Danske Sprog- og Litteraturselskab.
Harder, P. 2006. Dansk Funktionel Lingvistik. NyS – Nydanske Sprogstudier 34(34– 35). 92-130. DOI: https://doi.org/10.7146/nys.v34i34-35.13459.
Hinton, M. & J.H.M. Wagemans. 2023. How persuasive is AI-generated argumentation? An analysis of the quality of an argumentative text produced by the GPT- 3 AI text generator. Argument & Computation. 14(1). 59–74. DOI: https://doi.org/10.3233/AAC-210026.
Hitsuwari, J. m.fl. 2023. Does human–AI collaboration lead to more creative art? Aesthetic evaluation of human-made and AI-generated haiku poetry. Computers in Human Behavior 139. 107502. DOI: https://doi.org/10.1016/j.chb.2022.107502.
Hyland, K. 2000. Disciplinary discourses: social interactions in academic writing (Applied Linguistics and Language Study). Harlow: Longman, an imprint og Pearson Education.
Hyland, K. 2005. Stance and engagement: a model of interaction in academic discourse. Discourse Studies. 7(2). 173–192.
Hyland, K. 2008. Disciplinary voices: Interactions in research writing. English Text Construction. 1(1). 5–22. DOI: https://doi.org/10.1075/etc.1.1.03hyl.
Hyland, K. 2017. The essential Hyland: studies in applied linguistics. London: Bloomsbury Academic. DOI: https://doi.org/10.5040/9781350037939.
Jensen, C.Z. & E. Sørhaug. 2021. The Perfect Rap Lyrics - AI Generated Rap Lyrics That Are Better Than Lyrics from Existing Popular and Critically Acclaimed Rap Songs. NTNU Master thesis. https://ntnuopen.ntnu.no/ntnu-xmlui/handle/11250/2834977.
Krogh, E. 2012. Literacy og stemme – et spændingsfelt i modersmålsfaglig skrivning. S. Ongstad (red.), Nordisk morsmålsdidaktikk: forskning, felt og fag. Oslo: Novus.
Köbis, N. & L.D. Mossink. 2021. Artificial intelligence versus Maya Angelou: Experimental evidence that people cannot differentiate AI-generated from human- written poetry. Computers in Human Behavior 114. 1–12. DOI: https://doi.org/10.1016/j.chb.2020.106553.
Lauridsen, G.A., J.A. Dalsgaard & L.K.B. Svendsen. 2019. SENTIDA: A New Tool for Sentiment Analysis in Danish. Journal of Language Works - Sprogvidenskabeligt Studentertidsskrift 4(1). 38–53.
MacBeath, J. 2006. Finding a voice, finding self. Educational Review. Routledge 58(2). 195–207. DOI: https://doi.org/10.1080/00131910600584140.
McKinney, W. 2010. Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference 56–61. DOI: https://doi.org/10.25080/Majora-92bf1922-00a.
Nordahl-Hansen, A. & T. Kvernbekk. 2020. Construct Validity in Scientific Representation: A Philosophical Tour. Nordisk tidsskrift for pedagogikk & kritikk 6. 88–99. DOI: https://doi.org/10.23865/ntpk.v6.1704.
Ondelli, S. 2018. Treat Texts as Data but Remember They Are Made of Words: Compiling and Pre-processing Corpora. A. Tuzzi (red.), Tracing the Life Cycle of Ideas in the Humanities and Social Sciences, 133–150. Springer International Publishing. DOI: https://doi.org/10.1007/978-3-319-97064-6_7.
OpenAI. 2023. ChatGPT. https://openai.com/chatgpt. (8 januar, 2024).
Peng, Y. m.fl. 2023. AI-generated text may have a role in evidence-based medicine. Nature Medicine. Nature Publishing Group 29(7). 1593–1594. DOI: https://doi.org/10.1038/s41591-023-02366-9.
Rimmon-Kenan, S. 1983. Narrative fiction: contemporary poetics. Reprint. London: Methuen.
Togeby, O. 2003. Fungerer denne sætning?: funktionel dansk sproglære. København: Gad.
Togeby, O. 2014. Bland blot genrerne - ikke tekstarterne!: om sprog, tekster og samfund. Frederiksberg: Samfundslitteratur.
Van Rossum, G. & F.L. Drake. 2009. Python 3 Reference Manual. Scotts Valley, CA: CreateSpace.
Vaswani, Ashish, m.fl. 2017. Attention is all you need. Advances in neural information processing systems 30. https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html
Wall, B. 1991. The narrator’s voice: the dilemma of children’s fiction. London: MacMillan Press Limited. DOI: https://doi.org/10.1007/978-1-349-21109-8.
Weston, S.J. m.fl. 2023. Selecting the Number and Labels of Topics in Topic Modeling: A Tutorial. Advances in Methods and Practices in Psychological Science, 6(2). 1–13. DOI: https://doi.org/10.1177/25152459231160105.
Downloads
Publiceret
Citation/Eksport
Nummer
Sektion
Licens
Forfatteren/forfatterne og NyS har ophavsret til de artikler og anmeldelser der bringes i tidsskriftet. NyS har ophavsretten til den udgivne version af tidsskriftet. Forfatteren har ophavsretten til sin egen tekst. Forfattere kan arkivere den publicerede artikel på deres institutions forskningsarkiv (Institutional Repository) eller en privat hjemmeside, når forfatteren samtidig linker til artiklen med den officielle DOI.
For artikler publiceret i NyS tillades at læsere kan downloade, kopiere, udskrive, søge eller linke til og citere fra artikler til ethvert lovligt formål. Artikler kan frit deles og linkes til på forsknings- og undervisningsnetværk (så som Blackboard, Moodle, Canvas o.a.). Link foretrækkes fordi det giver oplysning om brug af tidsskriftets artikler, og fordi det anerkender tidsskriftets redaktionelle arbejde. NyS tillader ikke at læsere bruger artikler eller dele af dem i egne artikler uden at citere, eller at læsere på anden vis anvender dem til kommercielle formål.
