På sporet af chatbottens sproglige fingeraftryk
En sproglig ophavsanalyse af tekster skrevet af danskstuderende og ChatGPT
DOI:
https://doi.org/10.7146/nys.v1i65.142936Nøgleord:
chatbotter, ChatGPT, kunstig intelligens, sproglig ophavsanalyseResumé
Chatbotterne har for alvor meldt deres ankomst i uddannelsessystemet og skaber lige nu muligheder men også udfordringer. Et særligt presserende problem er, at der ikke findes nogen fuldt pålidelig metode til at spore, om en tekst er skrevet af en chatbot. Det betyder på den ene side, at studerende kan bruge chatbotter til at skrive opgaver, uden at det kan opdages, og på den anden side, at studerende kan risikere at blive mistænkt for at have brugt chatbotter, selvom det ikke er tilfældet. I dette studie bidrager vi til den aktuelle forskning i chatbotters sproglige særtræk ved at undersøge, om det er muligt at skelne sprogligt mellem tekster skrevet af danskstuderende og ChatGPT. Resultaterne viser, at der generelt set er visse forskelle på de studerendes og chatbottens skrivestil, men samtidig, at det ved hjælp af supplerende prompts er muligt at sløre chatbottens sproglige fingeraftryk. Dette understreger vanskeligheden ved at spore tekster skrevet af kunstig intelligens. Afslutningsvis diskuterer vi betydningen af dette for de danske uddannelsesinstitutioner.
Referencer
Aarhus Universitet. 2023. Kend reglerne, når du skal til eksamen. https://studerende.au.dk/proever/eksamenssnyd/kend-reglerne-naar-du-skal-til-eksamen (tilgået 30.12.2023).
Akademikerbladet. 2023. Hver 10. studerende har snydt med ChatGPT: ”Man kan ikke forbyde det”. Akademikerbladet, 30. juni, 2023. https://dm.dk/akademikerbladet/aktuelt/2023/juni/hver-10-studerende-har-snydt-med-chatgpt-mankan-ikke-forbyde-det/ (tilgået 30.12.2023).
AlAfnan, M.A. & S.F. MohdZuki. 2023. Do Artificial Intelligence Chatbots Have a Writing Style? An Investigation into the Stylistic Features of ChatGPT-4. Journal of Artificial Intelligence and Technology 23. 85-94. DOI:https://doi.org/10.37965/jait.2023.0267
Anthony, L. 2023. AntConc (version 4.2.3) [computersoftware]. Tokyo, Japan: Waseda University.
Biber, D. 2006. University language: A corpus-based study of spoken and written registers. Amsterdam: John Benjamins.
Blom, J.N., M. Rathje, B.L.F. Jakobsen, A. Holsting, K.R. Hansen, J.T. Svendsen & A.V. Lindø 2017. Linguistic Deviations in the Written Academic Register of Danish University Students. Oslo Studies in Language 9(3).169-190.
Børne- og Undervisningsministeriet. 2023a. Brug af digitale hjælpemidler og kunstig intelligens ved folkeskolens prøver. https://www.uvm.dk/folkeskolen/folkeskolens-proever/proeveafholdelse/brug-af-digitale-hjaelpemidler-og-kunstig-intelligens-ved-folkeskolens-proever
Børne- og Undervisningsministeriet. 2023b. Ekspertgruppen om ChatGPT og andre digitale hjælpemidlers foreløbige anbefalinger. https://www.uvm.dk/-/media/filer/uvm/aktuelt/pdf23/dec/231217-ekspertgruppens-foreloebige-anbefalinger-chatgpt.pdf
Cai, Z.G., D.A. Haslett, X. Duan, S.Wang & M.J. Pickering. 2023. Does chatgpt resemble humans in language use? arXiv preprint arXiv:2303.08014.
Chaka, C. 2023. Detecting AI content in responses generated by ChatGPT, YouChat, and Chatsonic: The case of five AI content detection tools. Journal of Applied Learning and Teaching 6(2). 1–11. DOI: https://doi.org/10.37074/jalt.2023.6.2.12
Christensen, T. K. 2017. Ordet fanger. Retslingvistik i en dansk kontekst. NyS, Nydanske Sprogstudier 1(52-53). 169–206. DOI: https://doi.org/10.7146/nys.v1i52-53.26334
Desaire, H., A.E. Chua, M. Isom, R. Jarosova & D. Hua. 2023. Distinguishing academic science writing from humans of ChatGPT with over 99% accuracy using off-the-shelf machine learning tools. Cell Reports Physical Science 4(11). DOI: https://doi.org/10.1016/j.xcrp.2023.101672
Elkhatat, A.M., K. Elsaid & S. Almeer. 2023. Evaluating the efficacy of AI content detection tools in differentiating between human and AI-generated text. International Journal for Educational Integrity 19(17). https://doi.org/10.1007/s40979-023-00140-5
Fergus, S., M. Botha & M. Ostovar. 2023. Evaluating Academic Answers Generated Using ChatGPT, Journal of Chemical Education 100(4). 1672−1675. DOI: https://doi.org/10.1021/acs.jchemed.3c00087
Gennrich, T. & L. Dison. 2018. Voice matters: Students’ struggle to find voice. Reading & Writing, 9. DOI: https://doi.org/10.4102/rw.v9i1.173
Grieve, J. 2023. Register variation explains stylometric authorship analysis. Corpus Linguistics and Linguistic Theory 19(1). 47-77. DOI: https://doi.org/10.1515/cllt-2022-0040
Herbold, S., A. Hautli-Janisz, U. Heuer, Z. Kikteva & A. Trautsch. 2023. A large-scale comparison of human-written versus ChatGPT-generated essays, Scientific Reports 13, 18617, DOI: https://doi.org/10.1038/s41598-023-45644-9
Hyland, K. 2004. Stance and Voice in Written Academic Genres. K. Hyland & C.S. Guinda (red.) Stance and Voice in Written Academic Genres. Palgrave Macmillan, 134-150.
Hyland, K. 2005. Metadiscourse. London: Continuum.
Hyland, K. 2012. Undergraduate understandings: Stance and voice in final year reports. K. Hyland & C.S. Guinda (red.) Stance and Voice in Written Academic Genres. Palgrave Macmillan, 134-150.
Hyland, K., & P. Tse. 2004. Metadiscourse in Academic Writing A Reappraisal. Applied Linguistics, 25, 156-177.
Information. 2018. Flere tages i plagiat: Mange studerende ser ikke afskrift som snyd, 12. november, 2018.
Khalil, M., & E. Er. 2023. Will ChatGPT Get You Caught? Rethinking of Plagiarism Detection. P. Zaphiris, & A. Ioannou, (red.) Learning and Collaboration Technologies. HCII 2023. Lecture Notes in Computer Science, vol. 14040. 475-487. DOI: https://doi.org/10.1007/978-3-031-34411-4_32
Liang, W., M. Yuksekgonul, Y. Mao, E. Wu & J. Zou. 2023. GPT detectors are biased against non-native English writers. Patterns 4. DOI: https://doi.org/10.1016/j.patter.2023.100779
Lingard, L. 2023. Writing with ChatGPT: An Illustration of its Capacity, Limitations & Implications for Academic Writers. Perspectives on Medidcal Education, 12(1). 261-270. DOI: https://doi.org/10.5334/pme.1072
Løj, M., & N.E. Wille. 1985. Kan vi undvære passiv? eller: Kan passiv virkelig undværes? En undersøgelse af passivformernes grammatik, stilistik og pragmatik. NyS – Nydanske Sprogstudier 15. 5-42. DOI: https://doi.org/10.7146/nys.v15i15.13333
Muñoz-Ortiz, A., C. Gómez-Rodríguez & D. Vilares. 2023. Contrasting Linguistic Patterns in Human and LLM-Generated Text. arXiv preprint arXiv: 2308.09067. DOI: https://doi.org/10.48550/arXiv.2308.09067
OpenAI. 2023. ChatGPT, version 4.0. https://openai.com/ (tilgået 30.12.2023).
Otterbacher, J. (2023). Why technical solutions for detecting AI-generated content in research and education are insufficient. Patterns 4(7). DOI: https://doi.org/10.1016/j.patter.2023.100796
Ouyang, S., J.M. Zhang, M. Harman & M. Wang. 2023. LLM is Like a Box of Chocolates: the Non-determinism of ChatGPT in Code Generation. arXiv prnote arXiv:2308.02828.
Perkins, M., J. Roe, D. Postma, J. McGaughran & D. Hickerson 2023. Game of Tones: Faculty detection of GPT-4 generated content in university assessments. arXiv preprint arXiv:2305.18081. DOI: https://doi.org/10.48550/arXiv.2305.18081
Rathje, M. 2018. Afvigelser fra retskrivningsnormen i universitetsopgaver. Y. Goldshtein, I.S. Hansen & T.T. Hougaard (udg.) 17. Møde om Udforskningen af Dansk Sprog, Århus. 415-437.
Rienecker, L. & P.S. Jørgensen. 2010. Den gode opgave. 3. udg. Samfundslitteratur.
Rienecker, L., P.S. Jørgensen & M. Gandil. 2008. Skriv en artikel: Om videnskabelige, faglige og formidlende artikler. København: Samfundslitteratur.
Rolling Stone. 2023. She Was Falsely Accused of Cheating With AI — And She Won’t Be the Last. Rolling Stone, 6.6.2023 https://www.rollingstone.com/culture/culture-features/student-accused-ai-cheating-turnitin-1234747351/ (tilgået 30.12. 2023).
Syddansk Universitet. 2023. Brugen af kunstig intelligens. https://sdunet.dk/da/undervisning-og-eksamen/nyheder/2023/0929_aiie23 (tilgået 30.12.2023).
Tardy, C.M. 2012. Current Conceptions of Voice. I K. Hyland & C. S. Guinda (red.). Stance and Voice in Written Academic Genres (s. 34-48). Palgrave Macmillan.
Uniavisen. 2023. “Fremtiden er nu: KU bløder op i regler om AI”. https://uniavisen.dk/fremtiden-er-nu-ku-bloeder-op-i-regler-om-ai/
Wu, T.Y., S.Z. He, J.P. Liu, S.Q. Sun, K. Liu, Q.-L. Han, & Y. Tang. 2023. A brief overview of ChatGPT: The history, status quo and potential future development, IEEE/CAA Journal of Automatica Sinica, 10(5), pp. 1122–1136, May 2023. DOI: https://doi.org/10.1109/JAS.2023.123618
Downloads
Publiceret
Citation/Eksport
Nummer
Sektion
Licens
Forfatteren/forfatterne og NyS har ophavsret til de artikler og anmeldelser der bringes i tidsskriftet. NyS har ophavsretten til den udgivne version af tidsskriftet. Forfatteren har ophavsretten til sin egen tekst. Forfattere kan arkivere den publicerede artikel på deres institutions forskningsarkiv (Institutional Repository) eller en privat hjemmeside, når forfatteren samtidig linker til artiklen med den officielle DOI.
For artikler publiceret i NyS tillades at læsere kan downloade, kopiere, udskrive, søge eller linke til og citere fra artikler til ethvert lovligt formål. Artikler kan frit deles og linkes til på forsknings- og undervisningsnetværk (så som Blackboard, Moodle, Canvas o.a.). Link foretrækkes fordi det giver oplysning om brug af tidsskriftets artikler, og fordi det anerkender tidsskriftets redaktionelle arbejde. NyS tillader ikke at læsere bruger artikler eller dele af dem i egne artikler uden at citere, eller at læsere på anden vis anvender dem til kommercielle formål.
