NyS, Nydanske Sprogstudier

Evaluering af sprogforståelsen i danske sprogmodeller - med udgangspunkt i semantiske ordbøger

Sussi Olsen — 2024-07-10

Artiklen beskriver hvordan vi har udviklet en række datasæt – et såkaldt benchmark – til at evaluere forskellige aspekter af sprogforståelse i danske sprogmodeller. Vores antagelse er at den viden der allerede er beskrevet i en række eksisterende danske ordbøger, kan opfattes som ’ground truth’ for semantikken i det danske ordforråd. Vores metode går derfor ud på at ’vende’ de semantiske ordbøger om og bruge dem til at generere et benchmark der afprøver modellernes evne til at forstå dansk. Mere specifikt undersøger vi hvor godt modellerne i) forstår synonymi, nærsynonymi, og hvornår noget er semantisk associeret, ii) skaber inferens i relation til begrebsmæssig viden og nedarvning af egenskaber fra overbegreb til underbegreb, iii) laver korrekte følgeslutninger i forbindelse med specifikke handlinger og hændelser, iv) skelner mellem centrale betydninger af et ord i kontekst og v) håndterer positiv og negativ konnotation eller ’sentiment’ i løbende tekst. Vi afprøver vores datasæt på ChatGPT 3.5 turbo og på ChatGPT 4.0 og kan se at datasættene har en passende sværhedsgrad i forhold til hvad modellerne er i stand til at håndtere, om end ChatGPT 4.0 opnår særdeles gode resultater for flere af datasættene.

Kan AI reproducere fagdisciplinær stemme?

Ea Lindhardt Overgaard — 2024-07-10

Formålet med denne artikel er at afdække, i hvilket omfang generative AI-modeller – med GPT4 som eksempel – er i stand til at reproducere fagdisciplinær stemme i dansksproget akademisk prosa. De nye store sprogmodeller kommer med løfter om at forandre vores skrivepraksisser, herunder også akademisk skrivning, men det er stadig uklart, hvad kvaliteten er af de autogenererede bidrag, ikke mindst når modellerne anvendes på mindre sprog som fx dansk. Vi er særligt interesserede i fænomenet fagdisciplinær stemme, fordi det er et relativt velbeskrevet fænomen, der samtidig kan undersøges kvantitativt gennem analyse af korpusteksters overfladestruktur. Vi fokuserer særligt på tre aspekter af fagdisciplinær stemme, henholdsvis stillingtagen, engagement og fagspecifikt ordforråd og undersøger dette kvantitativt gennem en korpusbaseret komparativ undersøgelse, hvor vi sammenligner et korpus bestående af dansksprogede sprogvidenskabelige artikler med et korpus af AI-genereret akademisk prosa med sprogvidenskabeligt indhold. Analysen viser, at de AI-genererede tekster på nogle områder afviger signifikant fra de autentiske sprogvidenskabelige tekster. For kategorien fagspecifikt ordforråd er forskellene relativt store, og for kategorierne stillingtagen og engagement er forskellene relativt små. I de to sidstnævnte kategorier er forskellene så små, at vi med en vis rimelighed kan sige, at de AI-genererede tekster på disse områder reproducerer fænomenet disciplinær stemme på en måde, der fra et kvantitativt perspektiv er svært at skelne fra det, vi ser i de autentiske tekster.

På sporet af chatbottens sproglige fingeraftryk

Jonas Nygaard Blom — 2024-07-10

Chatbotterne har for alvor meldt deres ankomst i uddannelsessystemet og skaber lige nu muligheder men også udfordringer. Et særligt presserende problem er, at der ikke findes nogen fuldt pålidelig metode til at spore, om en tekst er skrevet af en chatbot. Det betyder på den ene side, at studerende kan bruge chatbotter til at skrive opgaver, uden at det kan opdages, og på den anden side, at studerende kan risikere at blive mistænkt for at have brugt chatbotter, selvom det ikke er tilfældet. I dette studie bidrager vi til den aktuelle forskning i chatbotters sproglige særtræk ved at undersøge, om det er muligt at skelne sprogligt mellem tekster skrevet af danskstuderende og ChatGPT. Resultaterne viser, at der generelt set er visse forskelle på de studerendes og chatbottens skrivestil, men samtidig, at det ved hjælp af supplerende prompts er muligt at sløre chatbottens sproglige fingeraftryk. Dette understreger vanskeligheden ved at spore tekster skrevet af kunstig intelligens. Afslutningsvis diskuterer vi betydningen af dette for de danske uddannelsesinstitutioner.

Emojier som parasproglige resurser i skrevet onlineinteraktion

Tina Thode Hougaard — 2024-07-10

Denne artikel præsenterer en ny forståelse af emojier, nemlig som en kropsforankret semiotisk resurse. Med afsæt i at se interaktion som en kropsligt funderet udfoldelse og med udgangspunkt i tidligere forskning i ’nyskriftlige’ resurser der fungerer som kompensation for det manglende kropssprog, undersøger artiklen hvordan primært emojier kan forstås som erstatning for de parasproglige virkemidler der er fraværende i skriftlig interaktion, dvs. kropsbevægelser, ansigtsudtryk og stemmemæssige forhold. Artiklen giver både et indblik i hvordan emojier virker som præfabrikeret teknologi og system, og et overblik over tidligere forskning i emojiers pragmatiske funktion før den via Peirces tre tegntyper, ikon, symbol og indeks, viser hvordan den fysiske krops sprog manifesterer sig i digitale kropsemojier. Med udgangspunkt i forskning i ansigtsudtryk og tidligere analyser af digital gestik undersøges det hvordan deltagere i forskellige online interaktionssituationer bruger det digitale kropssprog. Der argumenteres for at emojier netop egner sig godt til at formidle følelser og til at guide modtageren i at forstå afsenderens hensigt med det skrevne fordi brugen af emojier og forståelsen af dem er kropsligt funderet. Deltagerne i skrevet onlineinteraktion bruger emojier som kompensation for den parasproglige information fordi emojierne i vid udstrækning ligner og føles som kropslig kommunikation.

Anmeldelse af Peter Widell: Sproget i verden. Tekstforståelsens filosofiske grundlag, Aarhus Universitetsforlag. 2023 (355 sider)

Ib Ulbæk — 2024-07-10

Bogstav-lyd-forbindelser i dansk: The Ultimate Collection

Holger Juul — 2024-07-10

Kolofon

Redaktionen — 2024-07-10

Indholdsfortegnelse

Redaktionen — 2024-07-10

Forord

Tina Thode Hougaard — 2024-07-10

Evaluating language understanding in Danish LLMs based on semantic dictionaries

Bolette Sandford Pedersen — 2024-07-10

Can AI reproduce disciplinary voice?

Ea Lindhardt Overgaard — 2024-07-10

In search of the chatbot’s linguistic fingerprint

Jonas Nygaard Blom — 2024-07-10

Emojis as paralinguistic resources in written online interaction

Tina Thode Hougaard — 2024-07-10

NyS 67 – Temanummer

Redaktionen — 2024-07-10