DIKU-professor afviser problemer med dataetikken i algoritme til at opdage købte opgaver

Et nyt værktøj udviklet på KU bruger maskinlæring til at identificere opgaver, som ikke er skrevet af eleven selv. Det kræver adgang til elevernes opgaver, men DIKU-professor Stephen Alstrup afviser, at der er problemer med dataetikken.

Programmet Ghostwriter bruger maskinlæring til at vurdere, om en opgave afleveret af en gymnasieelev er skrevet af eleven selv, eller købt til lejligheden på internettet.

Programmet er udviklet på Københavns Universitet, og gør brug af et såkaldt siamesisk netværk, en maskinlæringsteknik hvor to inputs kører igennem identiske neurale netværk, hvorefter outputtet kan sammenlignes til klassifikation eller ensartethed.

I dette tilfælde bliver en opgave afleveret af en elev sammenlignet med elevens tidligere opgaver, og hvis skrivestilen er forskellig nok, registrerer programmet det.

Ligesom plagiattjek

Ghostwriters siamesiske netværk er trænet på 130.000 opgaver fra 10.000 forskellige gymnasieelever. Træningssættet er stillet til rådighed af virksomheden Macom, som leverer platformen Lectio til de danske gymnasier.

I en række tweets satte lektor i digital forvaltning ved Københavns Universitet Hanne Marie Motzfeldt spørgsmålstegn ved, om programmet lovligt kan rulles ud.

I et siden slettet tweet svarede Stephen Alstrup, leder af forskningscentret DIKU-DABAI, hvor Ghostwriter er blevet udviklet, at der er 120 % styr på det.

Til Version2 uddyber han:

»Det svarer til de systemer, man har brugt i skolevæsnet i mange år til at finde plagiat. Det søger alles opgaver igennem for at finde ud af, om en lignende tekst dukker op hos en anden elev. Ghostwriter søger dine egne opgaver igennem for at se, om de ligner den tekst, du nu har afleveret.«

Men er det ikke problem, at det kan være svært at finde ud af, præcist hvorfor en maskinlæringsalgoritme vurderer, at en opgave er købt ind, mens en anden ikke er det?

»Det er en myte, at bare fordi man har brugt et neuralt netværk, så er det en black-box, som vi ikke ved hvorfor den gør, det den gør,« siger han.

»Et af mange tricks består i følgende simple tilgang, hvor man ”bare” kombinerer to løsninger. Man vælger den bedste algoritme af hensyn til præcision. Hvis den ikke er god til at begrunde resultatet, kører man ligeledes den algoritme, der er god til at begrunde. Men den sidstnævnte algoritme beder man så kun at se på udfaldsrummet, der er kendt af den første algoritme.«

90 procent træfsikkerhed… sådan da

I forskningsartiklen om Ghostwriter, skriver holdet bag programmet, at det har en præcision på 0,875 – lige knap 90 procent.

Men det skal i den sammenhæng tages med, at antallet af købte artikler kan påvirke hvor meget, man faktisk kan stole på algoritmens resultater. De næsten 90 procents præcision er nemlig over alle undersøgte opgaver, mens billedet kan være noget anderledes, hvis man kun kigger på dem, programmet udpeger som snydere.

Hvis man forestiller sig en situation, hvor en ud af hundrede opgaver bliver købt på nettet, vil et program med 90 procents træfsikkerhed stadig finde omtrent 10 opgaver, det mener, er blevet købt, per hundrede den tjekker igennem. Det kan forekomme paradoksalt, men i sådan en situation, vil et program med 90 procents træfsikkerhed kun have ret hver tiende gang, det vurderer en opgave er blevet købt.

Stephen Alstrup anerkender også den problemstilling, men han mener, at det kan håndteres med en finjustering af algoritmen.

»Det er fuldstændigt rigtigt, og der skal tunes, så den passer til det,« siger han.

Så hvis den kommer i produktion, så vil I justere algoritmen, så den vil have en højere tærskel for at markere en opgave som skrevet af en ghostwriter?

»Absolut. Det er også først når det kommer i produktion, at du begynder at få tunet de sidste ting ind.«

Han påpeger også, at han aldrig mener, algoritmen alene skal bruges som begrundelse for en anklage om snyd mod en elev.

Endnu ikke samlet op

Ghostwriter er ikke på nuværende tidspunkt i produktion, men P.hd.-studerende Stephan Lorenzen, som også har arbejdet på projektet, tror på, at det vil blive taget i brug.

»Jeg tror, det er realistisk, at gymnasierne tager det i brug på et tidspunkt. Men før de gør det, skal man have en etisk diskussion af, hvordan teknologien anvendes. Resultatet, som programmet kommer frem til, skal aldrig stå alene, men kun være med til at underbygge en mistanke om snyd,« siger han i en pressemeddelelse fra Københavns Universitet.

Stephen Alstrup håber også at systemet bliver taget i brug.

»Der er to ting, der skal ske, før Ghostwriter kommer i produktion. Gymnasierne skal forespørge det, og firmaerne skal ville levere det,« siger han.

Indtil videre er der ikke nogen gymnasier, som har meldt sig til brugen af Ghostwriter, og spørgsmålet er, om gymnasierne tør kaste sig ud i et projekt, som bruger maskinlæring på elevernes data.

»Version2-hetz«

I dag er Stephen Alstrup kritisk over for mediernes – specielt Version2’s – dækning af brugen af maskinlæring og big data i det offentlige. Et tidligere projekt ledet af Stephen Alstrup brugte maskinlæring til at forudsige hvilke elever, der med høj sandsynlighed ville droppe ud.

Version2 har omtalt systemet i en artikel i 2014 og efterfølgende i et par artikler i 2015.

I 2014 beskrev Version2, hvordan en datalogistuderende i forbindelse med sit kandidatspeciale i samarbejde med softwarefirmaet Macom, havde udviklet et dataanalyse-værktøj til at forudsige, hvilke elever der ville droppe ud af gymnasiet indenfor de kommende tre måneder.

I 2015 fortalte Version2, hvordan dropout-funktionen kun nåede at være implementeret i omkring en uge i 2014 i Macoms Lectio-platform før den blev fjernet som følge af et krav fra Danske Gymnasier. Her havde man læst om systemet i Version2’s artikel i 2014.

Hos Danske Gymnasier mente man, at Macom uden samtykke havde udleveret gymnasiernes data til en tredjepart, en studerende, i forbindelse med tilblivelsen af algoritmen.

I dag mener Stephen Alstrup, gymnasierne droppede systemet efter det, DIKU-professoren omtaler som en »Version2-hetz«.

En pointe som det har været vigtigt for Stephen Alstrup at få med i denne artikel om Ghostwriter.

»Jeg savner, at dem som kritiserer nye teknologiske tiltag går ud og tager ansvar for de mennesker, som ikke bliver hjulpet af de systemer, de får taget ned.«

»Afskaffelsen af Dropout var en sejr for Version2, og jeg mangler, at sejrherren går ud og siger 'jeg tager ansvaret for alle de her unge mennesker der dropper ud af gymnasiet og har lidt et knæk, de aldrig kommer over, og jeg synes det er helt fint.' - det mangler jeg nogen, som går ud og siger.«