mboost-dp1

SXC - Gokoroko

Gratis system til automatisk karaktergivning udviklet

- Via New York Times - , redigeret af Pernicious

EdX, et nonprofit foretagende, startet af Harvard og MIT, har netop introduceret et system, der via kunstig intelligens automatisk og næsten øjeblikkeligt kan fortælle en studerende hans/hendes karakter for skriftlige opgaver.

Fordelen ved et sådan system er, at det kan aflaste lærere, men ikke mindst give de studerende mulighed for med det samme at rette deres opgave og forsøge at forbedre karakteren.

Systemet har dog modtaget kritik for ikke at få dens karaktergivning sammenlignet med menneskelige lærer på samme opgave.

Professionals Against Machine Scoring Of Student Essays
In High-Stakes Assessment skrev:
Let’s face the realities of automatic essay scoring. Computers cannot ‘read.’ They cannot measure the essentials of effective written communication: accuracy, reasoning, adequacy of evidence, good sense, ethical stance, convincing argument, meaningful organization, clarity, and veracity, among others.

Kritiken til trods forventer EdX, at deres system tages vidt og bredt i brug, til for eksempel online-kurser og simple opgaver.

Inden systemet kan anvendes i en skole, skal det oplæres af mennesker, ved at få hjælp med vurdering af de første 100 opgaver.





Gå til bund
Gravatar #1 - Dr_Mo
5. apr. 2013 10:46
Er det kun mig der sarkastisk tænker at, det giver da helt sikkert masser af mulighed for innovation og nytænkning, når vurdering er baseret på nogle indkodede regler?

It allows students to get immediate feedback on their work, so that learning turns into a game, with students naturally gravitating toward resubmitting the work until they get it right

Nej, til det maskinen mener er rigtigt. Eller tænker jeg på noget andet end det de mener, når de skriver "essay". Hvornår kommer den online, bliver sjovt at se hvordan den vurderer de mest berømte og anerkendte essays igennem forskellige tider.
Gravatar #2 - f-style
5. apr. 2013 10:46
Det kunne jo være godt i test som er "multiple choice", matematik og lignende, eller ihvertfald give et fingerpeg om hvor man ligger henne som minimum. Selvfølgelig kan et automatisk system ikke aflaste en lærer 100% det er heller ikke meningen, men det er da godt hvis det kan hjælpe lærer til en mere præcis karaktergivning eller lette arbejdet.

Jeg går 100% ind for et computer system, da det modsat mennesker ikke gør forskel på elever og "vurderer"/beregner enhver opgave ud fra samme vilkår uden at tage hensyn til om eleven er doven i timen, overensstemmelse med læren og andre faktorer som kunne påvirke karakteren som man ser med visse lærer.

Jeg kendte f.eks. en som med vilje lånte en opgave som nogle år i forvejen scorede 11. Han plejede at få 7 og ville teste om læren gav en fair karakter. Han fik sjovt nok 7 for den samme opgave og sagde til læren den samme opgave fik 11 nogle år i forvejen hvordan det kunne være (han vidste godt han ville få en straf for at snyde med afleveringen, men gjorde det alligevel fordi det var en unfair behandling). Hun kunne sjovt nok ikke svare på hvorfor den samme opgave fik 11 og kun 7 af hende, men mange lærer giver jo karakterer efter hvor aktiv en elev er eller hvordan de kende vedkommende. Det kunne et computer program måske hjælpe med at nuancere og mindske forskelsbehandling i karaktergivningen.

Jeg kender også elever som direkte havde fået af vide de vil blive dumpet til eksamen ligemeget hvad fordi de var inaktive og frække i undervisningen. Så der er lærer som giver karakterer på personligt grundlag og ikke er 100% objektive. Det er jo også derfor man til eksamen bruger eksterne censorer for at mindske dette og for at give alle elever fair behandling uden at inddrage hvordan de har opført sig i årets løb, da eksamen jo afspejler hvad man kan præstere "nu og her". Årskarakteren afspejler jo allerede hvordan det er gået i løbet af året.
Gravatar #3 - Hængerøven
5. apr. 2013 11:25
f-style (2) skrev:
Jeg kender også elever som direkte havde fået af vide de vil blive dumpet til eksamen ligemeget hvad fordi de var inaktive og frække i undervisningen


så se dog af få fyrret læreren og ledelsen på deres skole?

f-style (2) skrev:
Det kunne jo være godt i test som er "multiple choice", matematik og lignende,


Jeg tror også det er her systemet kan bruges, fordi at i opgaver der kræver mere en absolutte svar vil systemet ultimativt fejle grundet det, som Mr_Mo også er inde på, Man kan ikke programmere nytænkning


f-style (2) skrev:
g kendte f.eks. en som med vilje lånte en opgave som nogle år i forvejen scorede 11. Han plejede at få 7 og ville teste om læren gav en fair karakter. Han fik sjovt nok 7 for den samme opgave


Det er lidt en problemstilling, dette system bare ville gemme og gøre svære at se, uden at løse det der er selve essensen, nemlig læren der ikke gør sit arbejde godt nok.

Hvis hun vitterlig vurderede en opgave der stod til et 11 tal, til at være et 7 tal værdig, kan hun ikke stoles på, som underviser, Og hun vil nok også i selve undervisningen give din ven den korte ende af pinden, og så skal hun selvfølgelig fyres.
Gravatar #4 - bnm
5. apr. 2013 11:43
100 opgaver er et ekstremt lille datasæt til oplæring af en algoritme.
Gravatar #5 - Scurvy Lobster
5. apr. 2013 11:55
Det her MÅ være en forsinket aprilsnar.
Gravatar #6 - spand-online
5. apr. 2013 12:20
Hængerøven (3) skrev:
Hvis hun vitterlig vurderede en opgave der stod til et 11 tal, til at være et 7 tal værdig, kan hun ikke stoles på, som underviser, Og hun vil nok også i selve undervisningen give din ven den korte ende af pinden, og så skal hun selvfølgelig fyres.



Det er jo også en mulighed at hun simpelthen ikke fandt afleveringen tilfredsstillende i forhold til den stillede opgave? Det er jo ikke sikkert at det var helt ens.
Dog vil jeg sige at jeg selv har været udsat for noget lignende, med den forskel at ham der brugte min opgave kom ud med en højere karakter. Der var bare tale om to forskellige undervisere så jeg har lidt svært ved at have ondt af det :)
Gravatar #7 - Hængerøven
5. apr. 2013 12:26
spand-online (6) skrev:
Det er jo også en mulighed at hun simpelthen ikke fandt afleveringen tilfredsstillende i forhold til den stillede opgave?


Det er også derfor jeg formulerede mig som jeg gjorde :)
Gravatar #8 - spand-online
5. apr. 2013 12:34
Hængerøven (7) skrev:
spand-online (6) skrev:
Det er jo også en mulighed at hun simpelthen ikke fandt afleveringen tilfredsstillende i forhold til den stillede opgave?


Det er også derfor jeg formulerede mig som jeg gjorde :)


Jeg tænkte nu mere på om de krav der var sat i opgaverne nu også var helt ens :)

Gravatar #9 - samuraignu
5. apr. 2013 13:46
syns det er en god ide mennesker er alt for subjektive.
Gravatar #10 - f-style
5. apr. 2013 17:34
Hængerøven (3) skrev:
så se dog af få fyrret læreren og ledelsen på deres skole?

f-style (2) skrev:
Det kunne jo være godt i test som er "multiple choice", matematik og lignende,


Jeg tror også det er her systemet kan bruges, fordi at i opgaver der kræver mere en absolutte svar vil systemet ultimativt fejle grundet det, som Mr_Mo også er inde på, Man kan ikke programmere nytænkning


f-style (2) skrev:
g kendte f.eks. en som med vilje lånte en opgave som nogle år i forvejen scorede 11. Han plejede at få 7 og ville teste om læren gav en fair karakter. Han fik sjovt nok 7 for den samme opgave


Det er lidt en problemstilling, dette system bare ville gemme og gøre svære at se, uden at løse det der er selve essensen, nemlig læren der ikke gør sit arbejde godt nok.

Hvis hun vitterlig vurderede en opgave der stod til et 11 tal, til at være et 7 tal værdig, kan hun ikke stoles på, som underviser, Og hun vil nok også i selve undervisningen give din ven den korte ende af pinden, og så skal hun selvfølgelig fyres.


Set i bakspejlet havde det nok været bedst at meddele dette da det stod på, men problemet er at det er 7-9 år siden og gider ikke selv grave mere i det, især fordi det ikke rigtig er til at bevise den dag i dag, da der er gået så lang tid og det var mundtligt så det er hans udtalelse op imod læren. Ved ikke en gang om læren stadig undervise på den pågældende skole. Havde man vidst bedre var det blevet meldt men nu var man jo ikke lige så moden som nu, havde masser af lektier at tænke på og den slags.

Snakker heller ikke rigtig med personen som det gik ud over, det er heldigvis mere undtagelsen end reglen at dette finder sted. Det er også derfor det er vigtigt med censorer til eksamen da det netop for at have en neutral person ind over bedømmelsen.
Gravatar #11 - f-style
5. apr. 2013 17:38
spand-online (6) skrev:
Det er jo også en mulighed at hun simpelthen ikke fandt afleveringen tilfredsstillende i forhold til den stillede opgave? Det er jo ikke sikkert at det var helt ens.
Dog vil jeg sige at jeg selv har været udsat for noget lignende, med den forskel at ham der brugte min opgave kom ud med en højere karakter. Der var bare tale om to forskellige undervisere så jeg har lidt svært ved at have ondt af det :)


Når det er nøgagtig samme opgave (som det var i tilfældet jeg referede til for oven) så er det klart der er mulighed for 1 karakter +/-, men for nøjagtig samme opgave burde det ikke kunne svinge så vildt fra 7 til 11 (efter den gamle skala), det er trods alt +/- 4 karakterer for nøjagtig samme opgave som blev stillet. Den var nemlig lavet 2 år tidligere end da vi fik den og men kammerat som lånte opgaven af ham som fik 11, fik kun 7 og læren var generelt ikke glad for denne person.
Gravatar #12 - spand-online
5. apr. 2013 19:08
f-style (11) skrev:


Når det er nøgagtig samme opgave (som det var i tilfældet jeg referede til for oven) så er det klart der er mulighed for 1 karakter +/-, men for nøjagtig samme opgave burde det ikke kunne svinge så vildt fra 7 til 11 (efter den gamle skala), det er trods alt +/- 4 karakterer for nøjagtig samme opgave som blev stillet. Den var nemlig lavet 2 år tidligere end da vi fik den og men kammerat som lånte opgaven af ham som fik 11, fik kun 7 og læren var generelt ikke glad for denne person.


Det er nu heller ikke fordi jeg forsvarer læreren, bestemt ikke. Jeg tænkte nu mere på at man kunne have genbrugt en opgave men valgt at ligge vægt på noget helt andet.
Jeg vil dog mene at du på ingen måde kan sammenligne mundtlige fremstillinger på nogen som helst måde, uanset om materialet er ens eller ej.

Til min egen svendeprøve fik jeg 10 hvorimod min makker fik 12 i den mundtlige del. Vi afleverede en fælles dokumentation og et fælles produkt. Vi kan det samme stof og er nogenlunde jævnbyrdige fagligt.
Så burde jeg vel også klage? :)


Gravatar #13 - amplificator
5. apr. 2013 19:28
Hængerøven (3) skrev:


f-style (2) skrev:
g kendte f.eks. en som med vilje lånte en opgave som nogle år i forvejen scorede 11. Han plejede at få 7 og ville teste om læren gav en fair karakter. Han fik sjovt nok 7 for den samme opgave


Hvis hun vitterlig vurderede en opgave der stod til et 11 tal, til at være et 7 tal værdig, kan hun ikke stoles på, som underviser, Og hun vil nok også i selve undervisningen give din ven den korte ende af pinden, og så skal hun selvfølgelig fyres.


Kunne det tænkes at den første lærer havde vurderet opgaven forkert? I er ikke meget bedre selv, når i direkte hopper til konklusionen at det er denne lærer som er problemet.

Der kan være rigtig mange grunde til en så forskellig karakter, såsom om det er den nye eller gamle skala, da disse vurderes forskelligt. Den ene vurderes absolut, altså ud fra opgavens mangler, og den anden vurderes relativt hvor der også tages højde for klassens andre elever.
Hvis det er vigtigt, så kan i få en anden lærers vurdering af opgaven; det er helt ok at gøre det.
Gravatar #14 - Hængerøven
5. apr. 2013 20:22
amplificator (13) skrev:
Kunne det tænkes at den første lærer havde vurderet opgaven forkert? I er ikke meget bedre selv, når i direkte hopper til konklusionen at det er denne lærer som er problemet


Læs hvad jeg skriver.

Jeg går ikke ud fra at det er læren der er problemet?
Gravatar #15 - cyberdude
6. apr. 2013 11:25
#13
Nu er der sjovt nok beskrevet at det er 7-9år siden. For 7 år siden var 7-trins-skalaen ikke introduceret endnu. Så lige den del er sådan set noget så irrelevant. Med mindre Hængerøven vurderer ca. 1½-2år forkert.
Gravatar #16 - Backfirejr
8. apr. 2013 11:57
Mr_Mo (1) skrev:

Eller tænker jeg på noget andet end det de mener, når de skriver "essay".


På engelsk, og specielt i USA, er et essay en opgave hvor forfatteren udtrykker en holdning og så underbygger den gennem ræsonnering o.lign. inde for en bestemt opgave-struktur.

Gravatar #17 - stekkurms
8. apr. 2013 17:40
Mr_Mo (1) skrev:
Er det kun mig der sarkastisk tænker at, det giver da helt sikkert masser af mulighed for innovation og nytænkning, når vurdering er baseret på nogle indkodede regler?
Hvis først man har en algoritme der kan vurdere besvarelserne, så må næste naturlige skridt være at træne en algoritme der kan lave gode besvarelser. Og når man har en algoritme der kan lave gode besvarelser, så er der jo ingen grund til at man skal lære at løse den slags opgaver, da man jo bare kan sætte en computer til at løse opgaven.
Gå til top

Opret dig som bruger i dag

Det er gratis, og du binder dig ikke til noget.

Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.

Opret Bruger Login