PISA og justeringsproblemer i skolen

Denne teksten er skrevet av Lars Sandåker og Pål Jåbekk

Både PISA-testing og nasjonale prøver er igjen under lupen. Leder i Utdanningsforbundet, Steffen Handal, skriver i Utdanningsnytt at: » Resultatskolen, eller konkurranseskolen, prestasjonsskolen eller hva du velger å kalle det, er et produkt av mye god vilje og gode intensjoner.» (Handal, 2023)

Det finnes en kjent vei som visst nok skal være brolagt med nettopp gode intensjoner. Men det finnes også tenkeverktøy som skal kunne hindre oss i å bli ført på villspor.

Innen forskning på kunstig intelligens (AI) snakkes det om «the AI control problem» eller «the alignment problem.» Det finnes ingen etablert terminologi på norsk, men vi kan kalle det justeringsproblemet. Bekymringen er at en fremtidig kunstig superintelligens kan utgjøre en eksistensiell risiko for mennesker om den ikke er justert etter våre menneskelige verdier og behov. Hvis en slik superintelligens har et litt annet resultatfokus og målenormer enn det som er til menneskets beste, vil man i verste fall kunne få maskiner som ødelegger menneskeheten for mest effektiv måloppnåelse.

En kjent formulering av dette problemet er et tankeeksperiment presentert av filosofen Nick Bostrom i boken Superintelligence (Bostrom, 2014). Han beskriver her «bindersprodusenten», en maskin med kraftig kunstig intelligens som er programmert til å lage så mange binders som mulig. Bostroms poeng er at en maskin som potensielt sett er langt smartere og kraftfull enn mennesker, og som har et veldig snevert mål, vil kunne finne ut at den mest effektive måten å maksimere bindersproduksjon på er å fjerne mennesker helt, eller gjøre jorden ulevelig i søken etter ressurser.

Uten innebygde sperrer og hensyn så er det ingenting i veien for at en slik hypotetisk maskin vil kunne ødelegge alle strukturer og gjøre alt om til binderser, og fortsatt anse dette som en suksess. Derfor blir det opp til oss mennesker å forutse eventualiteter som ville kunne gjøre en slik kunstig intelligens til vår undergang. Problemet er bare at det å forutse eventualiteter vi ikke engang vet om, slike «unknown unknowns» som Donald Rumsfeld formulerte det, er en nærmest uendelig oppgave. Logikken i dette tankeeksperimentet forteller oss at det som isolert sett kan kalles en suksess, i et større perspektiv kan fremstå som en fiasko. Hinsides eksemplets absurditet finner vi her en mer generell problematisering av snevre mål og metoder og de uante konsekvenser som dette kan medføre.

Kan et slikt perspektiv si oss noe nyttig i debatten om bruken av internasjonale tester i skolen, slik som PISA (Programme for International Student Assessment) som første gang ble gjennomført i 2000?

Denne testen søker å måle læring og kompetanse i noen grunnleggende ferdigheter for å slik sett kunne vurdere hvordan fremtidens borgere står med tanke på følgende spørsmål formulert i de internasjonale PISA-rapportene:

• Hvor godt er ungdommer forberedt til å møte framtidas utfordringer?
• Kan de analysere, resonnere og kommunisere sine ideer på en effektiv måte?
• Er de i stand til å fortsette å lære hele livet?

Men testene gjennomføres ikke kun for å besvare disse tilsynelatende viktige spørsmålene. Myndighetene ønsker også å gjennomføre slike tester fordi forskning blant annet har vist korrelasjoner mellom score på denne testen og økonomisk utvikling (Hanushek & Wössmann 2015a og 2015b). Dermed skaper innføring av testingen også et insentiv om å maksimere den læringen PISA tester. Skolesystemet vil bevisst eller ubevisst formes og bygges rundt maksimering av denne læringen. Men er systemets mål om maksimering av slik læring justert i forhold til menneskelige verdier og langsiktige behov? Hvilke ukjente ukjente trusler mot verdier som nysgjerrighet, empati, kreativitet, trygghet, individuelle utvikling, e.l. kan ligge i fremtiden?

Eksemplet med justeringsproblemet viser oss at vi kan ha mål og resultater som innenfor et snevert perspektiv ser bra ut, men som kan tenkes å ha direkte skadelige effekter om man trer ut ifra dette snevre perspektivet. I økonomien omtales slike problemer ofte som eksternaliteter, det vil si de verdier og faktorer som ikke tas med i de økonomiske transaksjonene på markedet, men som likevel har stor betydning for samfunnet.

Forurensning er et eksempel på slike eksternaliteter i det økonomiske systemet. I etterkant av den industrielle revolusjon fikk vi en enorm økning i forurensning, men i økonomien så utviklingen først og fremst ut som stadig økende profitt. Kort fortalt: Økende inntekter, som etter hvert fikk sitt viktigste uttrykk i BNP når dette målet ble utviklet, skjulte det faktum at denne utviklingen medførte en rekke skadelige konsekvenser for levestandard på lang sikt. Skogsdrift og landbruk er andre eksempler på områder hvor industrialisering og effektivisering har virket fordelaktig på kort sikt, men hvor vi nå blir konfrontert med langt større negative konsekvenser.

Det er ikke tvil om at vi får stadig mer strømlinjeformede skolesystemer i de fleste land, og at disse testene med deres innvirkning på skolepolitikere og andre makthavere, antakeligvis er den aller viktigste faktoren i denne prosessen. Men kan vi utvikle skoler som faktisk er bra for individer fra det fugleperspektivet som vi her analyserer skolen fra? Hvor stor er sjansen for at vi er blinde for negative eksternaliteter, som kanskje først blir virkelig tydelige over tid, slik vi så det med forurensning og den industrielle revolusjon?

Å styre etter økonomisk profitt alene kan fort gjøre oss blinde for denne typen konsekvenser. Vårt spørsmål er ganske enkelt dette: I hvilken grad kan dette økte fokus på snevert definerte resultater på internasjonale tester, rettferdiggjort med diskutable økonomiske argumenter, skjule lignende negative eksternaliteter?

Er det noen av disse tidligere ukjente, som nå begynner å bli kjente når Steffen Handal skriver at: » PISA-undersøkelsen viser for eksempel at andelen elever som opplever at de ikke har en viktig plass i fellesskapet, har skutt i været.»? (Handal, 2023)

Én slik mulig eksternalitet er nettopp stress. Stress over tid er grunnleggende ødeleggende for alle kroppens systemer, er spesielt korrosivt for mentalt velvære, læringslyst og læringsmulighet (Vogel & Schwabe, 2016; van der Kooij, 2020). Skolestress bidrar sterkt til unges dårligere mentale helse (Eriksen et al., 2017; Eriksen, 2021). Hvor mye stress skal og bør elever i skolen utsettes for, blant annet gjennom å tvinges til å lære noe de ikke ser nytten av, ikke ønsker å lære, ikke kan lære i sitt eget tempo, som de blir vurdert på og sammenlignet på? Hva gjør for høyt stress med elever med på lang sikt?

Det mest urovekkende momentet her er at i motsetning til de som filosoferer over farene med en kraftig kunstig intelligens, ser ikke lignende hensyn ut til å være en bekymring for de som gir oss disse testene og som anbefaler deres bruk. Men, for å parafrasere utdanningsøkonomer: å overse eller ignorere langsiktige konsekvenser er en spesielt nyttig beskrivelse av suboptimal utdanningsøkonomi (Hanushek, Machin & Wössmann, 2016).^[1] Eller, for å ta et eksempel fra idrettens verden: Isolert fokus på visse muskler eller visse ferdigheter, hvis dette går på bekostning av mer helhetlig trening og utvikling, vil mest sannsynlig føre til skade og overtrening på sikt, og virke direkte mot sin hensikt.

Det er ikke vårt mål her å vise skadelige effekter av skoletesting som PISA eller nasjonale prøver (slike som ble introdusert under utdanningsminister Kristin Clemet på grunn av skuffende resultater på PISA). Vårt mål er å peke på at innføringen av testing skaper insentiver, og at disse risikerer å endre systemer som består av våre barn. Systemer som har i oppgave å blant annet skape trygge, anstendige mennesker med gode verdisyn.

Mange forskere har påpekt negative effekter av PISA-testing. Det er for eksempel påvist en negativ korrelasjon mellom såkalte aktive læringsformer og PISA-scorer. Noen vil kanskje tenke at dette er endelige spikeren i kista på såkalt progressiv pedagogikk à la Dewey, men man ville finne liten støtte for en slik konklusjon i nyere psykologisk forskning. De siste årene er det gang på gang vist hvordan aktive læringsformer faktisk har best resultater på læring (Deslauriers et al., 2019; Nilsen og Karlstein, 2021). Det er også notert at elever i land som scorer godt på PISA-testene ofte viser lavere engasjement og interesse for faginnholdet (Sjøberg 2019). Det er i det hele tatt mye med PISA-resultatene som tyder på at de er en dårlig ledestjerne for hvordan vi skal legge opp barn og unges liv og lære i lang tid fremover, og at dette på sikt vil gjøre mer skade enn gavn.

Men utdanningsøkonomene Eric Hanushek og Ludger Wössmann har svaret klart: “Det finnes ingen erstatning for forbedrede ferdigheter, og tiltak for å forbedre disse må starte med å måle de riktige tingene. Det er ikke alltid sant at “det som måles blir gjort.” Men det er enda mer sant at “det som ikke blir målt blir ikke gjort.” (Hanushek & Woessmann, 2015a) Det er ingen tvil om at de er fullstendig overbevist av egne argumenter. Men hvilke negative eksternaliteter må bli oversett for at dette argumentet skal virke holdbart?

Det er først og fremst den første setningen her som viser deres blindhet for ethvert potensielt “bindersproblem”: Hvor gode er de mål vi her opererer med, når de har såpass mange negative konsekvenser som allerede nevnt? Kritikere av denne typen testing skriver: “[Storskalatesting, LSA] kan bare måle det som er kjent. Derfor er det umulig å utvikle tester for ukjente aspekter. […]. Det er sikkert aspekter ved læring som ikke har blitt oppdaget eller utviklet i utdanningssystemet, og disse ukjente aspektene kan godt være viktigere enn de vi kjenner til.” (Yuan & Zhao, 2019)

Vi står også i fare for det som statistiker Donald T. Campbell advarte mot i 1979, og som har blitt kjent som Campells lov: “Jo mer en kvantitativ sosial indikator blir brukt for samfunnsmessige avgjørelser, jo mer vil den utsettes for korrumperingspress, og jo mer vil den tendere mot å forvrenge og undergrave de sosiale prosesser den er ment å overvåke.” Altså, jo mer vi fokuserer på visse målbare faktorer, jo mer vil disse dominere vår diskusjon og forståelse av det aktuelle tema, på bekostning av det som ikke måles (se Muller 2019 om dette tema).

I 2014 skrev 83 utdanningsforskere et åpent brev i The Guardian hvor de peker på en rekke negative effekter av PISA-testingen (Andrews et al., 2014). De avslutter sitt innlegg med:

“Ettersom PISA har ledet mange regjeringer inn i en internasjonal konkurranse om høyere testscorer, så har OECD fått makten til å forme utdanningspolitikk verden rundt, uten noen debatt rundt nødvendigheten eller begrensningene til OECDs mål. Vi er dypt bekymret for at målingen av en svært mangfoldig samling av utdanningstradisjoner og kulturer med en enkelt, snever målestokk til slutt vil gjøre uopprettelig skade på våre skoler og studenter.”

De 83 utdanningsforskerne peker, i likhet med andre kritikere, selvfølgelig kun på kjente problemer og utfordringer. Siden 2014 har ikke forskningen gitt oss noen større grunn til å tro at de positive konsekvensene er større enn de negative, snarere tvert imot. Og de ennå ukjente negative konsekvensene forblir ukjente, men potensielt potente.   

Litteratur:

• Andrews, P., Atkinson, L., Ball, S., Barber, M., Beckett, L., Berardi, J., Berliner, D., Bloom, E., Boudet, D., Boland, N., Burris, C., Cauthen, N., Cerrone, Chris., Ciaran, S., Deutermann, J., Devine, N., Dodge, A., Dodge, J., Farley, T., (…) Zhao, Y. (2014 6.mai). OECD and Pisa tests are damaging education worldwide – academics. The Guardian. https://www.theguardian.com/education/2014/may/06/oecd-pisa-tests-damaging-education-academics
• Bostrom, Nick (2014): Superintelligence: Paths, Dangers, Strategies, Oxford University Press, Oxford.
• Deslauriers, Louis; Logan S. McCarty; Kelly Miller; Kristina Callaghan; Greg Kestin, (2019) «Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom», Proceedings of the National Academy of Sciences, Sept 2019, 116 (39)
• Eriksen, I. M. (2021). Class, parenting and academic stress in Norway: middle-class youth on parental pressure and mental health. Discourse: Studies in the Cultural Politics of Education, 42(4), 602-614. https://doi.org/10.1080/01596306.2020.1716690
• Eriksen, I. M., Sletten, M. A., Bakken, A., & von Soest, T. (2017). Stress og press blant ungdom. Erfaringer, årsaker og utbredelse av psykiske helseplager.
• Handal, Steffen. (2023). Resultatskolen er ikke en kunnskapsskole. Utdanningsnytt. https://www.utdanningsnytt.no/steffen-handal-testing-utdanningsforbundet/resultatskolen-er-ikke-en-kunnskapsskole/379367
• Hanushek, Eric A. og Woessmann, Ludger, (2015a): «Teach the World Why the UN Sustainable Development Goals Should Focus on Education», i Foreign Affairs, 20.august 2015
• Hanushek, Eric A. og Woessmann, Ludger, (2015b): The Knowledge Capital of Nations, MIT Press, Boston.
• Hanushek, Eric A.; Machin, Stephen og Wössmann, Ludger (red.) (2016): The Handbook of the Economics of Education Volume 5, Elsevier.
• Muller, Jerry Z. (2019): The Tyranny of Metrics: How the obsession with quantifying human performance threatens our schools, medical care, businesses, and government, Princeton University Press, Princeton.
• Nilsen, Trude og Hege Kaarstein (red.) (2021) Med blikket mot naturfag. Nye analyser av TIMSS 2019-data og trender 2015–2019. Universitetsforlaget, Oslo.
• Sjøberg, Svein (2019) “PISA: A success story? Global Educational Governance by standardization, rankings, comparisons and “successful” examples” i In Langer, L & Brüsemeister T. (red) Handbuch Educational Governance- Theorien. p 653-690 Heidelberg: Springer V
• Svan der Kooij, M. A. (2020). The impact of chronic stress on energy metabolism. Molecular and Cellular Neuroscience, 107, 103525. https://doi.org/https://doi.org/10.1016/j.mcn.2020.103525
• Vogel, S., & Schwabe, L. (2016). Learning and memory under stress: implications for the classroom. npj Science of Learning, 1(1), 16011. https://doi.org/10.1038/npjscilearn.2016.11

---

^[1] I originalen: “«The discounting or ignorance of long-term consequences is particularly useful for describing suboptimal education behavior.»