Flashcards - Emne 11: Evaluering af design i felten

Hvilke tre kontekster for design research identificerer Koskinen et al.?

1) Lab (kontrolleret laboratoriemiljø, hvor variable kan isoleres), 2) Field (i brugernes naturlige omgivelser med kontekstens kompleksitet), 3) Showroom (udstillingsrum, hvor design præsenteres som diskursive artefakter for publikum).

Hvad mener Koskinen et al. med "lab decontextualizes, field contextualizes"?

Lab fjerner kontekst for at isolere fænomener (man kan studere én ting ad gangen, men taber realisme). Field bevarer kontekst (man får realistiske data, men mister kontrol). De to tilgange supplerer hinanden og har hver deres styrker og svagheder.

Hvad er showroom som forskningsmiljø?

En udstillingskontekst, hvor designet præsenteres som et diskursivt objekt (fx på en designudstilling eller en konference) der inviterer til kritisk refleksion frem for direkte brug. Det åbner samtaler om mulige fremtider og rejser kritiske spørgsmål.

Hvilke fire guidelines opstiller Kurvinen et al. for field-baseret design research?

1) Ordinary social setting (almindelige hverdagsomgivelser), 2) Naturalistic methods (metoder der ikke forstyrrer brugen unødigt), 3) Openness (åbenhed mod uventede fund), 4) Sufficient time span (tilstrækkelig tid til at praksis kan udspille sig).

Hvad betyder "ordinary social setting" som guideline?

Designet skal evalueres der, hvor det skal bruges - i hjemmet, på arbejdspladsen, i fællesskabet. Det udelukker laboratorietest som primær evaluering af noget der skal indgå i hverdagspraksis.

Hvad betyder "openness" som guideline?

Forskeren skal være parat til at opdage noget andet end det, hun ledte efter. Field-evaluering åbner for emergente fund, fordi virkeligheden er rigere end forskerens hypoteser. Det kræver fleksibilitet og refleksivitet.

Hvorfor er "sufficient time span" vigtig?

Fordi mange aspekter af brug - vaner, rutiner, sociale forhandlinger, læring, reparation - kun viser sig over tid. En kort test fanger førsteindtryk, ikke faktisk brug. Field-evaluering tager den tid praksis kræver.

Hvilke fire dimensioner af evaluering identificerer Bossen et al.?

1) Hvem evaluerer (designere, brugere, eksterne)? 2) Med hvilke kriterier? 3) På hvilket tidspunkt? 4) Med hvilke metoder? Evaluering i PD er aldrig neutral, men bærer altid magtpositioner.

Hvad er forskellen på outputs, outcomes og impact i Bossen et al.'s tænkning?

Outputs = de direkte resultater af designprocessen (rapport, prototype, beslutning). Outcomes = de ændringer i praksis det medfører for deltagerne på kort sigt. Impact = de langsigtede, bredere effekter for organisation, fællesskab eller samfund. PD evaluerer alle tre.

Hvorfor må PD evaluere mere end produktet?

Fordi PD også sigter mod empowerment, læring, demokrati og relationer - altså dimensioner der ikke kan måles ved produktets funktion alene. At evaluere kun produktet ville reducere PD til en brugercentreret produktudvikling og overse dens politiske kerne.

Hvad er et wicked problem ifølge Buchanan?

Et problem der ikke har en klar formulering, ingen entydig løsning, ingen "rigtig/forkert"-svar (kun "god/dårlig"), og som kun viser sig fuldt ud, når man har forsøgt at løse det. Bæredygtighed og energi-fællesskaber er klassiske wicked problems.

Hvad er konsekvensen af at acceptere et problem som wicked?

At evaluering ikke kan måle "om løsningen er rigtig", men kun om den er god eller dårlig i forhold til kriterier man selv har sat. Evaluering bliver dermed en fortolkende, situeret og politisk handling, ikke en objektiv test.

Hvorfor er wicked problems-tænkning vigtig for evaluering?

Fordi det forklarer, hvorfor kvantitative succeskriterier sjældent rækker. Når problemer er åbne, må evalueringen være ligeledes åben, kvalitativ og refleksiv - ofte foretaget gennem dialog med brugere, ikke kun gennem målinger.

vad er hovedpointen hos Christiansson et al. om redesign og refleksion?

At evaluering ikke kun handler om at vurdere, om designet virker, men også om at lære af processen og generere nye designspørgsmål. Redesign er en naturlig del af evaluering, og refleksion over hele forløbet er en kerneaktivitet for designeren.

Hvad er forskellen på "getting the design right" og "getting the right design" i evaluering?

Getting the design right = forfine en valgt løsning (har vi det rigtige produkt?). Getting the right design = finde ud af om vi overhovedet har valgt det rigtige problem og den rigtige retning. Field-evaluering kan adressere begge, men spørger ofte hovedsageligt det første - og bør udvides til også at stille det andet.

Hvor på Koskinens lab/field/showroom-akse placerer vores experience prototyping med Helle og Henrik sig?

Field. Vi tester vores app i Helle og Henriks hjem og hverdag, ikke i et laboratorium. Selve EXPO'en bliver derimod showroom: en udstillingskontekst, hvor vores design præsenteres som diskursivt objekt for et bredere publikum og inviterer til kritisk refleksion.

Hvilke af Kurvinens fire guidelines udfordrer os mest?

Sufficient time span. Vores test foregår over en kort periode, ikke over uger. Det er en strukturel begrænsning i et semesterprojekt, og vi må eksplicit acknowledge den - vi får førsteindtryk, ikke vaneindlejret brug. Det vil vi reflektere over i eksamenssvaret.

Hvordan evaluerer vi outputs, outcomes og impact (Bossen et al.) i vores projekt?

Outputs: prototypen og rapporten. Outcomes: hvordan Helle og Henrik faktisk reagerer på og handler med appen. Impact (idealtypisk): om designet på sigt kunne understøtte energifællesskab i Brabrand mere bredt - hvilket vi kun kan diskutere, ikke måle.

Hvor i vores case træder wicked problems-karakteren (Buchanan) tydeligt frem?

Energifællesskab er et klassisk wicked problem: ingen entydig definition, ingen objektiv løsning, og selve forsøget på at designe afslører nye lag af problemet (fx at Helle og Henrik forstår fællesskab forskelligt). Det betyder, at vores evaluering må være kvalitativ og fortolkende.

Hvor i vores arbejde optræder Christianssons redesign-tænkning?

Skiftet fra web til app (vores breakdown i P3) er et eksempel på, at evaluering førte til redesign frem for blot at validere. Vi lærte af samtalen om mockups, reflekterede over det, og lavede en design move til et nyt format. Evalueringen genererede nye spørgsmål, ikke kun svar.

Hvilken kritik kan rejses mod field-evaluering som metode?

Den er tidskrævende, svær at replicere, afhængig af forskerens tilstedeværelse og fortolkning, og giver sjældent generaliserbare resultater. Den kan også blive overbelastet af kontekstuelle faktorer, der gør det svært at isolere, hvad der virkelig skyldes designet.

Hvordan supplerer Koskinen og Bossen hinanden?

Koskinen leverer en geografisk akse (hvor evalueres? lab, field, showroom). Bossen leverer en politisk-relationel akse (hvem evaluerer, med hvilke kriterier, om hvad?). Sammen giver de et fuldt billede af, hvordan evaluering i brugerdrevet design er både situeret og positioneret.

Hvordan hænger emne 11 sammen med emne 09 (prototyper)?

Emne 09 leverer prototypen som objekt for evaluering. Emne 11 leverer rammen for, hvor og hvordan evaluering skal foregå. En prototype evalueres typisk i field for at fange experience (Buchenau & Suri), eller i showroom for at åbne diskursive samtaler om mulige fremtider.