Pilotstudier og feasibility-studier for komplekse interventioner – notater

Pilotstudier og feasibility-studier for komplekse interventioner

Introduktion
Ligesom piloten i et komplekst luftfartsscenario ikke giver garanti for en gnidningsfri opstart, er der risiko for planlægningsfaldgruber hos forskere ved at lade et forskningsidé ‘flyve’ uden ordentlig test. Planlægningsfejlen (planning fallacy) betyder at forskere undervurderer tid, omkostninger og potentielle forhindringer ved at gennemføre et studie og ikke tester ‘model A’ af studiet før fuld skala. At lande et projekt gnidningsfrit kræver en dygtig pilot, og det samme gælder for at lancere en klinisk trial af en kompleks intervention. Et pilot- eller feasibility-studie er ofte et nødvendigt skridt i planlægningen og implementeringen af en klinisk trial. Vi introducerer begreberne pilotstudie og feasibility-studie i en klinisk-trials-kontekst og giver eksempler relevante for forskere, der planlægger komplekse interventioner. Læringsmålene er at kunne definere pilot- og feasibility-studier, sætte dem i relation til kompleks interventionsforskning, og forstå centrale designovervejelser.

Definitioner og formål
Ifølge Oxford English Dictionary defineres et pilot som at teste et scheme eller projekt før det udbredes. I epidemiologi og statistik beskrives et pilotstudie som en lille skala-test af metoder og procedurer, der skal bruges i en større undersøgelse, hvis pilotstudiet viser at metoderne virker. Feasibility (gennemførlighed) beskrives som forundersøgelse der samler information til planlægningen af et hovedstudie – fx antal potentielt kvalificerede deltagere og andelen der deltager, tidsplaner for besøg, og om målemetoderne kan fungere. Feasibility-studier er ikke kun for kliniske forsøg; de bruges bredt i forretnings- og engineering-projekter til at identificere styrker og svagheder, informere driftsplaner og evt. til at overbevise investorer om gennemførligheden af projektet. Hovedideen er at identificere potentielle forhindringer for succes (f.eks. lav rekruttering, dårlig fastholdelse) og nødvendigt informationsgrundlag til at færdiggøre studiedesignet, før en stor trial igangsættes.

Pilotstudie vs feasibility-studie – er de ens eller forskellige?
Pilotstudier og feasibility-studier bruges ofte som synonymer, men kan også defineres som forskellige enheder. En pilotstudie betegnes ofte som en lille skala-version af et main-studie, der anvender samme protokol og vurderer primære udfald ligesom hovedforsøget. En feasibility-studie er en for-studie, der indsamler informationer til at formulere planen for hovedundersøgelsen og fokuserer på specifikke design- eller procesaspekter, fx hvor mange der er potentielt berettigede, fastholdelse, eller præcision i outcome-målinger. Uanset betegnelse er målet at informere udviklingen og gennemførelsen af et planlagt studie. Vurderingen af hvorvidt man skal anvende en pilot eller feasibility afhænger af forskningsspørgsmålet og hvilken information der er nødvendig for at designe hovedforsøget. Nogle spørgsmål kræver som regel test i en mindre replica af protokollen (f.eks. screening til rekrutteringsratio ved et studie med syv klinikbesøg), mens andre kun kræver feasibility-studier der overvåger populationer over en afgrænset periode for at estimere antal eligible.

Et eksempel på kompleks intervention – BOX 13.1
Forestil dig en klinisk trial af en kompleks intervention bestående af tre komponenter: (1) en session motivational interviewing leveret af en fysioterapeut, (2) en gruppebaseret uddannelses-session og (3) en skriftlig handlingsplan for øvelse. Interventionen leveres ved én lejlighed, og effekten målinges seks måneder senere med fokus på livskvalitet og aktivitetsniveau. For at teste gennemførelsen af interventionen og procesudfald (fx tid til levering af hver komponent og andel af gennemførte komponenter) kan man rekruttere et bekvemt udvalg af deltagere, og hvis forskningsspørgsmålet udelukkende vedrører feasibility af interventionen, er det ikke nødvendigt at gennemføre seks måneders follow-up svarende til hovedforsøget.

Overvejelser i designet af pilot- eller feasibility-studier
Vigtige overvejelser inkluderer kriterier for succes (a priori) og balancen mellem ideal og realistisk gennemførlig gennemførelse. For eksempel et pilotstudie, der tester implementeringen af protokollen, kan have udfald såsom beslutninger om hvorvidt trialen eller nogle elementer er mulige, mulige med modifikationer, eller mulige som de er. Population og prøveudvalg skal være representative for hovedpopulationen. Størrelsen bør være tilstrækkelig til at give nyttig information om de områder, der vurderes. Finansiering kan være mulig for pilot- eller feasibility-studier, hvis der kan argumenteres for behovet og vigtigheden af hovedforsøget. Ofte er der behov for at vurdere hvorvidt pilot- eller feasibility-designets studieprocesser ligner hovedforsøget (intern pilot, rolling pilot) og hvordan studiets ressourcer og tidsplaner kan justeres.

Nogle overvejelser ved design af pilot- eller feasibility-studier inkluderer kriterier for succes, lighed mellem designet og hovedforsøget, målpopulation og stikprøvestørrelse, samt finansiering. Når designet ligner hovedforsøget (intern pilot), kan data fra pilotstudiet muligvis bruges i den endelige analyse, hvis protokollerne ikke afviger væsentligt fra hinanden. En vigtig pointe er at testen af spørskemaer, randomisering eller outcome-målinger kan kræve forskellige tilgange, afhængigt af spørgsmålet, og nogle spørgsmål kan besvares uden at simulere hele protokollen.

Eksempler på feasibility- eller pilotstudier og deres anvendelser i komplekse interventioner
Komplekse interventioner indebærer ofte større designmæssig kompleksitet end uafhængige lægemiddelstudier. Pilot- eller feasibility-studier kan informere kliniske, proceduremæssige eller metodemæssige områder. Kliniske formål kan inkludere at teste hvor villige sundhedsudbydere er til at bidrage til forskningen og at efterleve protokollen; feasibility-studier kan informere interventionens udformning, inklusive hvordan interventionen administreres, hvem der leverer den, hvilken setting den passer i, dokumentation, standardisering og hvordan man sikrer interventionens fidelity (konsistens og nøje reproducerbarhed). Procedurale studier kan vurdere potentielle rekrutteringskapaciteter og tidsforbrug for rekruttering, fastholdelse og følgetilstand (herunder cluster-randomiserede forsøg). Metodologiske feasibility- eller pilotstudier kan evaluere responsiviteten af outcome-målinger eller kortlægge manglende data og sikkerheden af et nyt udstyr. Tabeller i litteraturen viser eksempler på publicerede pilot- eller feasibility-studier og de områder, hvor de har identificeret justeringer til hovedforsøget. En vigtig pointe er at engagere brugere af forskningen gennem integrated knowledge translation for at øge sandsynligheden for praksisændringer.

Rapportering og ressourcer
Det anbefales at publicere resultaterne fra pilot- eller feasibility-studier for at dele læring og fejl. For kliniske forsøg findes der CONSORT-retningslinjer og ekstrapoleringer for pilotstudier under udvikling. Eksempler på nyttige ressourcer inkluderer Thabane et al. (2010) samt SPIRIT og CONSORT-ressourcer. Afslutningsvis konkluderes det, at pilot- eller feasibility-studier kan forbedre chancerne for at et stort, dyrt studie når sine mål og kan inddrage brugere af viden i forskningen, hvilket kan øge chancerne for implementering i praksis.

Hvordan man bruger feasibility og pilotstudier til at teste alternative metodologier og metodologiske procedurer før fuldskala- trials

Indledning
Feasibility- og pilotstudier spiller en central rolle i sundhedsvidenskaben ved at give information til planen for en fuldskala RCT. MRC-vejledningen understreger at pilot- og feasibility-studier er essentielle i udviklingen og testningen af en intervention inden en stor evaluering. Før kapitalinvestering i fuldskala trials kræves der ofte beviser fra pilot-/feasibility-studier for at svare spørgsmålet: “Kan dette fuldskala-studie gennemføres?” Der er mange usikkerheder, som disse studier kan adressere, fx om interventionen er acceptabel for deltagere og klinikere, eller om målebatteriet og outcome-vurderingerne vil være acceptable for deltagere. Fokus her er specifikt på metodologiske usikkerheder og procedurer, fx om de foreslåede outcome-målinger kan bedømmes pålideligt, eller om primære outcomes kan måles blindet.

Tre nyligt gennemgange har dokumenteret anvendelsen af feasibility- og pilotstudier og identificeret centrale metodemæssige usikkerheder som: rekruttering, randomisering, fastholdelse/udfald, blinding og dataindsamling/outcome-vurdering. Tabellen i kapitlets afsnit beskriver tilgange til disse fem områder og mulige outcomes. Progresion fra pilot/feasibility til fuldt forsøgsdesign bør hvile på tydelige, foruddefinerede progressionkriterier. Et eksempel fra Cooper et al. (MS) viste at recruitment-rate var lavere end forventet og illustrerede hvordan dette påvirker beslutningen om progression til et definitivt RCT. Desuden præsenteres regler for progression i en senere tabel, der beskriver tre scenarier baseret på andelen af rekrutterede og andelen der engagerer sig i interventionen.

Metodiske usikkerheder og tilgange til deres adressering
Gennemgangen fremhæver tre hovedområder hvor usikkerheder ofte adresseres i feasibility- og pilotstudier: 1) rekruttering; 2) randomisering; 3) fastholdelse/udfald; 4) blinding; 5) dataindsamling og vurdering af outcomes. Eksempler på tilgange inkluderer overvågning af flow og effektive rekrutteringsstrategier, test af forskellige randomiseringsprocedurer og vurdering af accept og gennemførlighed af særlige outcomes. En ofte anvendt tilgang er at anvende en stratificeret-by-metode-tilgang (stratified-by-method design), hvor man randomiserer både tilgange som rekrutteringsstrategier og derefter randomized deltagere til interventioner. Den DDELPHI-feasibility-undersøgelse (Warren et al., 2014) brugte en 2x2 factorial design til at undersøge både rekrutteringsstrategier (opportunistisk vs systematisk) og randomiseringsmetode (individuel vs klyr-randomisering) samt praksis-forhold. Resultater viste: opportunistisk rekruttering var forbundet med kortere tid til rekruttering (gennemsnitlig forskel 55 dage; 95% CI: [6, 104]), men større tab til follow-up. Der var ingen forskel i rekrutterings- tid mellem klynge- og individuel randomisering. En fuld trial ville måtte afveje tidsrammen for fuld rekruttering mod fastholdelse i valgte strategier.

Kollektivt designvalg i pilot-/feasibility-studier
Et hyppigt spørgsmål er valget mellem individuel randomisering og cluster-randomisering. Cluster-RCTs giver mulighed for at implementere interventioner der ikke retter sig mod enkelte individer (fx implementering af nye kliniske retningslinjer i almen praksis) og undgår kontaminering på individniveau, men de er sværere at analysere og kræver ofte større prøver for samme statistiske kraft. DDELPHI-undersøgelsen illustrerede at forsøget bør overvejes på individniveau i fuldskala-trialen, da dette var mest effektivt med hensyn til sample size og ikke viste væsentlig forskel i rekruttering eller follow-up mellem randomiseringsmetoderne. I en fuld trial skal man afveje tidsforbrug ved rekruttering mod tab til follow-up og vælge rekrutteringsstrategi for at optimere gennemførelsen.

Kriterier for progression fra intern pilot til fuldt trial
En vigtig del af designprocessen er regler for progression. Tabellen illustrerer tre scenarier baseret på andelen af den interne pilot, der er rekrutteret, og andelen der engagerer sig i interventionen. Scenario 1: Rekruttering < 65% (f.eks. mål 180 patienter) og lav engagement; Handling: Ingen videre progression til fuldt trial. Scenario 2: Rekruttering 65–79% og engagementsniveau tilsvarende; Handling: Drøft med Trial Steering Committee og finansieringsgivere om progression og de ressourcer der er nødvendige for at nå målene. Scenario 3: Rekruttering ≥ 80% og engagement ≥ 80%; Handling: Gå videre til fuldt trial. Dette giver et klart rammeværk for beslutninger omkring videre gennemførelse baseret på konkrete, foruddefinerede kriterier.

Valg mellem feasibility- og pilotstudier for at adressere metodologiske usikkerheder
Definitionerne varierer, men feasibility-studier beskrives ofte som mere fleksible designs, der kan omfatte forskellige elementer for at informere hovedstudiet og er ofte ikke randomiserede. Pilotstudier anvendes ofte som miniature-versioner af hovedstudiet og anvender ofte randomisering. Nogle spørgsmål kan adresseres i ikke-randomiserede feasibility-studier (f.eks. fremskaffelse af data, vurdering af dataindsamlingens byrde), mens andre spørgsmål kræver en RCT for at vurdere randomisering, blinding og håndtering af uligheder mellem grupper. Strukturen kan også omfatte stratificeret-by-tilgange, hvor man randomiserer over flere metoder for at kvantificere effekten af en bestemt metodologisk beslutning under kontrollerede forhold. Sammenfattende: feasibility- og pilotstudier er vægtige værktøjer til at afklare og forfine metoder og procedurer før fuld trial – og giver en mulighed for at engagere brugere og interessenter i forskningen og i beslutninger om praksisændringer.

Nøglepunkter og praktiske implikationer

  • Pilotstudier tester den gennemførte navigation af hovedstudiets processer og dikterer feasibility of protokol-elementer; feasibility-studier undersøger små dele af designet uden nødvendigvis at efterligne hele protokollen.

  • Kriterier for succes bør være foruddefineret og afbalanceret mellem ideal og realisme. Udfald kan være: ikke gennemførligt; gennemførligt med ændringer eller overvågning; gennemførligt som det er.

  • Population og stikprøvestørrelse bør afspejle hovedpopulationen og give meningsfuld information.

  • Relevante numeriske referencer og eksempler inkluderer: rekruttering til fuld trial, fasede tidsplaner, og attrition. Eksempler: 240 deltagere som mål, mindst 20 deltagere pr. måned i tre måneder for at være på sikker vej til hovedundersøgelsen; en intern pilot kunne være af 180 deltagere som mål i tre faser, og progression vurderes ud fra rekalkuleret sample size.

  • Eksemplerne i Kapitel 13 og Kapitel 14 understreger at pilot-/feasibility-studier ikke blot er forberedelse; de kan engagere interessenter, bidrage til praksisrelevans og informere planlægningen af den endelige forskning.

Praktiske eksempler og ressourcer
Eksempler på små feasibility/ pilot-indsatser inkluderer evaluering af: acceptabilitet og brugervenlighed af beslutningsstøttende værktøjer, rekruttering, tid og ressourcer til rekruttering, og følgetilstand ved afprøvning af komplekse interventioner. Tabellen 13.1 giver konkrete eksempler og resultater for forskellige typer interventioner (kliniske, procedurale og metodemæssige) og viser hvordan pilot-/feasibility-studier kan identificere områder der kræver ændringer i hovedforsøget. Kapitel 13.2 og 14.1-14.3 præsenterer yderligere ressourcer og vedligeholdelsesstrukturer (f.eks. SPIRIT, CONSORT-udvidelser) til rapportering og design af disse studier. Afslutningsvis understreges at pilot-/feasibility-studier ikke blot planlægning, men også en mulighed for tidlig inddragelse af videnbrugere i forskningen, hvilket kan føre til bedre implementering i praksis.

Sammenfatning
Samlet set kan pilot- og feasibility-studier forbedre chancerne for succes for store, dyre trials ved at identificere og adressere metodologiske og operationelle usikkerheder før fuld skala. De giver også mulighed for tidlig inddragelse af interessenter og dermed øge relevansen og anvendeligheden af forskningen i praksis.

Yderligere læsning og ressourcer

  • Thabane et al. (2010) A tutorial on pilot studies: the what, why and how. ( ext{BMC Medical Research Methodology})

  • Lancaster, G.A., Dodd, S. og Williamson, P.R. (2004) Design and analysis of pilot studies: recommendations for good practice. ext{J Eval Clin Pract}., 10: 307-12

  • Shanyinde, M., Pickering, R.M. og Weatherall, M. (2011) Questions asked and answered in pilot and feasibility randomized controlled trials. ext{BMC Med Res Methodol}., 11:117

  • Arain, M. et al. (2010) What is a feasibility study? A review of definitions, purposes, and outcomes. { ext{BMC Med Res Methodol}}

  • Wittes and Brittain (1990); Tickle-Degnen (2013) for discussions on internal pilots and reporting

Konklusioner
Kort sagt kan pilot- og feasibility-studier forbedre gennemførelsen af store, komplekse kliniske trials ved at klarlægge og løse metodiske og operationelle udfordringer forud for fuldskalaundersøgelser. Ved at engagere interessenter tidligt i processen og ved at etablere klare progressionkriterier kan forskere øge sandsynligheden for at praksis ændres som følge af forskningen.