Vi beskriveri det følgende seks metoder til evaluering af implementeringen af Safewards på ditafsnit/afdeling/hospital/region. Ingen af dem er perfekte, og alle har de fejl og besværligheder af en eller anden slags. Det er muligt at bruge mere end én af disse evalueringsmetoder, men det kan vise sig besværligt og upraktisk, alt afhængig af de ressourcer der er tilgængelige for jer.

Hvis I udfører en omhyggelig evaluering, forsøg da venligst at offentliggøre den, uanset om resultaterne er positive eller negative. Det er meget vigtigt for os alle, at vi indsamler evidens til at understøtte fremtidige beslutninger og handlinger.

Ingen evaluering

Mange, hvis ikke de fleste forskningsbaserede interventioner, er implementerede uden videre evaluering. RCT (randomiseret kontrolleret forsøg) erden gyldne standard for evidens (Gold Standard). På baggrund af RCT-studier har psykiatrien introduceret tidlige interventionsteams, clozapin, kriseinterventionsteams, osv. FordiSafewards studiet er et RCT studie der er udførtvidenskabeligt redeligt, peer reviewedogpubliceret, er der ikke behov for videre indsamling af evidens lokalt. Safewards-interventionerne fungerer. Hvis afsnittene implementerer dem, vil de opnå lignende resultater.

Styrker: Intet ekstra arbejde er nødvendigt, der er ingen skemaer at udfylde, ingen dataanalyser eller rapporter, der skal udarbejdes. Al indsats kan fokusere på reelt klinisk arbejde med patienter og på at implementere Safewards-interventionerne på en grundig og omhyggelig måde.

Svaghed: Der vil ikke blive produceret feedback på noget niveau, ikke til personalet på afsnittene eller til direktionerne. Da feedback ofte er efterspurgt for at motivere i implementeringsprocessen,skabe potentiale for entusiasmeom implementeringen eller for at overbevise ambivalent personale, er dette en svaghed,da disse muligheder måske mindskes.

Eksisterende data fra indrapportering

Afgræns en tidsperiode før og en tidsperiode efterimplementeringen af Safewards. Disse to tidsperioder skal være af samme varighed. Kig så på antallet af rapporteredehændelser indenfor disse to tidsperioder for at se, om de er faldet, efter Safewards blev implementeret. Forskellige typer af konflikthændelser(aggression, absentering, selvskade, brug af stoffer/alkohol) kan tælles sammen for at lave en oversigt over hyppigheden af konflikter til sammenligning. Ligeledes kan forskellige typer af kontrollerende handlinger (akut beroligende medicinering med tvang, tvangsfiksering, fastholdelse, øget observationsniveau) lægges sammen for at lave en oversigt over hyppigheden af kontrollerende handlinger til sammenligning før og efter – hvis du har pålidelig information om denslags hændelser.

For at det skal være anvendeligt, skal dette udføres med en vis omhyggelighed, da der er to problemer, der skal overvindes:

1. Indberetning af systematiske fejl (bias) og manglende data.Personalethar forskellige grænser for, hvornår de laver en indrapportering. F.eks. indberetter nogle afsnit flere episoder, måske fordi de er mere tilbøjelige til at indberette tilfælde af verbal aggression end andre afsnit. Vi foreslår derfor, at dui din evaluering kun inkluderer de mere alvorlige episoder, som indberettes mere stringent og pålideligt(fysisk aggression, skade på ejendele, succesfuld absentering, selvskade), og udelader mindre seriøse episoder (nægter at indtage medicin, tyveri, verbal aggression, absenteringsforsøg). Hvis du har pålidelige data om brugen af fastholdelse og tvangsfiksering, kan du også bruge disse i en separat evaluering.
2. Skelnen mellem tilfældige udsving og en reel effekt fra Safewards-interventionerne.

Heldigvis er konfliktepisoder eller episoder med kontrollerende handlinger, der er tilstrækkeligt alvorlige til at blive rapporteret, relativt sjældne. Deres hyppighed varierer også i en vis grad. Det betyder, at hvis jeg tager en kort periode og et lille psykiatrisk område (lille population), vil nogle af de stigninger og fald i antallet af episoder før og efter Safewards-interventionerne, være tilfældige. De vil ikke være udtryk for en reel effekt. Et ekstremt eksempel til at illustrere det kunne være, hvis man udvælger et afsnit og afgrænser en periode på en uge før implementeringen og en uge efter, hvor der kan væreén episode i perioden før og ingen i perioden efter. Det er langt mere sandsynligt, at det er på grund af tilfældigheder snarere end effekten af Safewards. Ligeledes vil ingen optrin før og et bagefterikke betyde, at Safewards ikke har haft effekt. Mange kliniske analyser er på den måde vildledende, og de er udtryk for spild af kræfter, såvel som de fører til fejlagtige konklusioner.

For at få bugt med deudfordringer er det nødvendigt at benytte meget lange perioder for det enkelte afsnit, før nogen konklusion kan drages. Vi vil anbefale et gennemsnit på mindst seks måneder og helst et år for et enkelt afsnit. Det betyder et års data, før Safewards er implementeret, og et års data bagefter. Billedet er mere retvisende, når analysen er foretaget, og konklusionerne er draget på flere niveauer (f.eks.afsnit, afdeling oghospital/region). Så kan kortere perioder benyttes, måske tre måneder i den indledende periode og tre måneder efter implementeringen. Dog, når du skal analysere dine resultater på regionsniveau, kan du ikke giveindividuel feedback til afsnittene – med den betydning,at det enkelte afsnit reelt bliver usynligt.

Den nøjagtige periode, der kræves, afhænger af hyppighed af konfliktepisoder og episoder med kontrollerende handlinger, og vi vil råde dig til at søge støtte hos nogen med statistisk kendskab til at rådgive om den præcise periode, der kræves, for at give en evaluering på et specifikt niveau (afsnit, afdeling, hospital/region).

Denne evalueringsplan kan forstærkes ved at implementere Safewards på nogle afsnit, men ikke på andre, og sammenligne ændringerne i hyppighed af konfliktepisoder og episoder med kontrollerede handlinger på tværs af begge (forsknings)arme. Hvis hyppigheden så er nedadgående på interventionsafsnittene, men ikke på andre, vil du have yderligere bevis på effekten.

Dette kræver dog (i) større statistisk finesse, og der vil være brug for hjælp til at afgøre, hvor mange afsnit og i hvor lang tid, og (ii) de afsnit og patienter, der ikke modtager interventionen, bliver udeladt og kan pådrage sig skade, der ellers kunne have været undgået. Denne type af evalueringkan nok ikke betegnes som udviklingsprojekt og vil kræve en formel tilladelse fra den lokale videnskabsetiske komite. Medmindre selvfølgelig, at planen udgør en del af en planlagt fortløbende implementering af Safewards på tværs af dit hospital/region.

Styrker: Ingen yderligere dataindsamling er nødvendig, og hvis du er opmærksom på påvirkning af pålideligheden og udfordringer med registrering af hændelser, der er beskrevet ovenover, så vil evalueringen blive mere robust (signifikant). For resultater på hospitals-/regionsniveau, er dette sandsynligvis et brugbart design.

Svagheder: Nogenstatistisk rådgivning og planlægning er påkrævet. Hjælp til at analysere resultatet ved brug af statistiske modeller kan også blive nødvendigt. At opnå et resultat pr. afsnit kræver lange tidsperioder, og derfor er denne metode højst sandsynligt ikke god til at fremskaffe hurtig feedback til tilvejebringelse af engagement og entusiasme.

Andre eksisterende datakilder til førog efter-måling

Det kan være, at dit hospital/regionsystematisk indsamler andre informationer fra afsnittene. F.eks.indsamler nogle hospitaler/regionerkontinuerlige patienttilfredshedsundersøgelser. Det kan være muligt at bruge disse typer af data til at udarbejde en før og efter-analyse.

Igen er antallet vigtigt. For at kunne udlede noget om forbedringer på enkelte afsnit er det nødvendigt med et stort antal. Det præcise antal af patienttilfredshedsskemaer påkrævet i før og efter-perioden afhænger af de statistiske kvaliteter af det anvendte spørgeskema. En grov tommelfingerregel ville være mindst 30 spørgeskemaer i førperioden til at sammenligne med mindst 30 spørgeskemaer i efterperioden. Vi foreslår, at du søger hjælp til statistik at finde det præcise antal, du ville få brug for.

Ligesom med de tidligere nævnte registreringer af hændelser vil denne metode have større styrke på hospitals-/regionsniveau på grund af det store antal spørgeskemaer, der kan inkluderes i målingen.

Styrker: Ingen yderligere dataindsamling er nødvendig.

Svagheder: Statistisk rådgivning om populationsstørrelser og hjælp med dataanalyse kan blive nødvendig. Ethvert resultat vil være indirekte og vil afhænge af, hvor godt de data, du anvender,repræsenterer de faktiske konflikter og kontrollerende handlinger. Ligegyldigt hvordan resultaterne af en sådan evaluering fremtræder, vil det ikke blive anset som stærk eller robust evidens.

Analyse af allerede eksisterende data og tiden mellem episoderne

Denne metode benytter de data omhændelser før og efter implementeringen af Safewards, som beskrevet tidligere. Men i stedet for at analysere hyppigheden af episoder i de angivne perioder før og efter er det perioden mellem episoderne (antal dage), der har indflydelse på udfaldet/outcome. Hvis antallet af dage mellem hændelser øges, så virker Safewards-interventionen.

Denne metode stammer fra en gren af matematikken, der kaldes ”Statistisk proceskontrol” og er meget udbredt i industrien i forbindelse med kvalitetskontrol. I den seneste tid er dette blevet inddraget i sundhedssektoren, af IHI (Institute for Healthcare Improvement)i USA i forbindelse med MRSA-infektioner, kirurgiske utilsigtede hændelser osv. Ved at bruge disse metoder bliver det muligt at konstruere t-diagrammer over perioden mellem episoderne i de enkelte afsnit, hvilket vil gøre det muligt for personalet (eller kvalitetsafdelingen) at kortlægge hændelser og hurtigt afgøre, om der er tale om en forbedring eller ej, og endog indikere, hvorvidt disse forbedringer er statistisk betydningsfulde.

At udarbejdedissediagrammer kræver en vis matematisk finesse. Formlen kan findes i bøger om ”Statistisk proceskontrol”, som nemt kan lokaliseres på Amazon eller i en lignende søgning. Noget information er muligvis også tilgængeligt på IHI’s hjemmeside. På grund af ophavsret kan vi desværreikke levere kopier af disse.

Benneyan, J.C., Lloyd, R.C. & Plsek, P.E. (2003) Statistical process control as a tool for research and healthcare improvement. Quality and Safety in Health Care 12: 458-464

Styrker: Disse diagrammer giver en relativt hurtig feedback på afsnitsniveau og kan derfor vise sig meget nyttige til at øge motivationen til ændringerne og til at belønne dem, som har gjort en indsats for at implementere Safewards-interventionerne.

Svagheder: Tilgangenhar en antagelse om, at konflikt eller kontrollerende handlinger i førperioden sker med en konstant hyppighed. Den antagelse er dog sandsynligvis ikke helt sand, dader konstant sker ændringer i forhold til personale og politikker på akutte psykiatriske afdelinger, og da en del af disse er knyttet til udfaldet af konflikt og kontrollerende handlinger (se Safewardsmodellen). Det er derfor nødvendigt at have visse forbehold ved tolkningen af disse diagrammer. Diagrammerne er frustrerende komplicerede at udarbejde, og hjælp og oplæring kan derfor vise sig nødvendig. Afsnitspersonalet vil få brug for instruktioner om, hvordan disse diagrammer skal udfyldes, og hvilken betydning ændringerne har, eftersom en stigende kurve på ulogisk vis betyder flere dage mellem episoder og derfor repræsenterer succes.

Safewards-interventionsprocesmålinger

Dette er en anden måde til at bedømme resultatet af Safewards-interventioner på indirekte vis. I stedet for at måle resultatet i form af konflikter og kontrollerende handlinger direkte vil man med denne metode evaluere graden af implementeringen af Safewards-interventioner. Med andre ord, så forsøger man at måle, i hvor høj grad afsnitspersonalet rent faktisk gør brug af de 10Safewards-interventioner. Hvis der er evidens for, at de benytter dem i høj grad, så kan du forvente et positivt slutresultat. Hvis afdelingspersonalet ikke benytter dem i særlig høj grad, så kan du antage, at resultatet er ringere eller ubetydeligt.

I løbet af forskningen brugte vi denne tjeklisten ”Tjekliste for kvalitetskontrol ved forskningsbesøg”. Du kan også bruge den eller tilpasse den. Tjeklisten inkluderer alle de faktorer, der kan ses som bevis for brugen af Safewards-interventioner. Det er muligvis en god ide at supplere den med dine egne ideer. Den tjeklistebaserede tilgang kan kun fungere, hvis andre end afsnitspersonalet udfylder dem kontinuerligt. Derudover vil du få brug for en til at indtaste og opsummere de data, du får.

Styrker: Ingen baselinemåling eller førdata er nødvendige; denne procesmetode kan starte, så snartafsnitspersonalet begynder implementeringen af Safewards-interventioner.

Svagheder: Det er en indirekte metode, og ikke alle Safewards-interventionerne kan ses eller registreres på systematisk vis. En person skal investere tid til at udfylde tjeklisten kontinuerligt, og tid er nødvendig for at registrere data og sammenfatte demtil en rapport.

Grundig beskrivelse af Safewards-interventioner i praksis

Dette er en afart af procesmetoden, der er beskrevet ovenover. Denne metode afhænger i stedet af, at ansatte giver kvalitativ information om deres succesfulde brug af Safewards-interventionerne – i stedet for at have en uafhængig besøgende på afsnittet til at notere synligt bevis på Safewards-implementering ved brug af en tjekliste. Med andre ord er dette den strukturerede og systematiske indsamling af personalefeedback.

Ansatte på afsnittet bliver bedt om at udfylde et skema en gang om ugen, der beskriver deres brug af interventionerne, eller hvordan interventionerne har ændret deres praksis. De bliver bedt om at give specifikke eksempler på, hvordan interventionerne har hjulpet eller hindret dem i deres arbejde. Deindsendes centralt og renskrives på maskine (vi anbefaler, at de er håndskrevne på grund af skrivehastigheden blandt størstedelen af personalet på nuværende tidspunkt, dog kunne e-mail bruges, hvis du skønner, at det ikke er et problem). Feedbacken bliver så sammenfattet til en månedlig rapport centralt, som sendes tilbage til afsnittene og direktionen eller et relevant udvalg.

Styrker: Ingen baselinemåling eller førdata er nødvendige; denne procesmetode kan starte, så snart afdelingspersonalet begynder implementeringen af Safewards-interventioner. Da al data er kvalitativ, kan det medføre en virkelig stærk og overbevisende fremstilling af Safewards-interventionerne ved selve udførelsen.

Svagheder: Det afhænger af, om personalet har tid til at udfylde feedbackskemaerne og gør det tilstrækkeligt detaljeret. Feedbacken kan derfor blivepåvirket af mere positivt og entusiastisk personale,der er mere tilbøjelige til at give feedback, hvor der er mindre sandsynlighed for, at negative hændelser eller mangel på succes bliver rapporteret. Centralt tilførte/styrede ressourcer er nødvendige til evt. indtastning af skemaer og til analyse og afrapportering.

Indsamling af yderligere data om episoder ved hjælp af forskningsredskaber

Der er et antal af pålidelige og valide forskningsredskaber tilgængeligetil at optælle konflikter og kontrollerende handlinger. Under Safewards RCT og mange andre tidligere forsøg har vi anvendtfølgende spørgeark”Patient/personale-konflikt-tjeklisten”. Denne enkle tjekliste udfyldes ved afslutningen af hver vagt og tager kun få minutter af personalets tid. Den registrerer antallet af (konflikt)hændelser i løbet af vagten. Oplæringen er simpel og kan ganske enkelt bestå af en grundig gennemlæsning af ”Manual til tjeklisten ”Patient/personale-konflikt”.

For at bruge det i en evaluering vil et afsnit skulle indsamle data fra spørgearket i tre måneder før påbegyndelsen af implementeringen af Safewards og efterfølgende i mindst tre måneder, mens Safewards var i anvendelse.

Svarprocenten skulle i gennemsnit være 66% eller mere igennem disse perioder. Data ville så kunne indtastes på computer og blive analyseret statistisk for at vise ændringer.

Styrker: Brugen af forskningsredskaber gør resultaterne fra denne type analyse meget mere troværdig og overbevisende.

Svagheder: Indsamling af yderligere data er nødvendig, og personalet bryder sig ikke om mere papirarbejde. Når data er indsamlet, kræves der ressourcer til at indtaste data, og en person med statistisk kendskab er nødvendig tilanalyse og præsentation af resultaterne. Ved ikke at sammenligne med andre afdelinger, der ikke gør brug af Safewards-interventioner, kan enhver ændring ses som resultatet af lokale ændringer over tid.