Nedan presenteras sex metoder för att utvärdera införandet av Safewards på din enhet, klinik eller region. Inget sätt är perfekt och alla har brister eller svårigheter av ett eller annat slag. Det är möjligt att använda mer än en av dessa utvärderingsmetoder, men det kan vara besvärligt och opraktisk, det beror också på vilka resurser som finns tillgängliga.
Om du gör en noggrann utvärdering, försök gärna få den publicerad, oavsett om resultaten är positiva eller negativa. Det är viktigt för oss alla att vi samlar evidens för att stödja framtida beslut och implementering.
Ingen utvärdering
Många, kanske de flesta, forskningsbaserade interventioner införs utan ytterligare utvärdering. Randomiserade kontrollerade studier (Randomised Controlled Trial, RCT) ger evidens på en nivå som brukar betecknas som ”gold standard”. Utifrån RCT-studier har psykiatriska verksamheter infört nya arbetsmetoder och mediciner, med mera. När forskningen har gjorts på rätt sätt, är granskad av andra forskare och publicerats krävs ingen ytterligare lokal utvärdering. Safewardsinsatserna fungerar. Om enheterna inför insatserna så borde de i stort sett att få liknande resultat.
Styrkor: Inget extra arbete krävs, det finns inga formulär att fylla i och ingen dataanalys eller rapportskrivning behöver göras. All energi kan koncentreras på faktiskt kliniskt arbete med patienter och på att göra insatserna i Safewards på ett likvärdigt och programtroget sätt.
Svagheter: Det kommer ingen feedback om framsteg i införandet från andra, inte till personalen på avdelningarna eller till ledningen. Feedback behövs för att motivera införandet. Det kan öka engagemanget för införandet och övertyga personal som varit tveksamma.
Befintlig statistik över avvikelser
Definiera en tidsperiod före och en annan tidsperiod efter att du implementerat Safewards. Dessa två tidsperioder bör ha samma längd. Titta sedan på antalet officiellt rapporterade incidenter under dessa två perioder för att se om de har minskat efter införandet av Safewards. Olika typer av incidenter (aggression, avvikning, självskada, drog-/alkoholbruk) kan läggas samman för att skapa ett resultat som kan jämföras. På liknande sätt kan olika typer av åtgärder såsom lugnande medicin, fasthållning, fastspänning, avskiljning och övervakning läggas samman till ett resultat där man jämför före och efter införandet av Safewards.
För att vara meningsfullt måste detta utföras med viss försiktighet eftersom det finns två problem som behöver hanteras.
Att hantera partiskhet och saknade data. Personalen skiljer sig åt i när det gäller benägenhet att rapportera incidenter. Till exempel rapporterar vissa avdelningar fler incidenter eftersom de kanske är mer benägna att rapportera verbal aggression än andra avdelningar. Vi föreslår därför att du i din utvärdering endast tar med de allvarligare incidenter som rapporteras mer noggrant och tillförlitligt (fysiska angrepp, egendomsskador, när tvångsvårdad patient avviker, självskada) och utesluter mindre allvarliga incidenter (medicinvägran, stöld, förolämpningar, försök att avvika från enheten). Om du har tillförlitliga uppgifter om användning av avskiljning och/eller fasthållning/fastspänning kan du också använda dessa i en separat utvärdering.
Att skilja mellan slumpmässiga förändringar från verklig effekt av Safewards. Tack och lov är konflikter eller tvångsåtgärder som är tillräckligt allvarliga för att officiellt rapporteras relativt sällsynta. Frekvensen av dem varierar också i viss mån slumpmässigt. Detta innebär att om jag tar en kort tidsperiod i en liten verksamhet, kommer några av förändringarna i incident-frekvensen före och efter Safewardsinsatserna att vara slumpmässiga. De kommer inte att återspegla en verklig effekt. För att ta ett extremt exempel för att illustrera detta, om jag tar en avdelning under en tidsperiod på en vecka före implementering och en vecka därefter, kan jag få en incident perioden före- och ingen i efter-perioden. Detta är högst sannolikt en slump snarare än en effekt av Safewards. På samma sätt skulle inga incidenter före och en efter inte betyda att Safewards inte har fungerat. Många kliniska utvärderingar blir tyvärr vilseledande på detta sätt, vilket är ett slöseri med resurser och riskerar att leda till felaktiga slutsatser.
För att undvika dessa problem krävs mycket långa tidsperioder för enskilda avdelningar för att kunna dra några slutsatser. Vi rekommenderar minst sex månader och helst ett år för en enskild avdelning, det vill säga ett års data innan Safewards implementeras och ett års data efteråt. Ännu bättre blir det när analysen görs och slutsatser baseras på flera avdelningar (t.ex. en klinik eller en region). Då kan kortare tidsperioder användas, kanske tre månader före och tre månader efter implementering. Men när du analyserar dina resultat på regionnivå kan du inte ge individuell återkoppling till avdelningarna eftersom effekten för den enskilda avdelningen blir osynlig.
De exakta tidsperioderna som krävs beror på frekvensen konflikter och tvångsåtgärder före implementering. Vi rekommenderar därför att du söker stöd hos någon som har statistiska kunskaper för råd om vilka tidsperioder som krävs för utvärdering på den nivå (avdelning, klinik eller region) som du vill utvärdera.
Denna utvärderingsdesign kan förbättras genom att införa Safewards på vissa avdelningar men inte på andra och jämföra förekomsten av konflikter och tvångsåtgärder. Om talen sjunker på Safewards-avdelningarna men inte på de andra avdelningarna kommer du att ha ytterligare evidens för effekten. Men (i) detta kräver statistiskt stöd för att bestämma hur många avdelningar som behövs och hur länge mätningen behöver pågå, och (ii) de avdelningar och patienter som inte får insatsen riskerar skador som annars skulle ha kunnat undvikas. Utvärderingsdesignen kräver troligen ett formellt forskningsetiskt godkännande om den inte är en del av ett planerat införande av Safewards över hela er region.
Styrkor: Ingen ytterligare datainsamling krävs, och om tillförlitlighet i data och urval hanterats enligt ovan kommer utvärderingen att vara gedigen. Speciellt för utvärdering på regionnivå är detta förmodligen en rimlig design.
Svagheter: Viss statistisk rådgivning och planering krävs och hjälp med att analysera resultatet statistiskt kan behövas. Att få resultat per avdelning kräver långa mätningsperioder och därför är denna metod förmodligen inte så bra för att ge snabb feedback för att skapa engagemang och entusiasm.
Andra befintliga datakällor för före- och eftermätning
Det kan hända att din region samlar in annan information på ett systematiskt sätt från avdelningarna. Till exempel genomför vissa regioner upprepade mätningar av patienttillfredsställelse på vårdavdelningar. Det kan vara möjligt att använda sådana data för att utföra en före-efteranalys.
Återigen är antalet viktigt. För att kunna dra slutsatser om förbättringar på enskilda avdelningar krävs stora mängder data. Det exakta antalet frågeformulär för patienttillfredsställelse som krävs vid före- och eftermätningar beror på de statistiska egenskaperna hos det frågeformulär som används. En grov tumregel är minst 30 frågeformulär under mätningen före införandet som jämförs med minst 30 frågeformulär under efter-mätningen. Vi föreslår att du söker statistikhjälp för att få en uppfattning om det exakta antal du behöver.
Precis som med rapporterade avvikelser kommer den här metoden att vara mer tillförlitlig på regionnivå på grund av det större antalet avvikelser som kan utvärderas.
Styrkor: Ingen ytterligare datainsamling krävs.
Svagheter: Statistiska råd om urvalsstorlekar och hjälp med analys kan krävas. Eventuell evidens för resultatet kommer att vara indirekt och bero på hur nära de uppgifter du använder är kopplade till Safewards primära resultatmått, konflikter och tvångsåtgärder. Oavsett resultatet av en sådan utvärderingsmetod skulle detta inte betraktas som stark evidens.
Användning av befintliga avvikelserapporter och rapporteringsintervall
Denna metod använder avvikelserapporter före och efter införandet av Safewards, som beskrivits tidigare. I stället för att analysera frekvensen av avvikelser i definierade perioder före och efter, är det emellertid tiden mellan avvikelser (antal dagar) som är utfallsvariabeln. Om antalet dagar mellan avvikelserna blir längre fungerar Safewards.
Denna metod kommer från en typ av matematik som kallas 'Statistisk processkontroll' och används ofta i industrin för kvalitetskontrollprocesser. På senare tid har den införts i hälso- och sjukvården av 'Institute for Healthcare Improvement' (IHI) i USA och används i kvalitetskontrollprocesser för MRSA-infektioner, kirurgiska fel och så vidare. Dessa metoder gör det möjligt att ta fram grafer och figurer över tid mellan incidenter för enskilda avdelningar, där personalen kan markera incidenter och avläsa om situationen förbättras eller ej. De kan till och med ge en viss indikation på om dessa förbättringar är statistiskt signifikanta.
Att ta fram sådana diagram kräver viss matematisk förfining. Formlerna finns i böcker om ”Statistisk processkontroll” som lätt kan hittas i bokhandel på internet. Viss information kan också finnas tillgänglig på IHI: s webbplats och i denna publikation.
Benneyan, J. C., Llloyd, R. C. & Plsek, P. E. (2003) Statistical process control as a tool for research and healthcare improvement. Quality and Safety in Health Care 12: 458-464.
Av upphovsrättsskäl kan vi tyvärr inte tillhandahålla kopior av dessa publikationer.
Styrkor: Dessa diagram ger relativt snabb återkoppling på avdelningsnivå och kan därför vara till stor hjälp för att öka motivationen till förändring och belöna de som ansträngt sig för att införa Safewards.
Svagheter: Vilar på antagandet att konflikter eller tvångsåtgärder under före-mätningen inträffar i ett jämnt tempo. Eftersom det alltid sker förändringar på våra akutpsykiatriska avdelningar och på våra sjukhus när det exempelvis gäller personal och rutiner, och att ett antal av dessa förändringar är kopplade till omfattningen av våldsincidenter och tvångsåtgärder (se Safewardsmodellen), är detta antagande sannolikt inte helt sant. Det är därför viktigt att vara försiktig när man tolkar diagrammen. Diagrammen är frustrerande komplicerade att konstruera och det kan behövas hjälp eller utbildning för detta. Avdelningspersonal kommer att behöva instruktioner om hur diagrammen ska fyllas i och vad förändringar i diagrammen innebär. En stigande linje innebär, i motsats till hur det intuitivt kan uppfattas, fler dagar mellan incidenter och indikerar därför att det har gått bra.
Mätning av Safewards implementeringsprocess
Detta är ett annat sätt att indirekt utvärdera utfallet av Safewardsinsatserna. I stället för att direkt mäta utfallet i termer av konflikter och tvångsåtgärder så bedöms graden av implementering av Safewardsinsatserna med denna metod. Med andra ord försöker du mäta hur mycket personalen faktiskt använder de tio insatserna. Om det finns bevis för att de använder dem i stor utsträckning kan du förvänta dig ett bra utfall. Om avdelningspersonalen inte använder dem särskilt mycket kan du förvänta dig att resultatet är sämre eller försumbart.
I den brittiska forskningen användes denna engelska checklista för metodtrohet. Vi har anpassat denna för svenska förhållanden och du kan hämta den svenska checklistan för metodtrohet här. Checklistan innehåller alla saker som kan ses som bevis för användningen av Safewardsinsatserna. Du kanske vill komplettera listan med egna idéer. Den här checklistbaserade metoden kan realistiskt sett endast fungera om någon annan än avdelningspersonalen fyller i listan regelbundet. Dessutom behöver du någon som matar in och sammanfattar de data du samlar in.
Styrkor: Inga baslinje- eller ”före”-data krävs. Denna processmätning kan påbörjas så snart avdelningspersonalen börjar införa Safewards.
Svagheter: Denna mätning är indirekt, och vissa Safewardsinsatser kan inte observeras eller loggas på ett systematiskt sätt. Någon måste använda sin tid för att fylla i checklistan regelbundet. Det krävs tid för att mata in uppgifterna och sammanfatta dem regelbundet.
Noggrann beskrivning av Safewardsinsatserna i praktiken
Detta är en variant av mätningen av processen som beskrivs ovan. I stället för att en oberoende utomstående person besöker avdelningen och använder en checklista för att notera synliga bevis för att Safewards införs så går denna metod ut på att personal ger kvalitativ information om hur de lyckas använda insatserna. Med andra ord är detta en strukturerad och systematisk insamling av personalens återkoppling.
Personal på avdelningen kan använda en enkät som beskriver deras användning av insatserna eller hur insatserna har förändrat deras sätt att arbeta. De ombeds att ge specifika exempel på hur interventionerna har hjälpt eller hindrat dem i deras arbete. Enkäterna skickas in centralt och skrivs ut. Denna feedback sammanfattas sedan i en månadsrapport som skickas till avdelningarna och till ledning eller motsvarande. Vill du ha förslag på enkät så kontakta
Styrkor: Inga baslinje- eller ”före”-data krävs. Denna mätning av processen kan påbörjas så snart avdelningspersonalen börjar implementera Safewardsinsatserna. Eftersom uppgifterna är kvalitativa kan de ge en riktigt djupgående och övertygande redogörelse för tillämpningen av Safewardsinsatserna och snabbt visa på eventuella orsaker till oro.
Svagheter: Metoden är beroende av att personalen har tid att ge återkoppling och kan göra det tillräckligt detaljerat. Återkopplingen kan vara partisk genom att mer positiv och entusiastisk personal är mer benägna att ge återkoppling, medan negativa händelser eller brist på framgång rapporteras i mindre utsträckning. En central resurs krävs för utskrift, analys och rapportering.
Samla in ytterligare data om incidenter med forskningsbaserade mätinstrument.
Det finns ett antal tillförlitliga och evidensbaserade mätinstrument för att kartlägga konflikter och tvångsåtgärder. Under Safewards RCT-studie och många andra tidigare studier har vi använt PCC (Patient-staff conflict checklist). Den enkla checklistan fylls i under slutet av varje arbetspass. Den tar bara några minuter av personalens tid och anger antalet konflikter och tvångsåtgärder under arbetspasset. Utbildningen är enkel och kan bestå av endast en grundlig läsning av PCC-handboken
För att använda denna metod i en utvärdering behöver en avdelning samla in PCC-data i tre månader innan Safewards implementeras, och sedan i minst tre månader medan Safewards används.
Andelen ifyllda PCC-formulär behöver vara minst 66 % under dessa perioder. Data kan sedan matas in i en dator och analyseras statistiskt för att visa förändringar.
I Sverige har vi istället använt SOAS-R för att mäta konfliktnivåer mellan personal och patienter. Om du vill veta mer om SOAS-R eller andra utvärderingsmetoder som vi använt i Sverige , kontakta
Styrkor: Användningen av ett forskningsbaserat mätinstrument gör resultaten från denna typ av analys mycket mer trovärdiga och övertygande.
Svagheter: Insamling av extra data krävs, och mer pappersarbete ogillas av personalen. När data samlats in behöver någon mata in den. Någon med kunskap inom statistik behövs för att analysera data och presentera resultaten. Om det inte görs någon jämförelse med andra avdelningar som inte använder Safewards kan eventuella förändringar bero på andra lokala förändringar över tid.
