Nachfolgend führen wir sechs Methoden auf, wie Sie die Umsetzung von Safewards auf Ihrer Station, in Ihrer Klinik oder bei Ihrem Träger evaluieren können.
Keine ist perfekt. Alle haben irgendwelche Schwachstellen oder sind mit bestimmten Schwierigkeiten verbunden. Es ist zwar möglich, mehr als eine dieser Auswertungsmethoden anzuwenden, doch das könnte sich hinsichtlich der Ihnen zur Verfügung stehenden Mittel als kostspielig und unpraktisch herausstellen.
Wenn Sie eine sorgfältige Auswertung vornehmen, sollten Sie versuchen, sie zu veröffentlichen, ganz gleich, ob die Ergebnisse positiv oder negativ sind.
Es ist für uns alle sehr wichtig, evidenzbasierte Daten zu bekommen, um künftige Entscheidungen und Maßnahmen zu unterfüttern.

Keine Evaluation

Viele, möglicherweise sogar die meisten forschungsbasierten Maßnahmen werden ohne weitere Auswertung umgesetzt. Die RCT (randomisierte, kontrollierte Studie) gilt als Goldstandard der evidenzbasierten Medizin. Auf der Basis von RCTs wurden in psychiatrischen Abteilungen Frühinterventionsteams, Clozapin, Kriseninterventionsteams usw. eingeführt. Folgt man richtig durchgeführten, von Fachkollegen begutachteten und publizierten Forschungsergebnissen, so ist eine Erhebung von Evidenzdaten vor Ort nicht mehr erforderlich. Die Safewards Maßnahmenpläne funktionieren. Auf Stationen, wo sie umgesetzt werden, erzielt man weitgehend dieselben Ergebnisse.

Stärken:
Es fällt keine zusätzliche Arbeit an. Es sind keine Formulare auszufüllen, keine Daten zu analysieren und kein Schlussbericht zu erstellen. Die gesamte Energie kann auf die eigentliche klinische Arbeit mit Patienten und die umfassende und gründliche Durchführung der Safewards Maßnahmen konzentriert werden.

Schwächen:
Es gibt auf keiner Stufe Rückmeldungen über den Fortschritt, weder für das Stationspersonal noch für den Träger. Da Feedback oft als zusätzliche Motivation für eine Maßnahme erwünscht ist, verfügt man hierbei über weniger Potenzial, um skeptische Mitarbeiter zu überzeugen oder zu begeistern.

Vorhandene Routinemeldungen von Konfliktvorfällen

Definieren Sie einen Zeitraum vor und einen Zeitraum nach der Einführung von Safewards. Diese beiden Zeiträume sollten gleich lang sein.
Dann vergleichen Sie die gemeldeten Konfliktvorfälle in diesen beiden Zeiträumen, um zu überprüfen, ob sich durch die Umsetzung von Safewards eine Reduzierung ergeben hat. Verschiedene Konfliktarten (Aggression, Entweichungsversuche, Selbstverletzung, Drogen-/Alkoholkonsum) können zusammengefasst werden, um eine vergleichbare Konfliktrate zu ermitteln.

In gleicher Weise können verschiedene Begrenzungsmaßnahmen (schnelle Sedierung, Fixierung, Isolierung, kontinuierliche Eins-zu-eins-Überwachung) zusammengefasst werden, um die Eindämmungsrate vorher und nachher vergleichen zu können – vorausgesetzt, es liegen zuverlässige Daten zu solchen Vorfällen vor.
Um aussagekräftige Ergebnisse zu erhalten, empfiehlt es sich, sehr sorgfältig vorzugehen. Dabei müssen zwei Probleme bewältigt werden:

Uneinheitliche Meldung und fehlende Daten. Stationsmitarbeiter setzen unterschiedliche Grenzwerte, ab wann sie einen Vorfall offiziell melden.
Einige Stationen melden beispielsweise mehr Vorfälle, weil sie dazu neigen, auch rein verbale Angriffe einzubeziehen. Daher schlagen wir vor, dass Sie nur schwerwiegendere Vorfälle in Ihre Auswertung integrieren, weil diese konsequenter und zuverlässiger gemeldet werden (tätliche Angriffe, Sachbeschädigung, erfolgreicher Fluchtversuch eines zwangseingewiesenen Patienten, Selbstverletzung). Die weniger schwerwiegenden Vorfälle (Ablehung von Medikation, Diebstahl, verbale Angriffe, Fluchtversuche) sollten unberücksichtigt bleiben. Wenn Sie zuverlässige Daten zum Einsatz von Isolierung und/oder Fixierung haben, können Sie dies in einer gesonderten Auswertung aufführen.

Unterscheidung zwischen zufälligen Abweichungen und echten Auswirkungen der Safewards Maßnahmen. Glücklicherweise sind Konflikte und Eindämmungsmaßnahmen, deren Schweregrad eine offizielle Meldung erfordert, relativ selten.Ihre Häufigkeit unterliegt zu einem gewissen Grad zufälligen Abweichungen.
Dies bedeutet, dass ein Teil der Zunahme und Abnahme von Vorfällen vor und nach der Einführung von Safewards Maßnahmen bei kurzen Zeiträumen und kleinen Stationen/Abteilungen zufällig ist. Sie stehen nicht für einen echten Effekt.

Verdeutlichen wir das an einem extremen Beispiel: Wenn man auf einer Station den Zeitraum von jeweils einer Woche vor und nach der Umsetzung wählt, könnte es einen Vorfall in der Woche davor und keinen in der Woche danach geben. Dieses Ergebnis wäre aber wahrscheinlich eher zufällig, als dass man es auf Safewards zurückführen könnte. Ebenso würde auch kein Vorfall vorher und einer nachher nicht bedeuten, dass Safewards nicht funktioniert hat. Viele klinische Überprüfungen sind deswegen irreführend. Sie stellen nicht nur eine Zeitverschwendung dar, sondern führen auch zu falschen Schlüssen. Um diese Schwierigkeit zu umgehen, sollten einzelne Stationen sehr lange unter Beobachtung stehen, bevor irgendwelche Schlüsse gezogen werden.
Wir empfehlen für eine einzelne Station durchschnittlich mindestens sechs Monate, besser noch ein Jahr. Das bedeutet, Daten von einem Jahr vor der Einführung von Safewards und von einem Jahr danach einzubeziehen. Ein klareres Bild ergibt sich, wenn eine Analyse auf der Basis mehrerer Stationen (z.B. für eine ganze Klinik oder beim gesamten Träger) erfolgt und daraus Schlüsse gezogen werden.
Dann können kürzere Zeiträume gewählt werden, wie zum Beispiel jeweils drei Monate vor und nach der Umsetzung. Allerdings macht es eine Analyse der Ergebnisse auf der Ebene des Trägers unmöglich, den Stationen eine individuelle Rückmeldung zu liefern– die Ebene der einzelnen Station bleibt dadurch tatsächlich unsichtbar.
Welche Zeiträume genau erforderlich sind, hängt von der Ausgangshäufigkeit von Konflikten und deren Eindämmung ab. Wir empfehlen, dass Sie sich von jemandem mit statistischen Kenntnissen beraten lassen, um die Zeiträume für eine Auswertung auf einer bestimmten Ebene (Station, Klinik, Träger) genau zu bestimmen.
Dieses Auswertungsdesign kann noch weiter verbessert werden, wenn man Safwards auf einigen Stationen einführt und auf anderen nicht, so dass man Veränderungen in der Häufigkeit von Konflikten und Eindämmungsmaßnahmen vergleichen kann.
Wenn die Häufigkeit dann auf den Stationen mit den Safewards-Interventionen sinkt, ist das ein weiterer Nachweis für die Wirksamkeit.
Allerdings gibt es zwei Nachteile: (i) Es erfordert einen höheren statistischen Aufwand und Hilfe bei der Entscheidung, welche Stationen und wie lange einbezogen werden. (ii) Die Stationen, auf denen die Maßnahmen nicht eingeführt werden, gehen leer aus, und es könnte zu Krisen kommen, die sich anderweitig hätten vermeiden lassen.
Ein solches Auswertungsdesign geht vermutlich über eine klinische Überprüfung hinaus und dürfte das Votum einer Ethikkommission erforderlich machen. Außer natürlich, wenn dieses Design Teil einer geplanten sequentiellen Einführung von Safewards überall bei Ihrem Träger ist.

Stärken:
Es müssen keine zusätzlichen Daten erhoben werden, und wenn die oben angesprochenen Probleme zu Zuverlässigkeit und Stichprobe gelöst sind, ist diese Auswertung hinreichend robust. Für Ergebnisse auf der Ebene eines Trägers ist dies vermutlich ein sinnvolles Design.

Schwächen:
Statistische Beratung und Planung sind erforderlich. Es kann auch Hilfe bei der Analyse der Ergebnisse unter Einbeziehung von statistischen Tests nötig werden. Ergebnisse pro Station liegen erst nach sehr langen Zeiträumen vor. Deshalb ist die Methode kaum geeignet, um durch schnelle Rückmeldungen Engagement und Begeisterung auf den Stationen zu fördern.

Andere vorliegende Daten für vorher und nachher
Möglicherweise erhebt Ihr Träger systematisch andere Informationen von den Stationen. Beispielsweise gibt es bei manchen Trägern regelmäßige Befragungen zur Zufriedenheit der Patienten. Es könnte möglich sein, solche Daten für eine Vorher-/Nachher-Analyse zu nutzen. Auch hier ist wieder die Anzahl wichtig.
Um Schlüsse über Verbesserungen auf einzelnen Stationen zu ziehen, sind große Zahlenmengen notwendig. Die genaue Anzahl der benötigten Fragebögen zur Patientenzufriedenheit vor und nach der Einführung hängt von den statistischen Merkmalen der verwendeten Fragebögen ab. Eine grobe Faustregel besagt, dass mindestens 30 Fragebögen von vorher mit mindestens 30 Fragebögen von nachher verglichen werden sollten. Wir schlagen vor, dass Sie auf Hilfe von einem Statistiker zurückgreifen, um die genaue benötigte Anzahl festzulegen. Genau wie bei den routine gemeldeten Vorfällen ist diese Methode aussagekräftiger, wenn sie auf der Ebene des Trägers durchgeführt wird, weil dann eine größere Anzahl Fragebögen ausgewertet werden kann.

Stärken:
Es müssen keine zusätzlichen Daten erhoben werden.

Schwächen:
Statistische Beratung zur Stichprobengröße und Hilfe bei der Analyse könnten notwendig werden. Die Ergebnisse liefern nur indirekte Nachweise und hängen davon ab, wie eng die genutzten Daten mit den Primärergebnissen von Safewards zu Konflikten und Eindämmung in Verbindung stehen. Ganz gleich, wie die Ergebnisse bei einem solchen Auswertungsansatz ausfallen, darf man sie nicht als starken und robusten Nachweis ansehen.

Nutzung vorhandener Routinemeldungen (Zeitabstände zwischen den Vorfällen)
Bei dieser Methode werden offizielle Daten zu Vorfällen vor und nach der Umsetzung von Safewards verwendet, so wie oben beschrieben. Allerdings wird hierbei nicht die Frequenz solcher Vorfälle in definierten Zeiträumen vorher und nachher analysiert, sondern die Zeit zwischen Vorfällen (Anzahl der Tage) als Zielvariable.
Wenn die Anzahl der Tage zwischen den Vorfällen steigt, funktioniert die Safewards Maßnahme. Diese Methode lehnt sich an ein mathematisches Verfahren an, das „statistische Prozesslenkung“ heißt und in der Industrie weitreichende Anwendung bei der Qualitätssicherung findet. Es wurde kürzlich in den USA vom „Institute for Healthcare Improvement“ (IHI) ins Gesundheitswesen eingeführt und kommt bei der Qualitätssicherung bezüglich Multiresistenzen, chirurgische Zwischenfälle usw. zum Einsatz. Bei dieser Methode ist es möglich, Tabellen oder Regelkarten zu Zeitabständen für einzelne Stationen zu erstellen, in die die Mitarbeiter (oder die Stelle für offizielle Meldungen) Vorfälle eintragen können. So sieht man recht schnell, ob es zu Verbesserungen kommt oder nicht. Außerdem erhält man dabei auch Hinweise darüber, ob solche Verbesserungen statistisch relevant sind. Solche Regelkarten zu erstellen, erfordert einiges an mathematischem Geschick. Die Formulare lassen sich Büchern über „statistische Prozesslenkung“ entnehmen, die wiederum leicht über Amazon oder über eine entsprechende Suche gefunden werden können.
Auch auf der IHI Website und in den nachfolgend aufgeführten Veröffentlichungen sind Informationen verfügbar. Aufgrund von Urheberrechten ist es uns leider nicht möglich, hier Kopien zu diesen Themen zur Verfügung zu stellen.

Benneyan, J. C., Llloyd, R. C. & Plsek, P. E. (2003) Statistical process control as a tool for research and healthcare improvement. Quality and Safety in Health Care 12: 458-464

Stärken:
Solche Regelkarten geben ein relativ schnelles Feedback auf Stationsebene und können daher hilfreich sein, um die Motivation für Veränderung zu steigern und diejenigen zu belohnen, die sich für die Umsetzung von Safewards einsetzen.

Schwächen:
Geht von der Annahme aus, dass Konflikt- und Eindämmungsvorfälle im „vorher“-Zeitraum mit konstanter Häufigkeit auftreten.
Da aber auf akutpsychiatrischen Stationen und in unseren Kliniken ständig Veränderungen beim Personal und den Klinikregeln auftreten und diese teilweise die Ergebnisse zu Konflikten und Eindämmungsmaßnahmen beeinflussen (siehe Safewards Modell), trifft diese Annahme höchstwahrscheinlich nicht ganz zu.
Daher ist bei der Interpretation solcher Regelkarten Vorsicht geboten.
Es ist frustrierend kompliziert, solche Regelkarten zu erstellen. Hilfe oder Schulung könnte erforderlich werden. Das Stationspersonal braucht eine Anleitung, wie diese Karten auszufüllen sind und was als positive Veränderung gesehen werden kann. Entgegendem intuitiven Empfinden bedeutet ein Ansteigen der Linie nämlich, dass mehr Tage zwischen den Vorfällen liegen und somit ein Erfolg zu verzeichnen ist.

Prozessumsetzungsmessung der Safewards Intervention

Dies ist ein anderes Verfahren, die Ergebnisse der Safewards Interventionen indirekt abzuschätzen. Statt Ergebnisse direkt an Konflikt- und Begrenzungsmaßnahmen festzumachen, wird bei dieser Methode der Grad der Umsetzung von Safwards Maßnahmen gewertet. Mit anderen Worten geht es darum zu messen, inwieweit das Personal tatsächlich die zehn Safewards Maßnahmenpläne durchführt. Wenn nachgewiesen wird, dass sie dies in hohem Maße tun, kann man von guten Ergebnissen ausgehen. Setzen die Mitarbeiter die Maßnahmen nicht konsequent um, kann man davon ausgehen, dass die Ergebnisse schlechter oder nur unerheblich sind.
Bei der Studie verwendeten wir diese Checkliste.
Sie können sie ebenfalls nutzen oder Ihren Anforderungen entsprechend abwandeln.
Diese Checkliste beinhaltet alle Punkte, die etwas Konkretes über den Einsatz von Safewards Maßnahmen aussagen. Vielleicht möchten Sie die Auflistung mit eigenen Ideen ergänzen. Dieser Ansatz kann nur funktionieren, wenn die Checkliste regelmäßig von einem Stationsfremden ausgefüllt wird. Zusätzlich wird jemand benötigt, der die aufgenommenen Daten eingibt und zusammenfasst.

Stärken:
Ausgangsdaten oder eine „vorher“-Statistik sind nicht erforderlich. Diese Umsetzungsmessung kann bei Einführung der Safewards Maßnahmenpläne auf der Station sofort beginnen.

Schwächen:
Es ist eine indirekte Messung. Nicht alle Safewards Maßnahmen können auf systematische Art gesehen oder protokolliert werden.
Jemand muss Zeit investieren, um die Checkliste regelmäßig auszufüllen. Es erfordert einen gewissen Zeitaufwand, Daten regelmäßig einzugeben und zu einem Bericht zusammenzufassen.

Sorgfältige Beschreibung der eingesetzten Safewards Maßnahmen

Dies ist eine Variante der oben beschriebenen Umsetzungsmessung. Allerdings geht sie nicht von einer von einem unabhängigen Betrachter ausgefüllten Checkliste über die sichtbaren Zeichen für die Umsetzung von Safewards aus, sondern von qualitativen Informationen der Mitarbeiter über ihren erfolgreichen Einsatz der Maßnahmen.
Mit anderen Worten ist dies eine strukturierte und systematische Sammlung von Rückmeldungen seitens der Mitarbeiter. Die Pflegenden werden aufgefordert, einmal in der Woche ein Formular auszufüllen, inwieweit sie die Maßnahmen durchgeführt und diese ihre Arbeitspraxis verändert haben. Sie werden um spezifische Beispiele gebeten, wie die Maßnahmen ihnen in ihrer Arbeit geholfen oder sie behindert haben.
Diese werden zentral gesammelt und abgetippt.  Die Rückmeldungen werden dann zu monatlichen Berichten zusammengefasst, die wieder an die Stationen gehen und zur Verwaltung des Trägers oder entsprechenden Gremien.

Stärken:
Ausgangsdaten oder eine „vorher“-Statistik sind nicht erforderlich. Diese Umsetzungsmessung kann bei Einführung der Safewards Interventionen auf der Station sofort beginnen.
Weil es sich um qualitative Daten handelt, können sie eine wirklich aussagekräftige und überzeugende Beurteilung der eingesetzten Safewards Interventionen abgeben und gegebenenfalls Gründe zur Sorge schnell zutage fördern.

Schwächen:
Es ist abhängig davon, ob die Mitarbeiter über genügend Zeit verfügen, um die Formulare auszufüllen, und zwar in ausreichend detaillierter Form.
Die Rückmeldungen können unausgewogen sein, weil positiv eingestellte und begeisterte Mitarbeiter wahrscheinlich eher ein Feedback geben, während negative Vorfälle oder ausbleibende Erfolge eher nicht berichtet werden.
Es müssen zentral, Mittel für Tippen, Analyse und Berichte bereitgestellt werden.

Erhebung zusätzlicher Daten mit Instrumenten der Studie

Es gibt eine Reihe zuverlässiger und fundierter Studieninstrumente, um Konflikt- und Eindämmungsvorfälle zu zählen. Bei der Safewards RCT-Studie und vielen vorausgegangenen Studien haben wir Schichtberichte zu (Patienten-Pflegepersonal-Konflikten) verwendet. Dieses einfache Formular wird am Ende jeder Schicht ausgefüllt, was die Mitarbeiter nur wenige Minuten kostet. Es weist die Anzahl von Konflikt- und Eindämmungsvorfällen während der Schicht aus. Die Schulung hierfür ist einfach und kann sich auf ein gründliches Lesen des Handbuchs zu Schichtberichten über Patienten-Pflegepersonal-Konflikte beschränken.

Um dies für eine Auswertung nutzen zu können, sollten Schichtberichte einer Station über drei Monate vor der Umsetzung von Safewards und dann mindestens über drei Monate während eines ununterbrochenen Einsatzes von Safewards vorliegen.
Die Ausfüllrate bei den Schichtberichten sollte in diesen Zeiträumen mindestens 66 % betragen. Die Daten können dann in den Computer eingegeben und auf mögliche Veränderungen hin statistisch analysiert werden.

Stärken:
Durch den Einsatz von Instrumenten aus einer Studie gewinnen die Ergebnisse einer solchen Art von Analyse an Glaubwürdigkeit und Überzeugungskraft.

Schwächen:
Es müssen zusätzliche Daten erhoben werden. Mehr Schreibarbeit kommt beim Stationspersonal nicht gut an. Es werden Mittel benötigt, um die einmal erhobenen Daten einzugeben, und man benötigt jemanden mit statistischen Kenntnissen, um diese zu analysieren und einen Bericht abzufassen. Ohne einen Vergleich mit anderen Stationen, die die Safwards Maßnahmen nicht einsetzen, könnten beobachtete Veränderungen auf andere zeitgleich vor Ort veränderte Faktoren zurückzuführen sein.