Identificamos a continuación seis métodos para evaluar la implementación de Safewards en sus unidades. Ninguno es perfecto y todos tienen defectos o dificultades de un tipo u otro. Es posible usar más de uno de estos métodos de evaluación, pero esto puede ser dificultoso y poco práctico, dependiendo de los recursos disponibles para usted.

Si realiza una evaluación cuidadosa, intente publicarla, ya sea que los resultados sean positivos o negativos. Es muy importante para todos nosotros que acumulemos evidencia para apoyar futuras decisiones y acciones.

Ninguna evaluación

Muchas, si no la mayoría de las intervenciones basadas en la investigación se implementan sin una evaluación adicional. El ECA (Ensayo Controlado Aleatorio) proporciona evidencia estándar muy útil. Sobre la base de los ECAs, los servicios psiquiátricos han introducido equipos de intervención temprana, clozapina, equipos de intervención en crisis, etc. Después de la investigación que se ha llevado a cabo adecuadamente, revisada por pares y publicada, no se requiere más recopilación de evidencia local. Las intervenciones de Safewards funcionan. La implementación posterior de tales intervenciones obtendrán, en general resultados similares.

Fortalezas: No se requiere trabajo adicional, no hay formularios para completar, no hay análisis de datos o redacción de informes para completar. Todos los esfuerzos se pueden concentrar en el trabajo clínico real con los pacientes y en hacer las intervenciones de Safewards de manera rigurosa y completa.

Debilidades: No habrá comentarios sobre el progreso en ningún nivel, ni al personal de las unidades ni a los responsables de las mismas. Como la retroalimentación a menudo es necesaria para motivar la implementación, el potencial para una implementación entusiasta o para ganarse al personal ambivalente podría disminuir.

Tasas de informes oficiales de incidentes existentes

Defina un período de tiempo antes y otro período de tiempo después de implementar Safewards. Estos dos períodos de tiempo deben ser de la misma duración. Luego, observe el número de incidentes adversos informados oficialmente en estos dos períodos para ver si disminuyeron después de que se implementó Safewards. Se pueden agregar diferentes tipos de eventos de conflicto (agresión, fuga, autolesiones, uso de drogas / alcohol) para producir una tasa de conflicto para la comparación. De manera similar, se pueden agregar diferentes tipos de contención (tranquilización rápida, restricción manual, aislamiento, observación especial constante) para producir una tasa de contención para comparar antes y después, si tiene información confiable sobre este tipo de eventos.

Para que tenga sentido, esto debe llevarse a cabo con cuidado, ya que hay dos problemas que deben superarse:

Informar sesgos y datos faltantes. El personal difiere en los umbrales en los que se hacen los informes oficiales de incidentes. Por ejemplo, algunas salas informan más incidentes porque quizás tienen más probabilidades de denunciar incidentes de abuso verbal que otras salas. Por lo tanto, le sugerimos que solo incluya en su evaluación los incidentes más graves que se informan de manera más rigurosa y confiable (agresión física, daño a la propiedad, fuga exitosa de un paciente detenido, autolesiones) y excluya los incidentes menos graves (rechazo de medicamentos, robo, verbal abuso, intento de fuga). Si tiene datos confiables sobre el uso de aislamiento y / o restricción manual, también puede usarlos en una evaluación separada.

Distinguir entre fluctuaciones aleatorias y un efecto real de las intervenciones Safewards. Afortunadamente, los incidentes de conflicto o contención que son lo suficientemente graves como para ser reportados oficialmente son relativamente raros. Su frecuencia también fluctúa aleatoriamente hasta cierto punto. Esto significa que si tomo un período de tiempo corto y un área de servicio pequeña, algunas de las subidas y bajadas en las tasas de incidentes antes y después de las intervenciones de Safewards serán aleatorias. No representarán un efecto real. Para tomar un ejemplo extremo para ilustrar esto, si tomo una sala y un período de tiempo de una semana antes de la implementación y una semana después, puedo tener un incidente en el período anterior y ninguno en el período posterior. Es mucho más probable que esto se deba al azar en lugar del efecto de Safewards. Del mismo modo, ningún incidente antes y uno después no significarían que Safewards no hubiera funcionado. Muchas auditorías clínicas son engañosas de esta manera, y representan un desperdicio de esfuerzo y producen conclusiones falsas.

Para superar esta dificultad, para salas individuales se requieren períodos de tiempo muy largos antes de llegar a ninguna conclusión, recomendamos en promedio al menos seis meses y preferiblemente un año para una sola unidad. Eso es un año de datos antes de que se implemente Safewards, y un año de datos después. La imagen es mejor cuando se realiza el análisis y se sacan conclusiones a nivel de salas múltiples (por ejemplo, un hospital completo o un área). Luego, se pueden usar períodos de tiempo más cortos, quizás tres meses en el período anterior y tres meses después de la implementación. Sin embargo, cuando analiza sus resultados el nivel de confianza de los mismos puede ser escaso, no pudiendo proporcionar retroalimentación.

Los períodos de tiempo precisos necesarios dependen de su índice de referencia de conflictos e incidentes de contención, y le aconsejamos que busque el apoyo de alguien con algún conocimiento estadístico para asesorarlo sobre los períodos de tiempo precisos que se requieren para proporcionar una evaluación en un servicio en particular nivel (sala, hospital o área sanitaria).

Este diseño de evaluación puede mejorarse implementando Safewards en algunas salas pero no en otras, y comparando los cambios en los conflictos y las tasas de contención en ambos. Luego, si las tasas bajan en las salas de intervención pero no en otras, tendrá más evidencia sobre la eficacia. Sin embargo (i) esto requiere una mayor sofisticación estadística y necesitará ayuda para decidir cuántas salas y por cuánto tiempo, y (ii) las salas y los pacientes que no reciben la intervención se pierden, y pueden incurrir en daños que de otro modo podrían haberse evitado. Tal diseño de evaluación probablemente lo lleve fuera de la auditoría clínica y puede requerir una aprobación formal de ética de investigación. A menos, por supuesto, que este diseño forme parte de un lanzamiento secuencial planificado de Safewards en su áreas sanitaria.

Fortalezas: no se requiere recopilación de datos adicionales, y si se atiende a los problemas de confiabilidad y muestra identificados anteriormente, la evaluación será modestamente sólida. Para resultados a nivel de área sanitaria, este es probablemente un diseño razonable.

Debilidades: se requieren algunos consejos estadísticos y planificación. También puede ser necesaria ayuda para analizar los resultados mediante pruebas estadísticas. Obtener resultados por unidad requiere largos períodos de tiempo y, por lo tanto, este método probablemente no sea bueno para proporcionar retroalimentación rápida para generar compromiso y entusiasmo.

Otras fuentes de datos existentes antes y después

Es posible que su hospital recopile otra información de manera sistemática de las unidades. Por ejemplo, algunos hospitales recopilan rondas repetidas de encuestas de satisfacción de pacientes hospitalizados. Es posible utilizar estos tipos de datos para realizar un análisis antes y después. Nuevamente los números son importantes. Para hacer deducciones sobre mejoras en salas individuales se requieren grandes números. El número preciso de cuestionarios de satisfacción de pacientes requeridos en los períodos anterior y posterior depende de las propiedades estadísticas del cuestionario utilizado. Una regla general aproximada sería al menos 30 cuestionarios en el período anterior para comparar con al menos 30 cuestionarios en el período posterior. Le sugerimos que busque ayuda estadística para tener una idea de los números precisos que necesitaría. Al igual que con los incidentes informados oficialmente, este método será más poderoso debido a la mayor cantidad de cuestionarios que se pueden probar.

Fortalezas: No se requiere recopilación de datos adicionales. Debilidades: puede requerirse asesoramiento estadístico sobre tamaños de muestra y ayuda con el análisis. Cualquier evidencia de resultado será indirecta y dependerá de cuán estrechamente se relacionen los datos que está utilizando con los resultados, conflictos y contención primarios de Safewards. Cualesquiera que sean los resultados de este enfoque de evaluación, esto no se consideraría una evidencia sólida o robusta.

Uso de incidentes oficiales existentes y tiempo entre gráficos

Este método utiliza datos oficiales de incidentes antes y después de la implementación de Safewards, como se describió anteriormente. Sin embargo, en lugar de analizar la frecuencia de incidentes en períodos definidos antes y después, es el tiempo entre incidentes (número de días) la variable de resultado. Si el número de días entre incidentes se hace más largo, entonces la intervención Safewards está funcionando.

Este método se deriva de un tipo de matemática llamado "Control de proceso estadístico" y es ampliamente utilizado en la industria para procesos de control de calidad. Más recientemente, el Instituto para el Mejoramiento de la Atención Médica (IHI, por sus siglas en inglés) lo ha llevado a los entornos de atención médica y se utiliza en procesos de control de calidad para infecciones por MRSA, accidentes quirúrgicos, etc. Utilizando estos métodos es posible construir - gráficos o tiempo entre gráficos para salas individuales que permitirán al personal (o sus servicios de informes de incidentes) trazar incidentes y ver con bastante rapidez si las cosas están mejorando o no, e incluso dar alguna indicación de si esas mejoras son estadísticamente significativas.

La elaboración de tales gráficos requiere cierta sofisticación matemática. Las fórmulas se pueden encontrar en libros sobre "Control estadístico de procesos", que pueden encontrarse fácilmente en una búsqueda en Amazon o equivalente. Parte de la información, también puede estar disponible en el sitio web de IHI y en la siguiente publicación de la revista. Lamentablemente, por razones de derechos de autor, no podemos suministrar copias de estos artículos.

Benneyan, J. C., Llloyd, R. C. y Plsek, P. E. (2003) El control estadístico del proceso como herramienta para la investigación y la mejora de la atención médica. Calidad y seguridad en la atención médica 12: 458-464

Fortalezas: brindan retroalimentación relativamente rápida y, por lo tanto, pueden ser muy útiles para aumentar la motivación para el cambio y recompensar a aquellos que han hecho esfuerzos para implementar las intervenciones Safewards.

Debilidades: Se basa en el supuesto de que los eventos de conflicto o contención en el período "anterior" se producen como una tasa constante. Sin embargo, dado que siempre se están produciendo cambios en las unidades de salud mental y en nuestros hospitales en términos de personal y políticas, y que varios de estos están relacionados con conflictos y resultados de contención (ver el modelo Safewards), es poco probable que esta suposición sea completamente cierta. Por lo tanto, se requiere cierta precaución en la interpretación de estos cuadros. Los gráficos son frustrantemente complicados de construir, y se puede necesitar ayuda o capacitación. El personal de la unidad necesitará instrucciones sobre cómo completar estos cuadros y qué significan los cambios, ya que de manera intuitiva una línea ascendente significa más días entre eventos y, por lo tanto, representa el éxito.

Medidas de proceso de intervención de Safewards

Esta es otra forma de evaluar indirectamente el resultado de las intervenciones de Safewards. En lugar de medir directamente el resultado en términos de conflictos y eventos de contención, utilizando este método se evalúa el grado de implementación de las intervenciones Safewards. En otras palabras, intenta medir cuánto está haciendo realmente el personal de la unidad en la implementación de las diez intervenciones de Safewards. Si hay evidencia de que las intervenciones se están llevando a cabo de manera correcta, entonces puede asumirse un buen resultado. Si el personal de la unidad no los está llevando a cabo, puede asumir que el resultado es peor o insignificante.

Durante la investigación utilizamos esta lista de verificación Organisation Fidelity. Puede usarla o adaptarla. La lista de verificación incluye todas aquellas cosas que  evidencian el uso de las intervenciones Safewards. Es posible que desee complementar esto con ideas propias. Este enfoque basado en una lista de verificación solo puede funcionar de manera realista si alguien que no sea el personal de la unidad los está completando regularmente. Además, necesitará que alguien ingrese y resuma los datos que obtenga.

Fortalezas: no se requieren datos de referencia o "antes", esta medida del proceso puede comenzar tan pronto como el personal del barrio comience a implementar las intervenciones Safewards.

Debilidades: Esta es una medida indirecta, y no todas las intervenciones de Safewards pueden verse o registrarse de manera sistemática. Alguien tiene que invertir el tiempo para completar la lista de verificación de forma regular, y se necesita tiempo para introducir los datos y resumirlos en un informe de manera regular.

Descripción cuidadosa de las intervenciones de Safewards en la práctica.

Esta es una variante de la medida del proceso descrita anteriormente. Sin embargo, en lugar de que un visitante independiente de la sala use una lista de verificación para observar evidencia visible de la implementación de Safewards, este método depende de que los trabajadores brinden información cualitativa sobre el uso exitoso de las intervenciones de Safewards. En otras palabras, esta es la recopilación estructurada y sistemática de comentarios del personal.

Se pide a los trabajadores de la sala que completen un formulario una vez por semana que describa el uso de las intervenciones o cómo las intervenciones han cambiado su práctica. Se les pide que den ejemplos específicos de cómo las intervenciones los han ayudado u obstaculizado en su trabajo. Estos se envían de forma centralizada y se mecanografían (recomendamos que se escriban a mano dada la velocidad de mecanografía de la mayoría del personal actualmente, aunque se podría usar el correo electrónico si considera que esto no es un problema). Esta retroalimentación se resume centralmente en un informe mensual que se retroalimenta a las salas y/o a los responsables de la unidad.

Fortalezas: no se requieren datos de referencia o "de antes", esta medida del proceso puede comenzar tan pronto como el personal de la unidad comience a implementar las intervenciones Safewards. Debido a que los datos son cualitativos, pueden dar una explicación realmente poderosa y convincente de las intervenciones de Safewards en acción, y evidenciar rápidamente cualquier motivo de preocupación.

Debilidades: depende de que el personal tenga tiempo para completar la retroalimentación y hacerlo con suficiente detalle. La retroalimentación puede ser parcial, ya que es más probable que el personal más positivo y entusiasta proporcione la retroalimentación, mientras que es menos probable que se informen los eventos negativos o la falta de éxito. Se requiere algún recurso central para escribir y para análisis e informes.

Recopile datos de incidentes adicionales utilizando herramientas de investigación.

Hay una serie de herramientas de investigación confiables y válidas para contar conflictos y eventos de contención. Durante el ECA Safewards y muchos otros estudios previos, hemos utilizado el PCC (Patient-staff conflict checklist). Esta simple lista de verificación se completa al final de cada turno, lo que toma solo unos minutos de tiempo del personal e indica la cantidad de conflictos y eventos de contención durante el turno. Este método es simple y puede consistir simplemente en una lectura exhaustiva del manual PCC.

Para usar esto en una evaluación, una sala necesitaría recopilar datos de PCC durante tres meses antes de comenzar a implementar Safewards, luego durante al menos tres meses mientras Safewards estaba en uso continuo.

Las tasas de finalización de PCC tendrían que promediar 66% o más durante estos períodos. Luego, los datos podrían ingresarse en una computadora y analizarse estadísticamente para mostrar cualquier cambio.

Fortalezas: El uso de una herramienta de investigación hace que los resultados de este tipo de análisis sean mucho más creíbles y convincentes.

Debilidades: se requiere la recopilación de datos adicionales, y el personal resiente más papeleo. Una vez recopilados, se requiere un recurso para ingresar datos, y se requiere de alguien con conocimientos estadísticos para analizarlos y presentar los resultados. Sin comparación con otras unidades que no utilizan las intervenciones Safewards, cualquier cambio observado podría deberse a otros cambios locales a lo largo del tiempo