Évaluation des structures de simulation en santé

Classiquement, la HAS a pour mission d’élaborer des bonnes pratiques permettant aux différentes disciplines de travailler de manière structurée. Cela a donné lieu, dans la continuité du rapport, au “guide de bonnes pratiques en matière de simulation en santé”(2). Enfin, et c’est aussi une mission de la HAS, un “référentiel d’évaluation(3) des structures de simulation en santé” a été construit avec l’aide d’un groupe expert, à partir des éléments clés du guide de bonnes pratiques. Cette démarche a été inspirée de travaux nord-américains, en particulier de la Society for Simulation in Healthcare (SSH)(4) portant sur la réalisation d’un référentiel d’accréditation des structures de simulation en santé.

MISSION D’EXPERTISE

Ces différentes actions ont donné de fait un essor national à la simulation avec une efflorescence de nombreuses structures qui peinent parfois à obtenir la légitimité, le professionnalisme et le soutien nécessaires à une activité performante. La HAS ne pouvant, à l’instar de ce qu’elle fait pour la certification des établissements de santé, et en l’absence de décret, assurer l’expertise externe des structures de simulation, elle a confié cette mission à la Société francophone de simulation en santé (SoFraSimS créée en 2014). Ainsi, s’engager désormais dans une démarche d’évaluation interne puis externe devient un enjeu nécessaire à la fois pour s’assurer que l’activité de simulation respecte les règles de bonnes pratiques mais aussi pour faire de la démarche un outil de communication externe et un levier de management. S’engager dans la démarche, c’est s’engager à respecter les bonnes pratiques et à initier un cycle d’amélioration continue de la qualité. Ce cycle (voir schéma ci-contre) se déroule en quatre temps sur une durée maximale de quatre ans :

• engagement officiel dans la démarche,

• réalisation de l’auto-évaluation,

• mise en place d’actions d’amélioration,

• évaluation externe.

Le résultat de l’évaluation externe permet de déterminer de quel type (1, 2 ou 3) relève la structure et ainsi de pouvoir le faire connaître de façon officielle. Une précision est ici nécessaire quant à la définition du “type” de structure. Le type qualifie simplement le niveau de ressources (personnels, matériels…) et la diversité de ses activités (pluridisciplinarité, interprofessionalité). Il ne s’agit en aucun cas d’une graduation qualitative. Il est par ailleurs important que chaque structure définisse, comme prérequis à l’évaluation, le type de structure souhaité. La SoFraSimS propose donc un appui méthodologique et une prestation d’évaluation externe au regard des préconisations de la HAS.

L’AUTO-ÉVALUATION

Sur la base des grilles du référentiel d’évaluation du “Guide pour l’évaluation des infrastructures de simulation en santé”(3) (HAS), les objectifs sont d’obtenir une évaluation sur le degré de maturité de la structure (points forts, points à améliorer), de mettre en place une démarche institutionnelle et une organisation visant un objectif cible de maturité, d’établir le diagnostic sur le “type” caractérisant la structure (type 1, 2 ou 3) et de mettre en place des actions d’amélioration pour atteindre le niveau cible visé.

La démarche débute par une auto-évaluation et repose sur un principe simple : la comparaison de ses pratiques, de son organisation et de sa coordination, au regard des critères du guide. L’évaluation est au mieux conduite par une équipe de deux évaluateurs, dont au moins un est extérieur à l’équipe de la structure de simulation, ce qui garantit une nécessaire neutralité de la méthode.

S’engager dans une auto-évaluation fait partie intégrante du management de la qualité.

Pour préparer la démarche, il est important de respecter quelques prérequis :

• obtenir que la décision de s’engager émane de la gouvernance ;

• définir le champ d’étude : il concerne l’ensemble des activités de la structure (formations initiale et/ou continue) ;

• communiquer à l’ensemble des personnes et parties prenantes concernées ;

• désigner des évaluateurs (lettre de mission) ;

• désigner un responsable de l’évaluation (pilote qui restera l’interlocuteur préférentiel de la démarche) ;

• établir un programme et un calendrier.

Une fois ces prérequis établis, l’auto-évaluation peut débuter. Plusieurs étapes doivent être respectées. En premier lieu, le “top départ” doit être officiellement donné au cours d’une réunion dite “d’ouverture” où la démarche et le périmètre seront présentés au plus grand nombre. Le temps de recueil d’information (observation, interview, documents de preuves) peut être assez court pour les équipes qui ont une connaissance formalisée de leur activité. Lors des tests effectués par la SoFraSimS sur trois structures de taille et de caractéristiques différentes, ce temps est estimé à un ou deux jours par homme, fonction des dimensions de la structure.

À l’issue du recueil de données, la rédaction des constats permettra de dégager les points forts et ceux devant donner lieu à des améliorations permettant d’atteindre le type cible. En vue de faciliter ce diagnostic, et si la structure s’est déclarée volontaire auprès de la SoFraSimS, celle-ci adressera un outil informatisé facilitant la rédaction et la synthèse des résultats en permettant en particulier de “typer” automatiquement la structure. Il ne restera plus qu’à mettre en œuvre les actions et, dès lors que la structure se sentira prête, de solliciter auprès de la SoFraSimS une évaluation externe.

RECOURS À L’ÉVALUATION EXTERNE

La HAS ayant délégué à la SoFraSims l’évaluation externe des centres, il apparaît nécessaire que la structure réalise une demande officielle d’engagement qui comporte : respect des bonnes pratiques, mise en œuvre d’une démarche d’amélioration continue de la qualité et adhésion à la SoFraSimS. Pour ce faire, il convient de rédiger le formulaire d’engagement disponible sur le site de la HAS mais aussi sur celui de la SoFraSimS(5). Ce document doit impérativement être signé par la gouvernance de la structure. Cette signature garantit que la gouvernance valide le type ciblé et demeure consciente des efforts à produire pour parvenir au but, en particulier en termes de moyens à investir. Un descriptif détaillé de la structure sera joint.

Le formulaire adressé à la SoFraSimS sera - sous réserve d’accord de la structure - publié sur son site, ce qui permettra un premier affichage sur un engagement d’assurance qualité. Cet engagement induira l’envoi du fichier informatisé de recueil des données. Enfin, quand la structure sera prête, celle-ci pourra solliciter l’évaluation externe en adressant son résultat d’auto-évaluation.

ORGANISATION DE LA VISITE EXTERNE

À réception de la demande d’évaluation externe, la SoFraSimS devra désigner et proposer des experts à la structure. Ceux-ci devront répondre à un certain nombre d’obligations : avoir une formation validée et une expérience en matière de simulation en santé. Il est important qu’ils maîtrisent la méthodologie d’évaluation et devront avoir suivi la formation d’évaluateur organisée par la SoFraSimS. Ils seront ensuite inscrits sur une liste d’habilitation de la SoFraSimS après avoir fourni leurs références et leurs expériences dans la pratique de la simulation.

Il est bien entendu indispensable que la qualification et le statut des experts soient adaptés à la structure évaluée (par exemple, pour un établissement de type?3 hospitalo-universitaire, au moins un des experts appartiendra à ce même type de structure). Enfin, si la structure constate que les experts proposés peuvent présenter des conflits d’intérêt, elle peut bien évidemment les récuser. Le choix des experts pourra aussi tenir compte des périmètres géographiques.

La visite se déroule sur une journée et débute par une réunion d’ouverture où les experts se présentent et exposent le déroulement de la journée. À son tour, la structure présente et valorise son activité. Les documents de preuve sont remis aux experts qui débutent ensuite les entretiens conformément à l’organisation négociée en amont de la journée avec le pilote de la structure. À l’issue des entretiens et après un temps de synthèse et de concertation, les experts rédigent un compte rendu “à chaud” qui sera présenté en réunion de clôture, ouverte à un large public en fin de journée. Le type de centre ne sera pas énoncé à ce stade (voir le tableau récapitulatif de préparation de visite page 8).

CLÔTURE DE L’ÉVALUATION

À distance, les experts rédigent le rapport final à l’aide de l’outil d’évaluation informatisé (lire l’encadré ci-dessous) qui aura été ou non modifié au regard du premier résultat de l’auto-évaluation. Ils motivent leurs résultats et celui-ci est soumis au regard contradictoire de la structure.

Le rapport final (dont type de structure) est validé par le comité scientifique de la SoFraSimS.

Le “type” de centre est publié sur le site moyennant accord de la structure.

S’il existe un litige, celui-ci sera examiné par le comité scientifique. Le résultat peut s’assortir de recommandations qui pourraient différer l’attribution définitive du label cible.

EN GUISE DE CONCLUSION

Il est cependant nécessaire d’apporter quelques précisions concernant l’évaluation finale qui sera réalisée : au regard de l’auto-évaluation, de la visite externe et du résultat de la cotation. Le résultat final et la typologie de la structure seront validés par le comité scientifique de la SoFraSimS, après examen de l’ensemble des données et du rapport des experts. Il ne peut être rendu sur le seul résultat de l’évaluation des moyens de la structure.

L’ensemble des éléments d’évaluation devront être réévalués avec la HAS à l’issue de cinq à six visites expérimentales. Il est déjà probable que la procédure d’évaluation représente pour les structures de simulation un levier permettant de s’inscrire dans une dynamique d’amélioration (même si elle est très exigeante) et surtout d’interpeller la gouvernance de la structure.

L’évaluation sera aussi certainement étudiée par les Agences régionales de santé (ARS) afin de réguler les demandes grandissantes de création de structures de simulation, dont certaines sont isolées, de très petite taille et disposant de compétences limitées. Certaines ARS envisagent même la mise en place d’un schéma régional d’organisation sanitaire (Sros) pour la simulation et pourraient faire de l’évaluation un indicateur ou une exigence.

La procédure encadrée actuellement par la SoFraSimS a le mérite de tester et de valider la méthode, mais il est réaliste de penser qu’à l’horizon 2020, la HAS reprendra cette mission et fera de l’évaluation des structures une méthode de certification, voire d’accréditation. L’évaluation des structures est une première étape dans le processus. D’autres étapes restent à franchir, par exemple celles de l’évaluation des programmes pédagogiques, l’évaluation des formations de formateurs ou encore l’évaluation des formateurs via en particulier l’évaluation des débriefings.

La SoFraSimS et la HAS ont récemment signé une convention de coopération, et gardent la volonté de s’engager dans ces futurs chantiers.