Dans le cadre des évaluations des ESSMS, lorsqu’un critère impératif n’est pas coté à 4 ou *, les évaluateurs doivent remplir un « formulaire » spécifique dans lequel ils doivent « justifier » leur cotation et mener des « investigations complémentaires ». Le fait de justifier la cotation est à peu près clair, même s’il y a encore des débats sur le fait de savoir s’il faut reprendre le commentaire écrit dans le pré-rapport en face du critère considéré ou s’il faut le synthétiser (fonction de la longueur de ce commentaire…) ( ?) : on pourrait en effet considérer que le commentaire au sein du pré-rapport a déjà permis d’expliquer et justifier la cotation 1, 2 ou 3. La suite est beaucoup moins claire et applicable en pratique.
Le binôme d’évaluateurs doit ensuite mener des « investigations », c’est-à-dire si l’on se réfère à la définition admise, effectuer une enquête, une recherche, une exploration…une inspection. Ce travail se heurte d’abord à quelques difficultés évidentes :
- coter les éléments évaluatifs sur place et donc être certain que la cotation sera inférieure à 4, alors même que la cotation est calculée par Synaé à partir de celles de plusieurs éléments évaluatifs, dont la grille CVS. De plus, on a parfois besoin de recul pour certains critères, d’échanges à froid entre évaluateurs et pas que le soir après les entretiens, voire de solliciter le référent SMS du cabinet, pas toujours disponible au moment de l’évaluation…les choses ne sont pas toujours claires dès le départ.
- avoir le temps pour investiguer (les plannings d’évaluation sont très contraints) et obtenir une écoute attentive de la gouvernance pour répondre aux questions.
- pouvoir investiguer : en évaluation, à chaud, les structures interrogent souvent les constats, voire parfois les contestent, ce qui fait partie du débat contradictoire légitime. Difficile d’investiguer dans un contexte qui peut être tendu où l’échange se concentre sur la justification de la cotation envisagée.
Ensuite, le contenu de cette « investigation », comprenant 5 questions manque de clarté. La première consiste à savoir si la gouvernance a « connaissance de la situation » ; si oui – impliquant donc qu’elle est d’accord avec le constat posé –, on peut passer à la suivante. Mais si elle n’a pas connaissance/ne la reconnait pas, alors l’investigation guidée peut s’arrêter là et, par définition, il est inutile de pousser plus loin, la réponse aux 4 questions suivantes sera également négative. Admettons donc qu’elle a connaissance de la situation. Il s’agit ensuite de savoir si elle a « analysé les causes de cette situation » (question 2) et si elle a « déjà identifié la/les mesure(s) d’amélioration nécessaire(s) » (question 3). La formulation de la question 3 (« déjà ») implique que l’on se situe dans le passé ; autrement dit, avant que l’évaluateur cote 1, 2 ou 3, la gouvernance savait déjà que le critère ne passerait pas et avait déjà pris des mesures correctives (mais pas suffisamment longtemps avant pour que le critère puisse être coté à 4…), elle avait donc « déjà » analysé les causes. Mais alors, que faut-il investiguer si la gouvernance a connaissance de la situation et que les mesures d’amélioration ont déjà été identifiées ? Juger de leur pertinence ? Entre 17h et 17h15 avant la réunion de clôture de l’évaluation ? Et est-ce à l’évaluateur de contrôler ou d’évaluer les plans d’actions des ESSMS, de porter un jugement sur le fait de savoir s’ils sont réalistes, efficaces, suffisants… ?
Nous continuons, avec notre loupe de détective, avec les questions 4 et 5. A la 4 il est demandé si « un plan d’action » a été défini « avec la désignation d’un pilote » et « la fixation d’échéances »…et si « Les échéances » sont « cohérentes au regard du risque généré » ? Dans la logique de ce qui précède il eut été utile de rédiger la phrase au passé (un plan d’action a-t-il été élaboré avant l’évaluation sur site ?, impliquant, là encore, que la situation fût connue par l’ESSMS avant l’évaluation). Ensuite, on ne se contente plus de relever ce qui a été fait ou pas par la gouvernance mais de donner un avis sur la partie calendaire du plan d’action (s’il y en a un…) : « les échéances sont-elles cohérentes au regard du risque généré », supposant qu’une cotation inférieure à 4 d’un critère impératif entraîne systématiquement un risque et impliquant d’estimer le ou les risques en présence et de confronter les échéances fixées au risque. Enfin, 5ème question (qu’il eût fallu rédiger au temps du passé) : « Des évaluations et/ou un suivi sont-ils prévus afin de s’assurer de l’efficacité des actions » …ou pour s’assurer que le critère impératif est atteint ? Sans parler évidemment du fait, à ce stade, qu’un critère impératif ait pu ne pas être atteint « tout simplement » parce que, compte tenu de la méthode préconisée, les acteurs n’ont pas pu/su produire les éléments de preuves dans les temps (=> Plan d’action = mettre les preuves en évidence !).
Ainsi, dans la mesure où l’ESSMS doit, lors de la transmission du pré-rapport à l’autorité compétente, « transmettre un plan d’action spécifique pour chacun des critères impératifs non atteinte…dont les mesures correctives mises en place », il est permis de s’interroger sur l’utilité et la pertinence de ce travail : En effet :
- Soit la gouvernance ne connait pas /reconnait pas et les questions 2 à 5 du formulaire sont inutiles ;
- Soit elle connait et a déjà mis en place ses actions/plan d’actions et cela a déjà été échangé avec les acteurs pendant les entretiens et donc retranscrit dans les commentaires du rapport (sauf à évaluer le contenu du plan d’action et pas seulement les « échéances » mais ce n’est a priori pas ce qui est explicitement demandé) ;
- Soit elle connait et n’a pas réfléchi aux mesures en place, n’a pas déployé de plan d’action et on peut difficilement lui demander de le faire/d’y réfléchir pendant l’évaluation sur site.
En somme, en vue de recentrer le rôle des évaluateurs sur leur cœur de mission et de ne pas brouiller les relations avec la gouvernance il faudrait simplifier cette séquence de l’évaluation. La supprimer ?
