L’évaluation des activités et de la qualité des prestations

Contexte

La montée de l’exigence évaluative dans les établissements et services sociaux et médico-sociaux, posée par la loi n° 2002-2, a été précédée de la mise en avant d’un autre type d’évaluation, celle des politiques publiques. Ainsi, les grandes lois de ces dernières années ont fait de l’évaluation de ces dernières une priorité (loi relative à la lutte contre les exclusions de 1998, loi organique relative aux lois de finances – LOLF –, loi de financement de la sécurité sociale…). L’évaluation des activités et des prestations découle de cet historique, les pouvoirs publics ayant souhaité étendre cette logique au secteur social et médico-social. La loi n° 2002-2 l’a imposée de façon très forte et non moins symbolique en articulant l’évaluation avec la réaffirmation des droits des usagers. Des usagers qu’il fallait (re)considérer comme sujets (et non objets), au « cœur du dispositif » social et médico-social, dans un contexte par ailleurs fortement marqué par la médiatisation de scandales de maltraitance, et l’exigence de clarification des actions conduites et de lisibilité de leurs effets.
Depuis longtemps cependant, l’évaluation est au centre des préoccupations des établissements et services, tout simplement parce qu’elle fait partie intrinsèque du travail social. La loi n° 2002-2, avec les principes qu’elle réaffirme, les outils qu’elle met en place ou promeut, les dispositifs et instances qu’elle inaugure, entend favoriser une culture commune de l’évaluation des activités et des prestations. Mais si la loi articule les multiples dimensions de l’évaluation (évaluation des besoins et de la qualité du service rendu, certes, mais aussi évaluation des coûts), elle se positionne dans une logique de maîtrise de la dépense publique et de convergence tarifaire entre les établissements et les services, ce qui interroge sur la façon dont les besoins des personnes vont être évalués, et pris en compte dans les politiques territoriales.
Cette fiche présente le cadre légal de l’évaluation en développant les obligations en matière d’évaluation interne et d’évaluation externe, et mentionne le calendrier de ces évaluations. Elle esquisse également les contours de ce que sont ces deux types d’évaluation, ce qu’il convient d’évaluer, au regard notamment des recommandations de bonnes pratiques professionnelles de l’ANESM, l’Agence nationale de l’évaluation, et comment évaluer. Quelques pistes sont enfin présentées comme conditions pour réussir une démarche d’évaluation interne.

Le cadre légal de l’évaluation interne et de l’évaluation externe

La loi n° 2002-2 du 2 janvier 2002 rénovant l’action sociale et médico-sociale a institué l’obligation pour les établissements et services sociaux et médico-sociaux de procéder à l’évaluation de leurs activités et de la qualité des prestations qu’ils délivrent. Il s’agit ainsi à la fois d’une obligation d’évaluation interne et d’évaluation externe (article L. 312-8 du CASF), avec, sur une période d’autorisation des structures de quinze ans, deux évaluations internes et deux évaluations externes à programmer. Le législateur a ainsi lié la démarche d’évaluation à une loi qui consacre la place de l’usager et instaure la qualité comme exigence de l’action sociale.

L’évaluation interne

Elle doit être réalisée par les structures elles-mêmes. Les résultats de cette évaluation doivent être communiqués tous les cinq ans à l’autorité ayant délivré l’autorisation. Sur la période des quinze ans que dure une autorisation, deux évaluations internes seront donc menées.
Les établissements et services doivent procéder à l’évaluation de leurs activités et de la qualité des prestations qu’ils délivrent au regard, notamment, de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées, selon les catégories d’établissements ou de services, par l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (article L. 312-8 du CASF). Les recommandations de l’ANESM sont en cours d’élaboration, certaines ont déjà été publiées ( cf . ci-dessous la liste de ces recommandations, et cf. la Fiche 6 pour le rôle de l’ANESM). Ces recommandations font référence pour une démarche de qualité dans le secteur social et médico-social, et sont présentées comme des repères pour l’action, et non comme des normes de fonctionnement.

L’évaluation externe

Elle doit être réalisée tous les sept ans par des organismes extérieurs et indépendants. Sur une période d’autorisation de quinze ans, elle doit donc être effectuée au cours des sept années suivant l’autorisation ou son renouvellement et au moins deux ans avant la date de celui-ci. La liste des organismes habilités est établie par arrêté du ministre chargé de l’Action sociale, après avis de l’ANESM. Une première liste a été publiée en 2009.
Le décret n° 2007-975 du 17 mai 2007 a fixé le contenu du cahier des charges pour l’évaluation externe et a précisé que l’évaluation interne et l’évaluation externe devaient porter sur le même champ.
Les résultats de cette évaluation doivent également être communiqués à l’autorité ayant délivré l’autorisation (comme ceux de l’évaluation interne). Le renouvellement tous les quinze ans de l’autorisation est dorénavant subordonné aux résultats de l’évaluation externe.

Le calendrier des évaluations

Compte tenu du fait que les procédures, références et recommandations de bonnes pratiques professionnelles devaient être validées par un Conseil national de l’évaluation sociale et médico-sociale qui a été installé tardivement (puis remplacé par une agence nationale), que le décret relatif à l’évaluation externe a été publié deux ans après la loi (le 15 mai 2007), et que les organismes évaluateurs externes n’ont été habilités qu’à la fin du premier semestre 2009, les délais d’évaluation posés en 2002 n’ont pas encore été opérants jusqu’à ce jour. Mais l’ensemble du dispositif est désormais opérationnel. La loi « HPST » n° 2009-879 du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires a en effet maintenu le principe de deux évaluations internes et de deux évaluations externes entre la date de l’autorisation et son renouvellement. Elle a en revanche renvoyé le rythme des évaluations, leur calendrier et les modalités de restitution à des décrets ultérieurs. Elle a en outre institué deux dérogations, l’une relative à l’évaluation interne, l’autre relative à l’évaluation externe : ainsi, les établissements et services autorisés et ouverts avant la date de promulgation de cette loi ne seront tenus qu’à une évaluation interne et à une évaluation externe d’ici à la date de renouvellement de leur autorisation (l’évaluation externe devant se dérouler au plus tard deux ans avant la date de renouvellement de l’autorisation). Après cette période, ces établissements et services devront de nouveau respecter le principe général de deux évaluations internes et deux évaluations externes.

L’évaluation interne

Ce que vise l’évaluation interne

L’évaluation se présente comme une démarche de production de connaissances visant à mesurer les éventuels écarts et à éclairer les tensions entre les objectifs des politiques publiques, le projet de l’organisme gestionnaire, le projet d’établissement ou de service, ses missions, les projets personnalisés, les impacts produits, les besoins et attentes des usagers, afin de définir, à partir d’une analyse collective, des priorités d’amélioration. Elle doit conduire à une appréciation des pratiques professionnelles, notamment au regard de recommandations de bonnes pratiques professionnelles. Elle se présente comme un véritable outil de management et d’aide à la décision.
Selon la recommandation de l’ANESM relative à la mise en œuvre de l’évaluation interne ⁽¹⁾, l’évaluation interne est une démarche « qui doit permettre l’appréciation systématique de :

• la pertinence (les finalités de l’action sont-elles en cohérence avec les objectifs prioritaires définis par les pouvoirs publics, avec les besoins de l’usager ?) ;
• la cohérence (l’action constitue-t-elle une réponse adaptée aux besoins ou problèmes identifiés ?) ;
• l’impact (quels sont les effets de l’action, souhaités ou non ?) ;
• l’efficacité (les résultats obtenus sont-ils conformes aux objectifs retenus, aux besoins identifiés ?) ;
• l’efficience (les résultats sont-ils à la mesure de l’ensemble des moyens mobilisés ?) des actions conduites. »

Les objets évalués sont la qualité des moyens mis en œuvre (au regard des besoins et des objectifs), la qualité des interventions et non celle des intervenants.
Au final, il est intéressant de retenir les aspects structurants d’une démarche d’évaluation interne réalisée par les établissements et services, dans l’esprit de l’ANESM et du Conseil national de l’évaluation sociale et médico-sociale qui l’a précédée :

• Valoriser l’action conduite : Rendre lisible l’action de l’établissement ;
• Démontrer le fondement et la pertinence des pratiques, des projets et actions entreprises ;
• Nourrir un argumentaire à l’attention des partenaires et décideurs (y compris en termes d’allocation de moyens) ;
• Faire évoluer les pratiques et les compétences :
  la promotion de l’autonomie et de la qualité de vie des personnes ;
  • la personnalisation de leur accompagnement ;
  • la garantie de leurs droits et de leur participation ;
  • la protection des personnes et la prévention des facteurs de risque liés à leur vulnérabilité.

  Elle affirme en outre de façon non moins importante que l’évaluation doit porter sur « les effets produits par les activités, leur adéquation aux besoins et attentes des personnes accueillies, leur cohérence avec les missions imparties et les ressources mobilisées et permet d’interroger le cœur de métier, c’est-à-dire les réponses apportées aux usagers ». Autrement dit, les établissements et services devront axer leurs interrogations sur la façon dont les activités qu’ils conduisent produisent les effets escomptés sur les personnes qu’ils accompagnent.

  Comment évaluer ?

  La recommandation précédemment citée de juillet 2009 propose une méthodologie pratique, en proposant 4 phases dans la réalisation de l’évaluation interne :

  • identifier le cadre général en mettant en avant : les caractéristiques des publics accompagnés, les objectifs de l’accompagnement, les critères d’appréciation des activités (phase 1) ;
  • recueillir les informations qui décrivent les processus engagés dans les activités réalisées, et permettent de constater les réalisations, les changements et les écarts (phase 2), pour ensuite entrer dans l’analyse : dans quelle mesure, avec quels moyens, par quels processus, les activités contribuent aux objectifs fixés ;
  • faire des préconisations, à partir de cette analyse (phase 3) ;
  • prendre des décisions d’amélioration, rôle qui incombe aux responsables de l’établissement ou du service, avec un calendrier prévisionnel et des moyens à la clé (phase 4).

  Les établissements et services peuvent par ailleurs s’approprier différents référentiels qui existent, ou alors élaborer leur propre référentiel. Une méthodologie participative est requise par l’ANESM, par exemple avec instances et groupes de travail réunissant les différents acteurs concernés par le projet d’établissement ou de service (administrateurs, professionnels, direction, usagers, familles, partenaires extérieurs…). Ces instances peuvent être, de façon non exhaustive :

  • une équipe de direction, garante de la démarche ;
  • un Comité de pilotage, avec tous les acteurs représentés, y compris usagers et familles ;
  • un groupe de travail transversal, c’est-à-dire représentatif des différentes catégories de personnel ;
  • des groupes de travail thématiques, pluridisciplinaires ou par service…

  Une communication aux différents moments de la démarche est à envisager.

  Des repères pour l’action et l’évaluation : les recommandations de bonnes pratiques professionnelles de l’ANESM

  On l’a vu, les établissements et services conservent une marge de manœuvre pour décider des thématiques les plus pertinentes qui feront l’objet de leur démarche d’évaluation interne, au regard de ce qu’ils sont, des publics qu’ils suivent… Mais des recommandations de bonnes pratiques professionnelles ont vocation à être élaborées par l’ANESM, qui seront autant de repères pour l’action et l’évaluation : cadres de référence visant à être partagées par l’ensemble du champ de l’action sociale et médico-sociale, ces recommandations ne sont certes pas des normes ou des modes de fonctionnement standardisés qu’il faudrait appliquer à la lettre. Mais c’est sur les principes et les repères qu’elles promeuvent et leur effectivité dans les structures que l’évaluation externe portera son attention. C’est ainsi que la recommandation-cadre de l’ANESM sur l’évaluation interne met en avant l’usager, le respect de ses droits, la personnalisation de son accompagnement, comme objet prioritaire de l’évaluation, dans un premier temps. L’évaluation externe se penchera donc tout naturellement sur l’effectivité de cette réflexion dans la démarche d’évaluation interne qui aura été menée.
  Élaborées par les acteurs de ce champ, à partir des pratiques valorisées du terrain, elles se présentent comme des pistes de réflexion. À ce jour, neuf ont été publiées, avec une recommandation-cadre, qui pose les bases de l’évaluation interne, et des recommandations transversales et sectorielles, regroupées ici de façon thématique :

  • La recommandation-cadre : « La conduite de l’évaluation interne dans les établissements et services visés à l’article L. 312-1 du Code l’action sociale et des familles », précédée de « Mise en œuvre de l’évaluation interne dans les établissements et services sociaux et médico-sociaux ».
  • Les fondamentaux : « La bientraitance : définition et repères pour la mise en œuvre ».
  • L’expression et la participation : « L’expression et la participation des usagers dans les établissements relevant de l’inclusion sociale ».
  • Les points de vigilance, la prévention des risques : « Mission du responsable d’établissement et rôle de l’encadrement dans la prévention et le traitement de la maltraitance » ; « Les conduites violentes dans les établissements accueillant des adolescents : prévention et réponses ».
  • Le soutien aux professionnels : « Mise en œuvre d’une stratégie d’adaptation à l’emploi des personnels au regard des populations accompagnées ».
  • Les relations avec l’environnement : « L’ouverture de l’établissement à et sur son environnement ».
  • La qualité de vie : « Les attentes de la personne et le projet personnalisé ».
  • Ainsi qu’une recommandation sectorielle : « L’accompagnement des personnes atteintes d’une maladie d’Alzheimer ou apparentée en établissement médico-social ».

  L’évaluation externe

  Ses objectifs

  Le décret n° 2007-975 du 15 mai 2007 fixe le contenu du cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements et services sociaux et médico-sociaux. Il indique que « l’évaluation doit viser à la production de connaissance et d’analyse ». Il souligne en particulier que l’évaluation externe doit porter sur les mêmes objets que l’évaluation interne, pour aboutir à de véritables regards croisés sur une même situation (ce qui implique, pour les établissements et services, d’attacher un soin tout particulier à choisir leurs thématiques d’évaluation interne). Il insiste cependant sur le fait que l’évaluation doit absolument porter sur l’effectivité des droits des usagers et les conditions de réalisation du projet de la personne, notamment « la capacité de l’établissement ou du service à évaluer avec les usagers leurs besoins et attentes ».
  Ce décret indique les principes déontologiques, les objectifs, l’organisation et la mise en œuvre de l’évaluation externe par les organismes habilités à la pratiquer. Plus précisément, ce texte indique d’une part, les conditions de l’habilitation des organismes (absence de conflit d’intérêt, compétences, déontologie) mais va au-delà. En effet, sont successivement abordés :

  • les fondements, les objectifs et le contenu de l’évaluation externe ;
  • l’articulation avec les démarches d’évaluation interne ;
  • l’engagement dans la procédure d’évaluation externe et la contractualisation avec l’évaluateur ;
  • la condition de réalisation de l’évaluation externe (étapes, résultats…) ;
  • les processus d’élaboration et de communication du rapport d’évaluation, et son contenu.

  Le décret mentionne la nécessité d’un diagnostic partagé, d’un cadre de référence spécifique d’évaluation, d’outils adaptés à chaque établissement et service, comme la mobilisation de tous les acteurs aux différentes étapes de la démarche évaluative. Il mentionne l’absence de comparabilité des établissements et services entre eux à travers l’évaluation.

  Qui procède à l’évaluation externe ?

  Des organismes habilités procéderont à l’évaluation externe. Qu’il s’agisse d’association, de personne morale de droit privé ou public, d’entreprise individuelle, de travailleurs indépendants, ils devront respecter le cahier des charges déterminé par le décret du 15 mai 2007 relatif à l’évaluation externe ⁽²⁾, ainsi que des engagements relatifs aux principes d’intégrité, d’objectivité, de confidentialité et de compétence. Une première liste d’organismes a été habilitée par l’ANESM en 2009.

  Les conditions de réussite de la démarche d’évaluation interne

  Plusieurs conditions peuvent être posées pour une réussite de la démarche d’évaluation interne, c’est-à-dire pour garantir que cette démarche produise bien les effets escomptés, au regard des principes défendus par le CNESMS, puis par l’ANESM.
  Ainsi, l’adhésion du personnel à la démarche se présente comme une condition importante. Celui-ci ne doit toutefois pas être effrayé par la démarche. L’évaluation a pour objectif d’interroger l’institution, et non la responsabilité individuelle de tel ou tel. La recommandation de l’ANESM relative à la mise en œuvre de l’évaluation interne indique d’ailleurs que « l’évaluation est une démarche portant sur l’établissement ou le service comme système ».
  Mais cette adhésion s’accompagne en outre d’une participation relativement active de tous, grâce à une dynamique d’ensemble impulsée par la direction, à laquelle il revient de garantir les conditions d’effectivité de cet engagement. Tous les personnels sont légitimes à s’exprimer sur l’ensemble des pratiques institutionnelles, du point de vue de leur métier, de leur qualification, de leur sensibilité… La démarche d’évaluation interne est considérée comme un croisement des regards et des points de vue. Le soutien de la direction et des cadres est important : « manager » la démarche apparaît essentiel.

  Pour conclure…

  « L’évaluation n’est pas un sésame amenant une solution clé en main ou une réponse opérationnelle immédiate. Elle est une démarche de meilleure compréhension d’un établissement dans toute sa complexité, permettant de concevoir des pistes de progrès dans le souci d’améliorer les pratiques et la qualité des prestations. Elle produit des connaissances partagées, elle est une aide à la décision et à la conduite du changement »⁽³⁾.
   

  Elle doit aussi être une opportunité pour mieux connaître le fonctionnement de l’établissement et des professionnels entre eux, pour instaurer une cohésion d’équipe, et développer une vision prospective et d’anticipation des besoins des personnes accueillies ou suivies, pour un service de qualité qui leur soit rendu. Elle est avant tout un véritable outil de management participatif.
  Reste à savoir ce qu’il adviendra de cette démarche dans l’esprit des autorités de tarification et de contrôle, et si elles demeureront fidèles au principe soulevé
  par la loi n° 2002-2 et à la logique ascendante de l’évaluation, qui promeut une évaluation partant du terrain et des professionnels, et qui ne tend pas vers une normalisation des pratiques. 

Mettez toutes les chances de votre côté

Je découvre les prépas