Déjà inscrit(e) ?

Mot de passe oublié ?

Identifiant et/ou mot de passe non valides

Nous n’avons pas reconnu votre email, veuillez indiquer un email valide, utilisé lors de la création de votre compte.

Un message avec vos codes d'accès vous a été envoyé par mail.

Pas encore inscrit(e) ?

Inscrivez-vous pour accéder aux services de LaGazette.fr et à la gestion de vos Newsletters et Alertes.

M'inscrire gratuitement
Club finances

Déjà inscrit(e) ?

Mot de passe oublié ?

Identifiant et/ou mot de passe non valides

Nous n’avons pas reconnu votre email, veuillez indiquer un email valide, utilisé lors de la création de votre compte.

Un message avec vos codes d'accès vous a été envoyé par mail.

Pas encore inscrit(e) ?

Inscrivez-vous pour accéder aux services de LaGazette.fr et à la gestion de vos Newsletters et Alertes.

M'inscrire gratuitement

icon Club finances

[Fiche finance] CONTRÔLE DE GESTION

Évaluer… comment ? (2)

Publié le 30/05/2022 • Par La Rédaction • dans : A la Une finances, Actu experts finances, Fiches Finances, France

Évaluation de la Loi Braillard
Tierney - stock.adobe.com
Exercice à la fois utile et sain, l’évaluation s’interroge sur la performance d’une action publique, en intégrant l’avis de l’ensemble des parties prenantes, soit en allant à leur rencontre, soit en les associant plus directement à la démarche. Évaluer devrait être naturel, s’agissant d’abord d’un processus qui permet de vérifier l’adéquation des réponses apportées aux besoins identifiés comme aux problèmes constatés, d’analyser l’atteinte des objectifs ensuite, mais surtout parce que cette pratique offre la possibilité d’améliorer structurellement l’action publique. Une fois ceci posé, la question sera de savoir comment s’y prendre! Concrètement, quand évaluer et qui évalue ?

Ma Gazette

Sélectionnez vos thèmes et créez votre newsletter personnalisée

Hélène Varlet

responsable de l’évaluation, région Hauts-de-France

Une évaluation utile est une évaluation qui arrive au bon moment

La question de l’opportunité est fondamentale : toutes les actions ne peuvent pas être évaluées, ni n’importe quand, ni indéfiniment ; les moyens humains et financiers d’une collectivité n’y suffiraient pas ! Il existe d’autres outils qui peuvent renforcer la lisibilité de ces actions dans le temps. Le suivi, par exemple, accompagnera la mise en œuvre d’un dispositif et fournira, in fine, des éléments qui aideront à décider s’il est nécessaire qu’une évaluation soit engagée. L’évaluation étant ponctuelle, il faut choisir le juste moment pour la lancer. En fonction de la manière dont elle est conçue, elle demandera entre six mois et un an pour sa réalisation. Elle peut intervenir à différents moments de la vie de l’action publique.

Si l’évaluation est sollicitée en amont, lors de la phase de conception, elle vise alors à vérifier que la stratégie, ses objectifs et les moyens déployés vont effectivement dans le bon sens et sont adaptés. Cela demande un travail itératif particulier entre l’évaluation et l’écriture du cadre de l’action publique. Ce type d’évaluation, appelée ex-ante, était très fréquent concernant les fonds structurels européens, la Commission exigeant jusqu’à tout récemment qu’une évaluation de ce genre soit réalisée pendant l’écriture des programmes opérationnels (PO), afin de valider la cohérence d’ensemble avec les schémas stratégiques entrant en résonance avec le PO. Hors de ce champ spécifique, ce modèle d’évaluation est relativement rare.

Il est au contraire plus fréquent de réaliser une évaluation à l’issue de la mise en œuvre d’un dispositif, évaluation que l’on nommera alors ex-post. L’approche est très différente, puisque dans ce cas, elle consiste à observer ce qui a été mis en œuvre pour en tirer des enseignements. Elle propose les ajustements du dispositif prenant la suite du précédent, voire donne les orientations pour une action rénovée. Cette évaluation doit être programmée suffisamment tôt pour rassembler les éléments nécessaires en amont des travaux, mais elle ne doit pas être mobilisée trop tôt faute de pouvoir confirmer l’atteinte des objectifs fixés et se projeter avec pertinence vers le futur.

Lorsque l’exécution de l’action publique est pluriannuelle, l’évaluation dite intermédiaire en caractérise alors les premiers résultats, s’intéresse aux conditions de sa mise en œuvre et suggère éventuellement d’affecter différemment ses ressources. La temporalité est ici encore essentielle, cette évaluation étant pleinement utile lorsqu’elle laisse à l’ensemble des axes de la stratégie le temps de se mettre en œuvre, avec des dynamiques d’intervention différentes mais est enclenchée suffisamment tôt pour autoriser les changements adaptés.

L’évaluation in itinere est pertinente lors de la mise en place d’expérimentations ou de manifestations durant plusieurs mois, parce qu’elle favorise l’observation directe et continue sur le terrain, au plus proche des usagers et des parties prenantes. L’objectif est ici de voir ce que l’action produit en temps réel : les retombées économiques sont-elles au rendez-vous ? Le maillage entre acteurs est-il réellement observé ? Quelles sont les conditions de réussite de cette expérimentation ? Ce type d’évaluation fait appel à des compétences fréquemment convoquées lors de travaux à visée plus sociologique.

Ainsi, lorsque l’on parle d’évaluation, on pense le plus souvent à l’évaluation ex-post et c’est celle qui est généralement attendue par les services opérationnels.

L’auto-évaluation est-elle une évaluation de politique publique ?

Une fois le moment de l’évaluation défini, il convient de se poser la question suivante : qui va évaluer ? Cette question n’a pas de réponse simple. Trois grandes possibilités s’ouvrent à vous : l’auto- évaluation, l’évaluation réalisée par un évaluateur interne à la collectivité, ou l’évaluation confiée à un évaluateur externe.

Pour les puristes, l’auto-évaluation, c’est-à-dire l’évaluation par ceux-là mêmes qui mettent en œuvre l’action publique, n’est pas de l’évaluation. Pourquoi ? parce qu’évaluer demande du temps. Parce qu’évaluer demande une prise de recul. Et surtout, parce qu’évaluer, c’est un métier ! Si certains services s’y sont risqués avec enthousiasme, ils ont reconnu a posteriori que les résultats étaient très loin de leurs espérances. Aux yeux des puristes de l’évaluation toujours, celle-ci ne peut qu’être externalisée et confiée à des consultants, voire à des laboratoires de recherche spécialisés.

Il faut pour cela passer par les procédures de marchés publics, dans la mesure où une évaluation coûte en moyenne 50 000 euros, souvent davantage. L’intérêt du recours à un prestataire réside dans le fait qu’il soit indépendant de la collectivité commanditaire. Il apporte un regard neuf, les parties prenantes lui parlent également de manière plus ouverte, il est neutre et fait part de ce qu’il a observé de manière presque candide. En bref, son métier, c’est d’évaluer. L’inconvénient, c’est le fait qu’il soit… indépendant de la collectivité ! Il n’en connaît pas toujours bien les rouages, ne maîtrise pas les finesses des interactions entre services ni l’historique particulier de l’action publique.

Pour autant, le recours à ce prestataire est opportun lorsque la relation s’avère difficile avec certains partenaires et opérateurs, parfois même avec les bénéficiaires, mais aussi lorsque l’action évaluée est complexe, ou enfin si elle implique un nombre trop important d’acteurs. Comment choisir un prestataire ? Une bonne offre mettra en avant des compétences et des expériences complémentaires mais pas nécessairement une spécialisation dans le domaine évalué, mobilisera une méthodologie solide répondant aux questions évaluatives et déclinera une organisation générale cohérente et adaptée aux besoins de la mission.

Certaines collectivités se sont professionnalisées et ont intégré un service Évaluation, qui réalise lui-même les travaux. C’est une solution intermédiaire intéressante, parce qu’elle combine les avantages des deux précédentes. L’économie de la prestation internalisée permet de proposer plus d’outils méthodologiques. Lorsque des travaux très pointus l’exigent, comme en statistiques par exemple, il peut être fait appel à une prestation externe en complément. Des laboratoires universitaires de recherche sont souvent ouverts à de telles collaborations.

Pour avoir une bonne offre… Avoir un bon cahier des charges !

Les sept points essentiels d’un cahier des clauses techniques particulières sont :

  • le contexte institutionnel de l’évaluation : la clarté des attendus ;
  • la description de l’action publique, son périmètre ;
  • les données existantes : cela permet au prestataire d’adapter son offre et, le cas échéant, d’estimer le temps nécessaire à leur reconstitution ;
  • le questionnement évaluatif : quatre ou cinq questions essentielles ;
  • la gouvernance de l’évaluation : information sur l’instance d’évaluation, suivi des travaux au quotidien…
  • la méthodologie : précision sur la marche de manœuvre laissée au prestataire, de la liberté totale à l’obligation d’utiliser tel ou tel outil ;
  • le calendrier et l’organisation : délai rationnel de réalisation, phasage de la mission, animation et restitutions attendues, livrables, forme des documents, diffusion, propriété des résultats…

Repères

  • Une évaluation, en fonction de la manière dont elle est conçue, demande entre six mois et un an pour sa réalisation et peut intervenir à différents moments de la vie de l’action publique.
  • Le champ de l’évaluation ne doit pas être trop réduit, ni trop important. Même si toute action publique est évaluable, du projet à la politique, au regard du temps et des moyens, c’est souvent le dispositif ou le programme qui sont évalués.

Le prix d’une évaluation

Une évaluation, c’est surtout du temps, un nombre de jours qui varie en fonction de la complexité des travaux. Un cabinet de consultant va positionner plusieurs évaluateurs seniors et juniors sur la mission et il vous faudra juger du meilleur équilibre possible au regard de la proposition et de vos besoins.

La mission coûtera peut-être moins chère si elle ne repose que sur le consultant junior mais l’expertise du senior n’est-elle pas nécessaire ? En fonction de la complexité des travaux et donc du nombre de jours, une évaluation pourra coûter entre 30 000 et 150 000 euros.

Dans le cadre du marché public, une question qui se pose souvent est celle de l’affichage du prix : l’afficher entraînera le risque de recevoir des offres qui seront toutes au seuil du prix publié ; ne pas l’afficher suscitera des offres plus variées et inventives mais sur une fourchette budgétaire plus large, donc possiblement mal calibrées ou hors budget. Reste une question… quel est le prix acceptable pour une évaluation ?

Se préparer à évaluer

Une fois les questions du quand et du qui résolues, il convient de préparer l’évaluation. Que va-t-on évaluer ? Cette question semble a priori simple et pourtant… Le champ de l’évaluation ne doit pas être trop réduit, ni trop important. Même si toute action publique est évaluable, du projet à la politique, au regard du temps et des moyens, c’est souvent le dispositif ou le programme qui sont évalués.

Parfois, c’est face à la disponibilité de la donnée que le champ est déterminé : dispose-t-on de l’information relative à ces questions : qui, où, pour quoi faire et combien ? A-t-on les adresses mails de bénéficiaires si l’on envisage de les solliciter par enquête électronique ? Et sur quelle période souhaite-t-on que l’étude porte ? Une fois ces éléments réunis, éventuellement sous forme de bilan, on doit préciser ce que l’on veut savoir. C’est le moment d’écrire les questions évaluatives, ces questions relevant des différents registres d’évaluation.

Elles sont généralement élaborées avec les membres de l’instance d’évaluation – en prenant garde que les négociations sur les mots n’induisent pas une perte de sens ! Il faut se limiter à quelques questions (entre trois et six) sous peine de s’égarer et de ne pas obtenir des réponses robustes dans le temps imparti.

Ces éléments étant posés, la stratégie d’évaluation permettant de répondre aux questions évaluatives pourra être élaborée. Quelles méthodologies ? Quels outils ?

Exemples de questions évaluatives à affiner et à adapter

Efficacité : quelle est la réalité de la mise en œuvre du dispositif ? Quels sont les différents facteurs qui influent sur les réalisations et les résultats obtenus avant, pendant et après les actions mises en œuvre ?

Pertinence : en quoi le dispositif correspond-il aux attentes de bénéficiaires ? L’aide apportée est-elle adaptée aux difficultés rencontrées par les bénéficiaires ?

Cohérence : les différentes bourses ou aides existantes sont-elles complémentaires ? Comment ce dispositif s’articule-t-il avec les autres interventions publiques similaires ?

Utilité : dans quelle mesure l’accompagnement proposé et réalisé répond-il aux besoins des bénéficiaires ?

Efficience : les résultats obtenus auraient-ils pu l’être avec un budget inférieur ? En quoi les résultats obtenus sont à la hauteur des moyens mis en œuvre ?

Thèmes abordés

Réagir à cet article

Sur le même sujet

marche online

Aujourd'hui sur le Club finances

Nos services

Prépa concours

CAP

Évènements

Gazette

Formations

Gazette

Commentaires

Évaluer… comment ? (2)

Votre e-mail ne sera pas publié

Club finances

Déjà inscrit(e) ?

Mot de passe oublié ?

Identifiant et/ou mot de passe non valides

Nous n’avons pas reconnu votre email, veuillez indiquer un email valide, utilisé lors de la création de votre compte.

Un message avec vos codes d'accès vous a été envoyé par mail.

Pas encore inscrit(e) ?

Inscrivez-vous pour accéder aux services de LaGazette.fr et à la gestion de vos Newsletters et Alertes.

M'inscrire gratuitement