L'évaluation de programme axée sur le jugement crédible

Marthe Hurteau, Sylvain Houle, François Guillemette

• Éditeur: Presses de l'Université du Québec
• Année: 2012
• ISBN:
  9782760535503
• Sujet: Commerce
• Sous-sujet: Management

Générer un jugement crédible s'avère un défi de taille pour tout professionnel, notamment dans le cadre d'évaluation de programmes. Les auteurs proposent des solutions en s'intéressant notamment aux contextes et aux contingences, au choix des critères et des seuils de performance ainsi qu'aux capacités personnelles de l'évaluateur.

SI L’ÉVALUATION1DE PROGRAMME PEUT SEMBLER DIFFICILE À définir, compte tenu de la diversité des programmes ainsi que de la panoplie des activités, des évaluateurs et des bailleurs de fonds, c’est l’étymologie du mot « évaluation », soit « valeur », qui nous permet d’en capter pleinement le sens. En effet, cette activité génère un jugement sur le mérite ou la valeur d’une ou de plusieurs composantes du programme (Scriven, 1967, 1991), conception qui demeure toujours valable.

Dans la vie de tous les jours, les gens évaluent ou portent des jugements informels sur tout et rien, allant de films, de restaurants, de pièces de théâtre, de concerts et de livres jusqu’aux candidats à une élection. L’évaluation formelle en évaluation de programme, quant à elle, se distingue de l’informel en ayant recours à un processus systématique pour recueillir et analyser l’information ou les données afin de démontrer la qualité des composantes du programme à l’étude.

Le présent ouvrage aborde les processus requis en évaluation de programme afin que les jugements générés puissent être considérés comme crédibles aux yeux des parties prenantes. Nous avons pensé consacrer l’un de ses premiers chapitres à la présentation de l’évolution de ce champ disciplinaire, de ses visées ainsi que de ses principaux modèles ou théories. Nous compléterons en présentant les étapes requises pour mener à bon terme une évaluation.

LA DÉFINITION DE L’ÉVALUATION

Dans Encyclopedia of Evaluation, Fournier définit l’évaluation comme une démarche structurée qui souligne le processus requis pour recueillir et traiter l’information ainsi que le produit attendu qui constitue un jugement de valeur sur la qualité du programme ou d’une de ses composantes :

L’évaluation se définit comme un processus d’enquête permettant de recueillir des données probantes qui sont ensuite synthétisées dans le but de générer des conclusions sur la situation actuelle, l’envergure, le mérite, la valeur, la signification ou la qualité d’un programme, d’un produit, d’une personne, d’une politique, d’une proposition ou d’un plan. Ces conclusions englobent à la fois des perspectives empiriques (démontrant que le cas est réel) et normatives (portant un jugement sur la valeur d’un objet). La production d’un jugement constitue l’élément clé qui permet de distinguer cette activité des autres types d’enquête, tels que la recherche fondamentale en science, l’épidémiologie clinique, l’investigation journalistique ou le sondage d’opinion2 (Fournier, 2005, p. 139-140).

L’auteure met ainsi en relief les volets tant empirique (qui réfère à la collecte d’information) que normatif de l’évaluation. Elle note aussi que le volet normatif contribue à distinguer la démarche évaluative des autres types d’enquête par le fait qu’elle vise à générer un jugement sur la valeur d’une ou des composantes du programme à l’étude.

Des auteurs ont défini l’évaluation de programme en mettant en évidence certaines subtilités. Ainsi, Fitzpatrick, Sanders et Worthen (2011, p. 129) définissent l’évaluation comme « l’identification, la clarification de critères fondés qui sont utilisés afin de déterminer la valeur (ou le mérite) d’un objet3 ». Cette définition souligne la contribution des critères et les justifie par le fait même. En plus d’influencer la nature de l’information ainsi que des analyses requises, les critères permettent de porter un jugement sur la valeur de ou des composantes du programme. Stufflebeam (1973, p. 179), un des pionniers de l’évaluation guidant la prise de décision, définit cette activité comme « le processus qui consiste à cerner l’information requise, la recueillir et la diffuser afin de porter un jugement sur les différentes options de décision qui peuvent être examinées4 ». Tout comme les auteurs avant lui, Stufflebeam souligne le rôle essentiel de l’évaluateur, tant sur le plan de la planification de la démarche que de son déroulement, pour déterminer la nature de l’information requise afin de générer un éventuel jugement. Dans ses premiers écrits, Stake (1967), un autre pionnier du domaine, met aussi l’accent sur le rôle du jugement et des valeurs. Dans son texte portant sur la posture de l’évaluation (the countenance of evaluation), il identifie les deux actes fondamentaux de la démarche évaluative, soit la description des composantes du programme et le jugement. Plus récemment, Mark, Henry et Julnes (2000) associent l’évaluation aux jugements informels que nous émettons sur une base régulière. Ils font ainsi référence à

[…] l’évaluation qui assure une cohérence soutenue. Elle est conçue dans le but d’épauler et d’accroître les capacités humaines naturelles de toute personne à observer, à comprendre et à porter des jugements sur les politiques, les programmes et toute autre composante du programme à l’étude5 (Mark, Henry et Julnes, 2000, p. 179).

Mais qui les évaluateurs desservent-ils lorsqu’ils contribuent à apporter un éclairage sur le programme, à faciliter la production d’un jugement et ultimement à éclairer les prises de décision ? Encore une fois, l’évaluation se distingue de la recherche fondamentale parce qu’elle dessert les clients et les parties prenantes qui veulent utiliser à bon escient l’information générée afin de porter un jugement ou d’envisager une décision. Dans cette perspective, tout évaluateur qui se respecte doit s’assurer de la collaboration des personnes concernées dès le déclenchement des activités. En agissant ainsi, il est en mesure de baliser le programme à l’étude, de se sensibiliser aux problèmes auxquels sont confrontées les personnes concernées ainsi que la nature des décisions qu’elles doivent envisager. L’évaluateur sera ainsi en mesure de fournir une information crédible à leurs yeux et d’augmenter les chances d’éclairer la prise de décision.

Ainsi, en définissant l’évaluation comme une activité qui consiste à fournir de l’information à la fois pertinente et cohérente en vue de générer un jugement et d’alimenter une éventuelle prise de décision, il va de soi que l’évaluateur ne peut être le seul maître à bord. En effet, celui-ci joue un rôle déterminant dans la production d’un jugement et la prise de décision qui en découle, mais au même titre que les parties prenantes. Contrairement à une démarche de recherche, il ne pilote pas seul l’évaluation. Cette observation établit une distinction fondamentale entre la recherche et l’évaluation. Dans cette perspective, l’évaluation de programme exige que l’évaluateur s’engage envers les parties prenantes afin de découvrir leurs valeurs, la culture de l’organisation au sein de laquelle prend place l’évaluation, les modalités auxquelles ces acteurs ont recours pour envisager des décisions, les types d’information ou de données qui sont susceptibles d’être considérées comme crédibles à leurs yeux et finalement, le genre d’information qui sera requis.

L’OBJET DE L’ÉVALUATION

La démarche évaluative peut avoir pour objet d’étude les programmes, les projets, les politiques et les produits. Dans certains pays, on réfère à l’évaluation « de programme » alors que dans d’autres, l’expression « évaluation des politiques » apparaît plus appropriée. Plusieurs théoriciens réfèrent à l’« évaluation des produits » dans leurs écrits. Même si ces distinctions ne contribuent pas de façon significative au présent propos, il n’en demeure pas moins qu’elles mettent en évidence le fait que les méthodes et les outils élaborés dans un contexte évaluatif peuvent s’appliquer à différents objets. Le terme « programme » fait référence à une intervention planifiée et continue qui vise à générer des effets précis ou des effets qui règlent des problèmes éducatifs ou sociaux préalablement diagnostiqués. Typiquement, un programme regroupe un ensemble de ressources humaines, financières et matérielles afin d’offrir des interventions ou des services. Pour de plus amples informations sur le sujet, le lecteur peut consulter le document élaboré par le Joint Committee on Standards for Educational Evaluation (2010).

Le terme « politique » fait généralement référence à une action de plus grande envergure lancée par une organisation ou par une agence gouvernementale. Les organisations mettent en place des politiques, comme celles portant sur le recrutement et l’embauche des employés, la gestion des rapports avec les médias ou le service à la clientèle. Les agences gouvernementales (et plus spécifiquement les législateurs, les ministres, les cadres supérieurs et autres) élaborent ou votent des politiques. Certaines portent sur la gestion interne propre à toute organisation, alors que d’autres visent à influencer la population ou certaines personnes incluses dans leur zone de prédilection.

Ces politiques intègrent un ensemble d’éléments, passant de l’environnement aux volets économiques et sociaux. Les évaluateurs seront en mesure d’établir l’efficacité de ces politiques, tout comme celle des programmes, la ligne de démarcation étant parfois mince. En effet, les deux ont pour but de générer des changements ou des effets, quoiqu’une politique ne dispense pas de service ou d’activité, étant plus orientée sur les lignes directrices, les règlements ou tout ce qui favorise le changement. Tout comme les évaluateurs, les analystes de politique étudient l’efficacité des politiques publiques. Tous doivent s’inscrire au sein d’une démarche qui requiert d’abord qu’ils les documentent, puis qu’ils génèrent un jugement sur leur mérite ou leur valeur.

Finalement, la définition d’un « produit » le rend plus concret qu’une politique ou qu’un programme. En effet, il peut référer à un manuel, une pièce d’équipement, un logiciel ou une voiture. Typiquement, le produit constitue l’extrant mesurable d’un processus et il fait l’objet d’une mise en marché. Les promoteurs dudit produit, ainsi que les consommateurs, aspirent à obtenir de l’information objective afin d’être en mesure de juger de sa qualité. Les évaluateurs ont donc le mandat de recueillir l’information pertinente afin d’aider, d’une part, les promoteurs à améliorer le produit et, d’autre part, les consommateurs à prendre une décision éclairée concernant son acquisition ou non6.

LA RAISON DE L’ÉVALUATION

L’évaluation du programme consiste avant tout à porter un jugement sur le mérite ou la valeur d’un programme ou d’une de ses composantes. Cependant, le spectre des visées s’est élargi avec le temps. Peu à peu, l’évaluation en est venue à assister la prise de décision, l’imputabilité, l’amélioration des programmes...

Table des matières

• Couverture
• Presses de l'Université du Québec
• L'ÉVALUATION de PROGRAMME axés sur le JUGEMENT CRÉDIBLE
• Crédits
• Préface
• Remerciements
• INTRODUCTION - Plus qu'une introduction, un énoncé
• PARTIE 1 - LES FONDEMENTS
• PARTIE 2 - LA CRÉDIBILISATION DU JUGEMENT
• Conclusion
• Notices biographiques
• Quatrième de couverture