Christophe Colomb sur la route des Indes

Ce texte fait partie de la collection des fiches techniques proposées par le service communautaire de promotion de la santé SIPES (ULB) aux acteurs en promotion de la santé. Déjà ancien, il aborde de manière simple et pleine d’humour les enjeux sous-jacents aux études d’évaluation. Il se base sur un exemple historique, observé sous la loupe de l’évaluation, formulé de manière pédagogique pour inciter le lecteur à se poser des questions sur sa propre pratique.

Le recueil de données peut répondre à différents besoins, par exemple ceux du gestionnaire de programme qui veut évaluer le degré de succès de l’intervention, ou ceux d’un organisme qui finance un projet et souhaite vérifier l’utilisation des ressources investies. Pour définir un protocole de recueil d’informations (objectifs et méthodes), il est indispensable d’identifier clairement les questions auxquelles on veut répondre. Plusieurs types de questions sont possibles. Ce récit de l’expédition de Christophe Colomb (repris du Pr D. Nutbeam et du Dr C. Tudor- Smith – Pays de Galles) présente cinq approches de la collecte d’informations, adaptées de Strecher & Davis (1988). Quand Christophe Colomb préparait sa traversée vers les Indes, il s’est inquiété de savoir comment estimer la durée de son voyage ou encore comment, une fois revenu, prouver à ses détracteurs qu’il était vraiment allé aux Indes par une nouvelle route… L’université de Madrid ou l’approche expérimentale Christophe Colomb aurait pu aller chercher de l’aide auprès de l’Université. Il aurait expliqué aux professeurs qu’il armait trois caravelles pour aller aux Indes par une nouvelle route. Il aurait alors appris que son approche n’était pas assez rigoureuse : aller aux Indes par une nouvelle route n’est pas très utile si on ne peut prouver que cette nouvelle route est meilleure que l’ancienne. Christophe Colomb devait armer six caravelles et sélectionner au hasard trois d’entre elles pour aller aux Indes par l’ouest, les trois autres prenant la route traditionnelle. Équipés de façon identique avec un équipage de taille et expérience semblables, ces bateaux partiraient le même jour. Une collecte régulière d’informations serait absolument nécessaire pour permettre de bien connaître toutes les circonstances des voyages. Les caravelles qui rentreraient les premières avec leur cale pleine de marchandises de bonne qualité et en bon état indiqueraient laquelle des deux routes est la meilleure. Si l’on applique ce raisonnement à l’évaluation, deux questions générales se posent : • l’action est-elle efficace et si oui, les résultats sont-ils bien dus à l’action ? • quelles sont les conditions de reproductibilité de l’intervention ? Appliquons maintenant ces réflexions à des questions spécifiques comme : • ce nouveau programme de prévention des drogues est-il efficace ? Si oui, est-il plus efficace que les programmes utilisés auparavant ? • ai-je obtenu les résultats escomptés avec ma campagne de sensibilisation ? Les informations ont-elles atteint les familles les plus démunies ? Généralement, la réponse à ces questions requiert un protocole rigoureux, impliquant une comparaison entre groupe contrôle et groupe d’intervention dans lesquels les individus (ou institutions, etc.) sont répartis de façon aléatoire. Cependant, cette approche, pertinente pour les essais cliniques randomisés, est peu adaptée à l’évaluation des interventions éducatives en santé et encore moins aux projets plus complexes de promotion de la santé. Un protocole quasi expérimental (pas de répartition aléatoire des individus dans le groupe d’intervention ou le groupe contrôle) est déjà plus adapté aux réalités de l’éducation ou de la promotion santé bien qu’également difficile à respecter. En effet, il est souvent impossible (et parfois contraire à l’éthique) d’isoler le groupe contrôle de toute intervention. De plus en plus souvent, on accepte une utilisation plus souple de l’approche quasi expérimentale : un groupe de référence remplace le groupe contrôle. On compare alors l’évolution des paramètres dans le groupe d’intervention et dans le groupe de référence, tout en sachant que ce dernier peut aussi bénéficier d’interventions (toutefois différentes de celles menées dans le groupe expérimental). Mais généralement, l’approche expérimentale ou quasi expérimentale est techniquement très contraignante, par exemple à cause de la taille nécessaire des groupes d’intervention et contrôle, ou à cause des techniques statistiques nécessaires, ou encore à cause de la période de temps qui s’écoule entre l’intervention et la possibilité d’observer un effet sur l’état de santé des populations (qui peut demander des années). Lorsque cette approche (quasi)expérimentale mène à de bons résultats, on a une « preuve » de ce succès preuve parfois nécessaire pour débloquer des budgets et assurer une continuité ou reproduction du projet… Notons cependant que, par la comparaison de données entre un groupe d’intervention et un groupe contrôle ou de référence, on obtient des informations sur la réussite d’une action mais pas forcément sur les paramètres exacts qui assurent ce succès. Par exemple, l’impact d’un programme scolaire peut être observé, mais sans qu’il soit possible d’attribuer ce succès à l’ensemble du programme ou à une de ses parties : résulte-til principalement de la qualité de la formation des enseignants ? De certains de ses modules essentiellement ? Etc. Pour aider à distinguer les causes réelles du succès et identifier les facteurs confondants, il faut alors réaliser l’évaluation de la validité externe d’un projet. La reine d’Espagne et ses conseillers ou l’approche des données par les objectifs Christophe Colomb pouvait aussi rencontrer ceux qui ont rendu son aventure possible : dans ce cas, la reine d’Espagne ou plus probablement ses conseillers. Il aurait discuté avec eux de son contrat. La Reine alloue un budget à Christophe Colomb et en contrepartie, il doit équiper 3 caravelles, revenir de son voyage aux Indes plus rapidement que s’il avait pris l’ancienne route, tenir à jour un journal de bord précisant comment les ressources sont utilisées, assurer qu’un maximum de 20 marins perdront la vie durant le voyage et rapporter de son périple des possibilités de développement du commerce de la soie et des épices. Dans cette perspective, Christophe Colomb planifie son départ pour rencontrer ces exigences et pendant son voyage, il rassemble l’information demandée sur la gestion des stocks, les maladies, accidents et décès de l’équipage ainsi que sur les possibilités de commerce. Lors de son retour, il utilise cette information pour justifier auprès de la Reine et de ses conseillers l’utilisation du budget qui lui avait été attribué. D’où les questions générales suivantes peuvent être retirées : • ai-je atteint mes objectifs ? • quelle est la relation entre les activités développées et les résultats observés ? De même quelques questions spécifiques en termes d’efficacité : • ai-je prévenu les maladies cardiovasculaires ? • un pourcentage assez grand de la population a-t-elle modifié ces comportements à risque dans la bonne direction ? Dans cette approche, l’évaluation vise à répondre à des questions précises, parfois à l’aide d’analyse statistique sophistiquée (questionnaire aux enseignants, élèves, etc.), parfois simplement par une observation d’activités (observation de l’enseignant en classe). L’approche orientée vers les objectifs est flexible et pertinente. Les réponses apportées par l’évaluation sont utiles pour modifier, reproduire et financer l’intervention dans le futur. Le problème éventuel se trouve au niveau de la définition des objectifs qui ne sont pas toujours clairement perçus par les différents partenaires. Il est donc nécessaire de définir clairement les objectifs – au besoin sur base d’un consensus – avant d’agir, ce qui n’est pas toujours réalisé en pratique, quand les objectifs restent implicites. La limite de cette approche est qu’elle ne permet pas d’affirmer que l’action évaluée est plus efficace ou plus efficiente qu’une autre. Christophe Colomb et ses pairs ou le processus de décision Christophe Colomb aurait pu adopter une autre approche : estimer continuellement les paramètres de la situation dans laquelle il se trouvait pour prendre les meilleures décisions possibles. Il aurait ainsi pu, entre autres, évaluer continuellement son travail et celui de ses collaborateurs. Il aurait également pu consulter ses pairs pour avoir le maximum d’informations sur les conditions de succès. Cette évaluation continue l’aurait amené à dresser la liste des décisions nécessaires et des critères de décision pour, par exemple : • avant le départ : préparer l’équipage, les caravelles et les stocks de vivres, de munitions, d’outils, etc. ; identifier la meilleure période de départ (saison, conditions atmosphériques, vent, etc.) ; • pendant la traversée : estimer à tout moment la position des caravelles (en emmenant un astronome avec lui) ; • à l’arrivée : rechercher la preuve qu’il est aux Indes (par exemple, en étudiant la flore ou la langue) ; • à son retour : analyser les informations et décider si oui ou non il est recommandé de retourner aux Indes par cette nouvelle voie. Questions générales : • de quelles informations ai-je besoin pour prendre une décision ? • quels critères pour adopter ou rejeter une option ? Exemples de questions spécifiques : • sur quels critères de succès me baser pour décider de reproduire cette formation de la même manière ? • quel est le niveau de qualité minimal acceptable de cette intervention ? • quelles caractéristiques du programme vont m’amener à décider de le traduire et de l’adapter en français ? L’utilité de cette approche continue de l’évaluation est claire : elle permet de prendre des décisions sur base de critères explicites connus de tous. Ceci signifie bien évidemment que les critères de décision et les standards de qualité des pratiques sont définis et font l’objet d’un consensus. Cette exigence peut être perçue comme difficile à rencontrer, diminuant de ce fait l’avantage de cette approche. Il faut également noter qu’avec cette approche de l’évaluation existe le danger de ne rassembler que l’information renforçant une opinion préalable de spécialistes et négligeant la mesure de paramètres pertinents pour lesquels aucune question n’est posée (par exemple, le coût humain et financier du programme est-il acceptable ?). Faut-il consulter la population ? Pour estimer le succès de son voyage, Christophe Colomb aurait pu répondre aux exigences de personnes potentiellement impliquées dans son aventure. Dans ce cas, il aurait rencontré le Roi, le ministre des Finances, le primat de l’Église catholique, le directeur de l’association des armateurs. Chaque groupe d’intérêt aurait alors défini ses questions : • le Roi : ce voyage augmentera-t-il le prestige de l’Espagne ? • le ministre des Finances : est-il sans danger et plus économique de voyager aux Indes vers l’ouest ? • les armateurs : cet itinéraire est-il plus pertinent que l’itinéraire traditionnel pour la soie et les épices qui ne souffrent aucune humidité ? • l’Église : cette nouvelle route vers les Indes offre-t-elle des possibilités nouvelles d’évangéliser de nouvelles communautés ? Christophe Colomb aurait alors pu rassembler tout au long de son voyage les informations nécessaires pour répondre à ces questions. Répondre « oui » aurait signifié le succès. Question générale : • quelles informations les bénéficiaires ou les acteurs d’un projet désirent-ils posséder à la fin d’une intervention ? Exemple de questions spécifiques relatives à une nouvelle formation de coordinateurs de projets de promotion de la santé à l’école : • l’organisateur : les participants sont-ils plus satisfaits de cette formation que de celles que nous avons organisées précédemment ? • les participants : que m’apporte de neuf cette formation ? Que faire partager à mes collègues ? • un fonctionnaire : ce genre d’activités doit-il bien être financé par mon département ? Ses caractéristiques correspondent-elles bien à nos critères de financement ? En répondant aux questions formulées par les différents groupes, la collecte d’informations ou l’évaluation produit des informations utiles immédiatement utilisables. Cette évaluation est possible à la condition que les différents groupes, s’ils sont nombreux, s’accordent sur les questions à poser. Dans le cas contraire, la liste des questions à résoudre peut être tellement longue que seules les contraintes de budget et de temps vont mettre fin à une collecte interminable de données. Il est également nécessaire pour l’évaluateur de travailler en collaboration étroite avec ces groupes et d’accepter, le cas échéant, de rassembler des informations que lui-même juge de peu d’intérêt. Cette évaluation est très intéressante dans la mesure où, répondant aux questions des personnes les plus impliquées, elle leur offre réellement la possibilité de renforcer leurs compétences et connaissances (empowering evaluation) et de les mobiliser davantage autour du projet.

Choisir une approche

Christophe Colomb, pour améliorer son image et celle de son projet, aurait pu demander l’avis de toutes les personnes qui, de près ou de loin, étaient concernées par son projet : toutes les personnes déjà citées plus haut et aussi les communautés marchandes des Indes, les marins et leurs familles, les comptoirs commerciaux situés le long de la route traditionnelle et de la nouvelle route des Indes, les consommateurs qui achètent la soie et les épices, etc. Ce faisant, il aurait essayé de comprendre les perspectives de ces différents groupes sans jugement préalable de succès ou d’échec de son entreprise. Il aurait répondu aux questions. À la fin des rencontres, il aurait pu estimer les différents avis pour juger si oui ou non l’ancienne route devait être abandonnée. Question générale : • quels sont les différents groupes de personnes impliquées volontairement ou non dans mon projet et que pensent-elles de cette action ? Exemples de nouvelles questions spécifiques concernant une session de formation : • des collègues de participants : cette formation est-elle bien nécessaire ? Ne devrait-on pas plutôt bénéficier d’une formation dans l’école qui profite à un plus grand nombre ? • les conjoints : vais-je accepter de laisser mon époux/se travailler de la sorte le samedi ? Demander à un large groupe de personnes ce qu’elles pensent de l’intervention est relativement facile. Cela nécessite l’identification des groupes mais pas nécessairement une définition préalable des questions ni un consensus autour de ces questions. La forme la plus simple est l’évaluation minimale de satisfaction réalisée immédiatement après une intervention. Dans ce cas, elle prend souvent la forme d’une discussion informelle mais franche ou encore d’un questionnaire court avec des questions ouvertes. Utiliser les informations est un autre problème sauf s’il y a au préalable une hypothèse, ou des priorités d’information qui aident à trier les informations utiles de celles qui le sont moins. De plus, un désavantage de cette approche est qu’une fois les multiples informations collectées, il est parfois difficile, voire impossible, d’en tirer quelque chose, d’où une possible frustration des personnes qui se rendent compte qu’on n’utilise pas les informations qu’elles fournissent. Dans des cas extrêmes, il arrive qu’on ne fasse rien de la masse des données accumulées. « Quoiqu’il en soit, en cherchant la route des Indes, Christophe Colomb a trouvé… les Amériques, formidable découverte ! Tout autre chose que ce qui était prévu, planifié… Une occasion de rappeler qu’il est bon de pouvoir se laisser surprendre, d’apporter des questions nouvelles au fil de l’intervention, de réorienter son plan de route quand on a de bons arguments pour le faire ! ».

En guise de conclusion

Cette histoire de Christophe Colomb commence alors que le voyage vers l’ouest est décidé. Cette manière de faire ne permet pas de poser a priori la question de la pertinence du voyage pour Christophe Colomb lui-même. La raison de ce voyage est bien sûr une question fondamentale qu’il aurait fallu approcher par une autre histoire. À votre avis, quelles données a récoltées Christophe Colomb ? Et vous, quelle(s) approche(s) de l’évaluation avez-vous déjà utilisée(s) ? Quelles questions vous poserez-vous la prochaine fois que vous désirerez rassembler des informations ou réaliser une enquête pour être certain(e) de rassembler les informations qu’il vous faut ? Pensez-vous qu’il existe une ou des approches plus pertinentes pour la promotion santé, ou encore qu’il y a une ou des approche(s) qu’il ne faudrait jamais utiliser en promotion santé ?

Documents joints