Aller au contenu

Christophe Colomb sur la route des Indes


Santé conjuguée n° 61 - juillet 2012

Ce texte fait partie de la collection des fiches techniques proposées par le service communautaire de promotion de la santé SIPES (ULB) aux acteurs en promotion de la santé. Déjà ancien, il aborde de manière simple et pleine d’humour les enjeux sous-jacents aux études d’évaluation. Il se base sur un exemple historique, observé sous la loupe de l’évaluation, formulé de manière pédagogique pour inciter le lecteur à se poser des questions sur sa propre pratique.

Le recueil de données peut répondre à différents besoins, par exemple ceux du gestionnaire de programme qui veut évaluer le degré de succès de l’intervention, ou ceux d’un organisme qui finance un projet et souhaite vérifier l’utilisation des ressources investies. Pour définir un protocole de recueil d’informations (objectifs et méthodes), il est indispensable d’identifier clairement les questions auxquelles on veut répondre. Plusieurs types de questions sont possibles. Ce récit de l’expédition de Christophe Colomb (repris du Pr D. Nutbeam et du Dr C. Tudor- Smith – Pays de Galles) présente cinq approches de la collecte d’informations, adaptées de Strecher & Davis (1988). Quand Christophe Colomb préparait sa traversée vers les Indes, il s’est inquiété de savoir comment estimer la durée de son voyage ou encore comment, une fois revenu, prouver à ses détracteurs qu’il était vraiment allé aux Indes par une nouvelle route… L’université de Madrid ou l’approche expérimentale Christophe Colomb aurait pu aller chercher de l’aide auprès de l’Université. Il aurait expliqué aux professeurs qu’il armait trois caravelles pour aller aux Indes par une nouvelle route. Il aurait alors appris que son approche n’était pas assez rigoureuse : aller aux Indes par une nouvelle route n’est pas très utile si on ne peut prouver que cette nouvelle route est meilleure que l’ancienne. Christophe Colomb devait armer six caravelles et sélectionner au hasard trois d’entre elles pour aller aux Indes par l’ouest, les trois autres prenant la route traditionnelle. Équipés de façon identique avec un équipage de taille et expérience semblables, ces bateaux partiraient le même jour. Une collecte régulière d’informations serait absolument nécessaire pour permettre de bien connaître toutes les circonstances des voyages. Les caravelles qui rentreraient les premières avec leur cale pleine de marchandises de bonne qualité et en bon état indiqueraient laquelle des deux routes est la meilleure. Si l’on applique ce raisonnement à l’évaluation, deux questions générales se posent : • l’action est-elle efficace et si oui, les résultats sont-ils bien dus à l’action ? • quelles sont les conditions de reproductibilité de l’intervention ? Appliquons maintenant ces réflexions à des questions spécifiques comme : • ce nouveau programme de prévention des drogues est-il efficace ? Si oui, est-il plus efficace que les programmes utilisés auparavant ? • ai-je obtenu les résultats escomptés avec ma campagne de sensibilisation ? Les informations ont-elles atteint les familles les plus démunies ? Généralement, la réponse à ces questions requiert un protocole rigoureux, impliquant une comparaison entre groupe contrôle et groupe d’intervention dans lesquels les individus (ou institutions, etc.) sont répartis de façon aléatoire. Cependant, cette approche, pertinente pour les essais cliniques randomisés, est peu adaptée à l’évaluation des interventions éducatives en santé et encore moins aux projets plus complexes de promotion de la santé. Un protocole quasi expérimental (pas de répartition aléatoire des individus dans le groupe d’intervention ou le groupe contrôle) est déjà plus adapté aux réalités de l’éducation ou de la promotion santé bien qu’également difficile à respecter. En effet, il est souvent impossible (et parfois contraire à l’éthique) d’isoler le groupe contrôle de toute intervention. De plus en plus souvent, on accepte une utilisation plus souple de l’approche quasi expérimentale : un groupe de référence remplace le groupe contrôle. On compare alors l’évolution des paramètres dans le groupe d’intervention et dans le groupe de référence, tout en sachant que ce dernier peut aussi bénéficier d’interventions (toutefois différentes de celles menées dans le groupe expérimental). Mais généralement, l’approche expérimentale ou quasi expérimentale est techniquement très contraignante, par exemple à cause de la taille nécessaire des groupes d’intervention et contrôle, ou à cause des techniques statistiques nécessaires, ou encore à cause de la période de temps qui s’écoule entre l’intervention et la possibilité d’observer un effet sur l’état de santé des populations (qui peut demander des années). Lorsque cette approche (quasi)expérimentale mène à de bons résultats, on a une « preuve » de ce succès preuve parfois nécessaire pour débloquer des budgets et assurer une continuité ou reproduction du projet… Notons cependant que, par la comparaison de données entre un groupe d’intervention et un groupe contrôle ou de référence, on obtient des informations sur la réussite d’une action mais pas forcément sur les paramètres exacts qui assurent ce succès. Par exemple, l’impact d’un programme scolaire peut être observé, mais sans qu’il soit possible d’attribuer ce succès à l’ensemble du programme ou à une de ses parties : résulte-til principalement de la qualité de la formation des enseignants ? De certains de ses modules essentiellement ? Etc. Pour aider à distinguer les causes réelles du succès et identifier les facteurs confondants, il faut alors réaliser l’évaluation de la validité externe d’un projet. La reine d’Espagne et ses conseillers ou l’approche des données par les objectifs Christophe Colomb pouvait aussi rencontrer ceux qui ont rendu son aventure possible : dans ce cas, la reine d’Espagne ou plus probablement ses conseillers. Il aurait discuté avec eux de son contrat. La Reine alloue un budget à Christophe Colomb et en contrepartie, il doit équiper 3 caravelles, revenir de son voyage aux Indes plus rapidement que s’il avait pris l’ancienne route, tenir à jour un journal de bord précisant comment les ressources sont utilisées, assurer qu’un maximum de 20 marins perdront la vie durant le voyage et rapporter de son périple des possibilités de développement du commerce de la soie et des épices. Dans cette perspective, Christophe Colomb planifie son départ pour rencontrer ces exigences et pendant son voyage, il rassemble l’information demandée sur la gestion des stocks, les maladies, accidents et décès de l’équipage ainsi que sur les possibilités de commerce. Lors de son retour, il utilise cette information pour justifier auprès de la Reine et de ses conseillers l’utilisation du budget qui lui avait été attribué. D’où les questions générales suivantes peuvent être retirées : • ai-je atteint mes objectifs ? • quelle est la relation entre les activités développées et les résultats observés ? De même quelques questions spécifiques en termes d’efficacité : • ai-je prévenu les maladies cardiovasculaires ? • un pourcentage assez grand de la population a-t-elle modifié ces comportements à risque dans la bonne direction ? Dans cette approche, l’évaluation vise à répondre à des questions précises, parfois à l’aide d’analyse statistique sophistiquée (questionnaire aux enseignants, élèves, etc.), parfois simplement par une observation d’activités (observation de l’enseignant en classe). L’approche orientée vers les objectifs est flexible et pertinente. Les réponses apportées par l’évaluation sont utiles pour modifier, reproduire et financer l’intervention dans le futur. Le problème éventuel se trouve au niveau de la définition des objectifs qui ne sont pas toujours clairement perçus par les différents partenaires. Il est donc nécessaire de définir clairement les objectifs – au besoin sur base d’un consensus – avant d’agir, ce qui n’est pas toujours réalisé en pratique, quand les objectifs restent implicites. La limite de cette approche est qu’elle ne permet pas d’affirmer que l’action évaluée est plus efficace ou plus efficiente qu’une autre. Christophe Colomb et ses pairs ou le processus de décision Christophe Colomb aurait pu adopter une autre approche : estimer continuellement les paramètres de la situation dans laquelle il se trouvait pour prendre les meilleures décisions possibles. Il aurait ainsi pu, entre autres, évaluer continuellement son travail et celui de ses collaborateurs. Il aurait également pu consulter ses pairs pour avoir le maximum d’informations sur les conditions de succès. Cette évaluation continue l’aurait amené à dresser la liste des décisions nécessaires et des critères de décision pour, par exemple : • avant le départ : préparer l’équipage, les caravelles et les stocks de vivres, de munitions, d’outils, etc. ; identifier la meilleure période de départ (saison, conditions atmosphériques, vent, etc.) ; • pendant la traversée : estimer à tout moment la position des caravelles (en emmenant un astronome avec lui) ; • à l’arrivée : rechercher la preuve qu’il est aux Indes (par exemple, en étudiant la flore ou la langue) ; • à son retour : analyser les informations et décider si oui ou non il est recommandé de retourner aux Indes par cette nouvelle voie. Questions générales : • de quelles informations ai-je besoin pour prendre une décision ? • quels critères pour adopter ou rejeter une option ? Exemples de questions spécifiques : • sur quels critères de succès me baser pour décider de reproduire cette formation de la même manière ? • quel est le niveau de qualité minimal acceptable de cette intervention ? • quelles caractéristiques du programme vont m’amener à décider de le traduire et de l’adapter en français ? L’utilité de cette approche continue de l’évaluation est claire : elle permet de prendre des décisions sur base de critères explicites connus de tous. Ceci signifie bien évidemment que les critères de décision et les standards de qualité des pratiques sont définis et font l’objet d’un consensus. Cette exigence peut être perçue comme difficile à rencontrer, diminuant de ce fait l’avantage de cette approche. Il faut également noter qu’avec cette approche de l’évaluation existe le danger de ne rassembler que l’information renforçant une opinion préalable de spécialistes et négligeant la mesure de paramètres pertinents pour lesquels aucune question n’est posée (par exemple, le coût humain et financier du programme est-il acceptable ?). Faut-il consulter la population ? Pour estimer le succès de son voyage, Christophe Colomb aurait pu répondre aux exigences de personnes potentiellement impliquées dans son aventure. Dans ce cas, il aurait rencontré le Roi, le ministre des Finances, le primat de l’Église catholique, le directeur de l’association des armateurs. Chaque groupe d’intérêt aurait alors défini ses questions : • le Roi : ce voyage augmentera-t-il le prestige de l’Espagne ? • le ministre des Finances : est-il sans danger et plus économique de voyager aux Indes vers l’ouest ? • les armateurs : cet itinéraire est-il plus pertinent que l’itinéraire traditionnel pour la soie et les épices qui ne souffrent aucune humidité ? • l’Église : cette nouvelle route vers les Indes offre-t-elle des possibilités nouvelles d’évangéliser de nouvelles communautés ? Christophe Colomb aurait alors pu rassembler tout au long de son voyage les informations nécessaires pour répondre à ces questions. Répondre « oui » aurait signifié le succès. Question générale : • quelles informations les bénéficiaires ou les acteurs d’un projet désirent-ils posséder à la fin d’une intervention ? Exemple de questions spécifiques relatives à une nouvelle formation de coordinateurs de projets de promotion de la santé à l’école : • l’organisateur : les participants sont-ils plus satisfaits de cette formation que de celles que nous avons organisées précédemment ? • les participants : que m’apporte de neuf cette formation ? Que faire partager à mes collègues ? • un fonctionnaire : ce genre d’activités doit-il bien être financé par mon département ? Ses caractéristiques correspondent-elles bien à nos critères de financement ? En répondant aux questions formulées par les différents groupes, la collecte d’informations ou l’évaluation produit des informations utiles immédiatement utilisables. Cette évaluation est possible à la condition que les différents groupes, s’ils sont nombreux, s’accordent sur les questions à poser. Dans le cas contraire, la liste des questions à résoudre peut être tellement longue que seules les contraintes de budget et de temps vont mettre fin à une collecte interminable de données. Il est également nécessaire pour l’évaluateur de travailler en collaboration étroite avec ces groupes et d’accepter, le cas échéant, de rassembler des informations que lui-même juge de peu d’intérêt. Cette évaluation est très intéressante dans la mesure où, répondant aux questions des personnes les plus impliquées, elle leur offre réellement la possibilité de renforcer leurs compétences et connaissances (empowering evaluation) et de les mobiliser davantage autour du projet.

Choisir une approche

Christophe Colomb, pour améliorer son image et celle de son projet, aurait pu demander l’avis de toutes les personnes qui, de près ou de loin, étaient concernées par son projet : toutes les personnes déjà citées plus haut et aussi les communautés marchandes des Indes, les marins et leurs familles, les comptoirs commerciaux situés le long de la route traditionnelle et de la nouvelle route des Indes, les consommateurs qui achètent la soie et les épices, etc. Ce faisant, il aurait essayé de comprendre les perspectives de ces différents groupes sans jugement préalable de succès ou d’échec de son entreprise. Il aurait répondu aux questions. À la fin des rencontres, il aurait pu estimer les différents avis pour juger si oui ou non l’ancienne route devait être abandonnée. Question générale : • quels sont les différents groupes de personnes impliquées volontairement ou non dans mon projet et que pensent-elles de cette action ? Exemples de nouvelles questions spécifiques concernant une session de formation : • des collègues de participants : cette formation est-elle bien nécessaire ? Ne devrait-on pas plutôt bénéficier d’une formation dans l’école qui profite à un plus grand nombre ? • les conjoints : vais-je accepter de laisser mon époux/se travailler de la sorte le samedi ? Demander à un large groupe de personnes ce qu’elles pensent de l’intervention est relativement facile. Cela nécessite l’identification des groupes mais pas nécessairement une définition préalable des questions ni un consensus autour de ces questions. La forme la plus simple est l’évaluation minimale de satisfaction réalisée immédiatement après une intervention. Dans ce cas, elle prend souvent la forme d’une discussion informelle mais franche ou encore d’un questionnaire court avec des questions ouvertes. Utiliser les informations est un autre problème sauf s’il y a au préalable une hypothèse, ou des priorités d’information qui aident à trier les informations utiles de celles qui le sont moins. De plus, un désavantage de cette approche est qu’une fois les multiples informations collectées, il est parfois difficile, voire impossible, d’en tirer quelque chose, d’où une possible frustration des personnes qui se rendent compte qu’on n’utilise pas les informations qu’elles fournissent. Dans des cas extrêmes, il arrive qu’on ne fasse rien de la masse des données accumulées. « Quoiqu’il en soit, en cherchant la route des Indes, Christophe Colomb a trouvé… les Amériques, formidable découverte ! Tout autre chose que ce qui était prévu, planifié… Une occasion de rappeler qu’il est bon de pouvoir se laisser surprendre, d’apporter des questions nouvelles au fil de l’intervention, de réorienter son plan de route quand on a de bons arguments pour le faire ! ».

En guise de conclusion

Cette histoire de Christophe Colomb commence alors que le voyage vers l’ouest est décidé. Cette manière de faire ne permet pas de poser a priori la question de la pertinence du voyage pour Christophe Colomb lui-même. La raison de ce voyage est bien sûr une question fondamentale qu’il aurait fallu approcher par une autre histoire. À votre avis, quelles données a récoltées Christophe Colomb ? Et vous, quelle(s) approche(s) de l’évaluation avez-vous déjà utilisée(s) ? Quelles questions vous poserez-vous la prochaine fois que vous désirerez rassembler des informations ou réaliser une enquête pour être certain(e) de rassembler les informations qu’il vous faut ? Pensez-vous qu’il existe une ou des approches plus pertinentes pour la promotion santé, ou encore qu’il y a une ou des approche(s) qu’il ne faudrait jamais utiliser en promotion santé ?

Documents joints

Cet article est paru dans la revue:

Santé conjuguée, n° 61 - juillet 2012

Les pages ’actualités’ du n° 61

Flashback sur Santé conjuguée

Après avoir coordonné la rédaction de 60 numéros de Santé conjuguée, je passe la barre à de nouveaux pilotes. C’est un bon moment pour faire le point.

- Dr Axel Hoffman

Télémédecine et première ligne

L’informatisation des soins de santé offre de nombreux développements intéressants, notamment la possibilité pour un soignant de première ligne de demander à distance l’avis d’un médecin de seconde ligne, ou le suivi au domicile des patients.(…)

- Dr Pierre Drielsma

Le complexe de l’araignée

Comment distinguer le lien qui enchaîne du lien qui donne des ailes ? En croisant les expériences et questions partagées lors de la dernière journée du Réseau Éducation Permanente avec trois concepts sociologiques et philosophique, cet(…)

- Gaëlle Chapoix

Satisfaction des patients en maisons médicales

La satisfaction des patients est une évaluation personnelle des services et prestataires par les usagers du système de santé. Bien que très subjective et sujette à de nombreuses variations interpersonnelles, la satisfaction est le seul moyen(…)

- Lilas Weber

Interrogations

La qualité va-t-elle nous encercler ?

Depuis quelques années, la notion de qualité fait son entrée dans le secteur non-marchand, public ou associatif. Que l’on pense au code de qualité de l’Office de la naissance et de l’enfance (ONE), aux « démarches(…)

- Bernard De Backer

Christophe Colomb sur la route des Indes

Ce texte fait partie de la collection des fiches techniques proposées par le service communautaire de promotion de la santé SIPES (ULB) aux acteurs en promotion de la santé. Déjà ancien, il aborde de manière simple(…)

- Piette Danielle

La démarche d’évaluation qualitative pour la santé mentale : confronter les langages ?

La question de l’évaluation en santé mentale est ici exposée à travers le témoignage d’une sociologue. Impliquée dans une démarche d’évaluation qualitative préconisée par la Commission Communautaire Française, cette démarche l’a séduite. Mais les obstacles rencontrés(…)

- Boumedian Naoual

Une autre manière de « faire politique »

« Comment évaluer les pratiques dans le secteur de l’insertion socioprofessionnelle ? Face aux questions d’efficacité et de performance souvent mises en avant par les pouvoirs publics, des associations réfléchissent ensemble aux enjeux et au sens(…)

- Quentin Mortier

La démarche qualité, une attitude philosophique…

Depuis quelques années, le terme « développement (ou amélioration) » de la qualité tend à supplanter celui d’« assurance » de qualité1, de manière frappante dans les colloques et forums internationaux et très marquée dans le(…)

- Dr Daniel Burdet

Articulations entre acteurs de terrain et décideurs : ça casse ou ça passe ?

Les médecins généralistes, la littérature scientifique et la qualité des soins

Quelles sont les initiatives de lecture critique d’articles scientifiques en Belgique ? Comment sont apparues ces initiatives ? Quels sont les obstacles à l’articulation entre la pratique médicale quotidienne et l’application des résultats de la littérature(…)

- Dr Benjamin Fauquert

Développement de la qualité en médecine générale en Belgique

La profession médicale est largement scrutée en Belgique, à la fois dans un but d’évaluation et de développement de la qualité des soins. Le dispositif mis en place est d’autant plus complexe qu’il relève à la(…)

- Marianne Prévost

Les démarches d’évaluation qualitatives à Bruxelles (DEQ): parole aux acteurs

Les démarches d’évaluation qualitative à Bruxelles : parole aux acteurs

En 2009, était voté à Bruxelles un décret portant sur douze secteurs (voir encadré) oeuvrant dans le domaine de l’ « ambulatoire » (action sociale et famille / santé), ainsi que sur leurs organismes de coordination.(…)

-

Un projet audacieux

Harmoniser, soutenir, dialoguer, supprimer le « jeu du bâton et de la carotte » : les responsables politiques n’avaient que de bonnes intentions en promulguant ce nouveau décret. Ils explicitent ici leur projet et leurs surprises(…)

- Dominique Maun et Martine Staquet

L’humain ne se prête pas à la standardisation

Les services de santé mentale, concernés par le décret voté en 2009 sur les services ambulatoires dans les domaines de l’action sociale, de la famille et de la santé ont largement questionné la partie de ce(…)

- Marie-Cécile Henriquet

Décideurs et acteurs de terrain, une tension constructive

La démarche d’évaluation qualitative (DEQ) demandée par le décret bruxellois semble avoir fait des émules dans les centres de planning familial. Deux acteurs du secteur nous expliquent en quoi l’obligation d’évaluer les pratiques a amélioré le(…)

- Rémi Dekoninck

A la recherche d’un sens collectif

Dans un entretien, deux coordinatrices sectorielles de la Fédération des services sociaux font état de leur expérience. Ces deux travailleuses ont pris leurs fonctions toutes deux juste avant le vote du décret ; elles n’ont donc(…)

- Céline Nieuwenhuys, Johanne Tilman

Fragilisation progressive de l’associatif par le politique

Pour les syndicats, la DEQ signe le début de la mainmise du politique. Des délégués syndicaux de la Centrale nationale des employés (CNE) ont suivi les débats autour du décret ambulatoire en 2008 et 2009 nous(…)

- Les délégués de la Centrale nationale des employés des secteurs ambulatoires de la Commission communautaire française.

La qualité dans les maisons médicales : dites « aaah » !

A la rencontre des responsables « DEQ » en maisons médicales bruxelloises

Même si l’évaluation est apparue comme une nécessité et une motivation d’ordre politique, nous savons que dans la pratique tout n’est pas tout rose ! Les méthodologies du projet et celles de l’évaluation sont difficiles à(…)

- Dr Vinciane Bellefontaine, Marianne Prévost

La qualité des stages en maisons médicales sous la loupe de l’évaluation

En matière de réflexion sur la qualité, les acteurs de terrain agissent souvent sans attendre l’initiative des décideurs politiques. C’est le cas, à la Fédération, pour la formation des médecins, depuis longtemps soumise à l’analyse critique.(…)

- Christian Legrève, Dr Hubert Jamart

Accompagner les équipes liégeoises dans l’élaboration de leur plan d’action

En 2009 la Région wallonne modifiait le décret définissant les conditions d’agrément des associations de santé intégrée sans toucher à leurs missions. La grande nouveauté de ce décret résidait dans la rédaction d’un plan global que(…)

- Ingrid Muller

Actions de qualité, entre initiatives internes et incitants externes

Les maisons médicales en Wallonie ont toujours dû élaborer un plan d’action. Comment cela se passe-t-il vu du terrain ?

- Dr Jean Laperche

La démarche d’évaluation, contrainte ou occasion ? Qu’en pense Socrate ?

Evaluer son fonctionnement, ses actes, ses projets nécessite une prise de distance critique sur ceux-ci. Mais porter ce regard et remettre en question des pratiques établies depuis longtemps génère une culpabilité de l’imperfection, une crainte de(…)

- Drielsma Pierre

Collaboration et vigilance

Si les débats autour du développement de la qualité sont souvent vifs, la question n’est pas neuve dans le domaine des soins. Les auteurs rappellent ici brièvement les racines de ce concept ainsi que ses traits(…)

- Marianne Prévost, Michel Roland

Introduction

Introduction

Évaluer pour évoluer : l’assurance de qualité, ce n’est que cela. Au départ, une question sur un projet, une action : est-ce que ça « marche » bien ? On l’examine d’un peu plus près, on(…)

-