- Email: [email protected]
Utilisation de PowerVote® pour une évaluation
Journal français d’ophtalmologie (2011) 34, 30—34
COMMUNICATION DE LA SFO
Utilisation de PowerVote® pour une évaluation夽 PowerVote® : An evaluation tool J.-C. Quintyn a,∗, P. Fostier b, P.-A. Gouraud c, P. Payoux b, J. Lagarrigue b a
Service d’ophtalmologie, hôpital Paule-de-Viguier, avenue de Grande-Bretagne, 31059 Toulouse cedex 09, France b Département universitaire de FMC et d’EPP des facultés de médecine de Toulouse, université Paul-Sabatier, 31400 Toulouse, France c Service d’épidémiologie, unité de recherche clinique, CHU de Toulouse, 31400 Toulouse, France Rec ¸u le 4 novembre 2008 ; accepté le 21 septembre 2010 Disponible sur Internet le 26 novembre 2010
MOTS CLÉS Évaluation ; Formation médicale ; Ophtalmologie ; PowerVote®
夽 ∗
Résumé Introduction. — L’évaluation des enseignements soulève des difficultés dont la lourdeur de sa mise en place. L’utilisation de nouveaux outils interactifs peut permettre de faciliter la mise en œuvre d’une évaluation directe et interactive tant des connaissances acquises par les étudiants que de leurs besoins initiaux. But. — Rapporter une expérience sur l’utilisation du logiciel PowerVote® dans l’évaluation de l’enseignement délivré aux internes d’ophtalmologie de Toulouse. Sujets et méthode. — Cette étude prospective porte sur l’ensemble des internes d’ophtalmologie de Toulouse pour l’année universitaire 2006—2007. Les cours ont été donnés à tour de rôle par les internes et les chefs de clinique, lors d’une présentation PowerPoint® de 45 minutes. Les internes étaient évalués juste avant le cours par cinq questions à choix multiples. Un mois après la fin du cycle de 12 cours, une évaluation sur l’ensemble des cours a été effectuée à l’aide de PowerVote® , sur des objectifs donnés préalablement aux internes. Résultats. — Onze internes ont effectué l’évaluation finale. Le niveau théorique des internes a été augmenté de fac ¸on significative passant de 4,0/10 à 6,8/10 (p = 0,0027). Tous les participants ont apprécié ce mode d’évaluation et ont tous voté pour son renouvellement. Conclusion. — L’évaluation des étudiants par PowerVote® a permis de donner la correction immédiatement. Ainsi l’enseignement a pu être adapté très précisément aux connaissances des étudiants. L’utilisation du logiciel de PowerVote® permet d’obtenir, sur une fiche Excel® , des statistiques sur les résultats obtenus. L’utilisation de PowerVote® permet d’évaluer en direct
Communication orale présentée lors du 113e congrès de la Société franc ¸aise d’ophtalmologie en mai 2007. Auteur correspondant. Adresse e-mail : [email protected] (J.-C. Quintyn).
0181-5512/$ — see front matter © 2010 Elsevier Masson SAS. Tous droits réservés. doi:10.1016/j.jfo.2010.09.012
Utilisation de PowerVote® pour une évaluation
31
des connaissances et d’ajuster ainsi immédiatement l’enseignement. Cet outil pédagogique interactif est amené à se développer, notamment comme outil évaluant des pratiques dans une formation médicale continue. © 2010 Elsevier Masson SAS. Tous droits réservés.
KEYWORDS Evaluation; Medical education; Ophthalmology; PowerVote®
Summary Objective. — The objective was to report the experience using PowerVote® software to evaluate the teaching provided to Toulouse ophthalmology residents. Subjects and methods. — This prospective study covers all ophthalmology residents in Toulouse during the 2006—2007 academic year. Courses were alternately given by residents and resident physicians, during a 45-minute PowerPoint® presentation. At the beginning of the course, the residents answered five multiple-choice questions. A month after the end of the 12-course program, participants were tested, using PowerVote® , on the content of the entire course, focusing on objectives that the residents had received at the start. Results. — The level of theoretical knowledge increased significantly, from 4.0/10 to 6.8/10. (P = 0.0027). Conclusion. — Tests using PowerVote® allowed instantaneous correction of the answers to the test questions. Consequently, the teaching was easier to adapt to the students’ knowledge. Descriptive statistics of the results obtained could be generated via the PowerVote® software and displayed on an Excel® spreadsheet. The use of PowerVote® also allowed direct evaluation of student knowledge and adjustments in the teaching for the following courses. This interactive pedagogical tool has potential for development, particularly to evaluate practices in the context of on-going medical education. © 2010 Elsevier Masson SAS. All rights reserved.
Introduction Depuis octobre 2003, les internes d’ophtalmologie de Toulouse rec ¸oivent des cours théoriques formalisés dans le cadre du diplôme de l’enseignement supérieur (DES). L’objectif de ces enseignements est de leur faire acquérir, sur une période de cinq ans, un niveau théorique minimal en ophtalmologie. Il nous est apparu important d’évaluer cet enseignement délivré aux internes. Face aux relatives lourdeurs des techniques classiques d’interrogations par questionnaires, nous avons mis en place une méthode d’évaluation interactive basée sur l’utilisation d’un nouveau matériel, le logiciel PowerVote® . Nous rapportons notre expérience pour l’année universitaire 2006—2007.
Élèves, méthode et évaluation Élèves Les cours sont donnés à l’ensemble des 15 internes d’ophtalmologie de Toulouse.
Méthode Le programme des enseignements ainsi que la répartition des cours sont donnés aux étudiants au moins un mois avant le début de l’année. L’année universitaire 2006—2007 a été consacrée à l’enseignement sur les pathologies maculaires, il est constitué d’un module de 12 cours en neuf mois. Les séances sont préparées et données par les étudiants chacun à leur tour. La présentation dure 35 à 45 minutes, elle est suivie par des précisions apportées par le modérateur ou par des experts invités. Viennent ensuite les questions
posées par l’assistance. Les supports de cours, sous format PowerPoint® sont disponibles sur un ordinateur du service en libre accès pour tous les étudiants. À la fin du module, il leur est possible de graver sur un CD-ROM l’intégralité des présentations. La liste des objectifs spécifiques, disponibles au début de l’enseignement, a été établie d’après les objectifs intermédiaires diffusés par le Collège des ophtalmologistes universitaires de France (COUF)1 et a été validée par des experts, hospitaliers ou exerc ¸ants en secteur privé. Les internes disposent de cette liste afin de préparer leur évaluation. Évaluation : Une première évaluation a été effectuée juste au début de chaque séance d’enseignement. Il s’agissait de répondre à quatre ou cinq questions à réponses courtes en cinq minutes. Une seconde évaluation a été organisée un mois après la fin de l’enseignement du module. Il s’agissait d’une présentation PowerPoint® interactive avec participation des étudiants par l’intermédiaire de PowerVote® .
Dispositif d’évaluation interactive L’utilisation de PowerVote® nécessite un matériel spécifique : une mallette contenant des boîtiers de réponse et une antenne de réception, ainsi que le logiciel adéquat (Fig. 1). Ce matériel est commercialisé par la générale multimédia PowerVote® (http://www.powervote.com/fr/index.html). Le matériel nécessaire pour sa mise en place est constitué par un ordinateur portable, un vidéoprojecteur, un boîtier 1 Programme sur http://www.univ-st-etienne.fr/saintoph/finit/ ophtarc/Objp%E9dag.htm.
32
J.-C. Quintyn et al.
Figure 1. Boîtier de réponse, mallette contenant les boîtiers et l’antenne de réception.
de vote électronique par participant, un écran, une base de réception, un animateur. C’est-à-dire une installation mobile qui ne nécessite aucun aménagement particulier des locaux. Toute présentation sur PowerPoint® peut être adaptée à une présentation PowerVote® .
Excel® nécessaires à l’exploitation des résultats : collectifs ou individuels. Les feuilles de calcul affichant les résultats peuvent être totalement personnalisées par l’utilisateur. L’analyse des résultats est grandement facilitée par cette présentation automatique sur des feuilles Excel® . Il est de plus possible d’éliminer une question ou de corriger une réponse a posteriori (supprimer une question, pondérer une réponse. . .). Par l’intermédiaire du boîtier d’une utilisation très simple, chaque réponse possible correspond à un numéro sur la fac ¸ade du boîtier. L’utilisation de boîtiers de vote électronique permet la création de questionnaires comportant jusqu’à sept réponses possibles par question. Les questions simples ou multiples sont possibles, mais en cas de réponse multiple la validation n’est effectuée que si le nombre exact de réponses est donné. L’affichage des résultats en nombre de voix ou en pourcentage est immédiat ou différé. Nous avons étudié les résultats intra-individuels avant et après l’enseignement, les résultats inter-individuels en fonction de l’ancienneté de parcours dans le DES.
Infrastructure logicielle et exploitation
Résultats
Totalement intégré à PowerPoint® avec sa propre barre d’outils dans l’interface, PowerVote Quizz® , un logiciel de pilotage exclusif, transforme la présentation PowerPoint® en présentation interactive : en quelques clics, les premières présentations votantes sont prêtes à fonctionner. L’apprentissage est aisé, facilité par les aides fournies par le logiciel. Il faut compter après une petite période d’apprentissage, environ une minute pour adapter chaque diapositive. Lors de la présentation, PowerVote Quizz® génère ensuite automatiquement les feuilles de calcul
En 2007, 11 étudiants ont effectué l’évaluation finale (dont trois partiellement car ils n’ont pas répondu aux trois premières questions). L’analyse des résultats a été grandement facilitée par le logiciel de PowerVote® qui permet la présentation automatique des résultats sous forme de tableaux Excel® très lisibles (Fig. 2). De fac ¸on individuelle, tous les internes sauf un ont amélioré leur moyenne générale personnelle lors de l’évaluation finale, la variation va de −0,1 à +5,45 (Fig. 3). La moyenne des étudiants augmente significativement pour passer de
Figure 2.
Exemple du tableau de calcul des résultats par le logiciel de PowerVote® .
Utilisation de PowerVote® pour une évaluation
33 même mode d’évaluation pour le module d’enseignement suivant.
20 10
15
Discussion
5
Moyenne globale avant et après
Evolution globale des internes Moyenne globale avant/Moyenne globale après
0
5
interne moyavt
10
15
moyaprs
Figure 3. Comparaison de la moyenne des évaluations initiales et finales pour chaque étudiant. Légende en abscisse : on présente les performances de chaque étudiant, en ordonnée sont représentées les moyennes générales avant (carré) et après (triangle) le nombre total d’étudiants est de 16.
4,0/10 (±2,0) lors de l’évaluation initiale à 6,8/10 (±0,9) lors de l’évaluation finale (test non paramétrique apparié de Wilcoxon p = 0,0027). Malgré un relatif manque de puissance statistique pour atteindre un seuil de significativité requis, les étudiants les plus avancés dans le DES semblent avoir de meilleurs résultats non seulement lors de l’évaluation initiale (p = 0,12) mais aussi lors de l’évaluation finale (p = 0,08) (Fig. 4). On peut aussi remarquer que la dispersion des performances des étudiants de même ancienneté de parcours dans le DES est moins importante pour ceux qui commencent l’enseignement (inférieur à quatre semestres) que pour ceux qui sont en fin d’enseignement (Fig. 4). À la fin de l’évaluation, il était demandé aux étudiants ce qu’ils pensaient de ce mode d’évaluation et s’ils voulaient que celui-ci soit renouvelé. Tous ont répondu qu’ils avaient apprécié le côté ludique et interactif et qu’ils voulaient le
Nuage de points Comparaison globale avant après par ancienneté
10
Moyennes globales après 12 14 16 18
Carré si <4 sem Triangle si >=4 sem
5
10 15 Moyennes globales avant
20
Figure 4. Comparaison de la moyenne des évaluations initiales et finales pour l’année universitaire 2006 et 2007 en fonction de l’ancienneté des étudiants — moyenne des résultats obtenus pour des étudiants divisés en deux groupes (semestre inférieur à quatre [carré] et semestre inférieur ou égal à quatre [triangle]).
Dans notre étude, même si nous utilisons un système de notations, c’est plutôt l’évaluation formative qui est mise en jeu. En effet, le résultat obtenu par l’étudiant n’intervient pas dans la poursuite de sa carrière. Ce résultat a un but informatif. Les résultats sont donnés individuellement pour éviter une interprétation normative des résultats par les étudiants. L’évaluation de l’enseignement est encore une procédure peu employée en France et dans les pays francophones [1]. Le système de boîtiers de vote électronique est devenu habituel lors des congrès mais reste confidentiel dans l’enseignement. Pourtant son utilisation apporte beaucoup d’avantages. Voici quelques avantages de ce type d’évaluation : donner la possibilité de répondre de fac ¸on anonyme, réaliser en temps réel une évaluation, analyser et afficher immédiatement les résultats de l’ensemble des participants, réfléchir sur son opinion par rapport à celle des autres, comparer les votes en début et en fin de réunion pour mesurer l’évolution des points de vue et peut-être le plus important, faire réfléchir tous les participants. L’utilisation de l’interactivité collective permet à chaque utilisateur de se situer par rapport à l’ensemble du groupe [2]. Lors de la réunion, l’anonymat du vote garantit des réponses sincères des participants. La simultanéité des votes permet d’interroger en quelques secondes un grand nombre de personnes. Le support visuel, ainsi que la nécessité de répondre à chaque étape de la formation ou du débat, accroît l’attention et la concentration de chaque utilisateur. L’utilisation des boîtiers de vote électronique permet de constituer des fichiers de réponses, facilement analysables selon les besoins et les objectifs, stockés par questionnaires. L’ensemble des réponses peut être ultérieurement analysé selon différents critères comme l’ancienneté des internes, la participation aux cours. . . Depuis cinq ans, ils sont utilisés à la faculté polytechnique de Mons lors des cours magistraux en amphithéâtre [3]. Les avantages rapportés par les utilisateurs sont l’évaluation instantanée de la compréhension d’un auditoire, un enseignement plus concret et la possibilité de souligner les éléments majeurs, l’auto-évaluation anonyme de l’étudiant, la réceptivité accrue des étudiants. Les inconvénients retrouvés sont l’obligation de réduire le volume des cours, le coût de l’appareillage. Plusieurs auteurs suggèrent que l’interface technique entre enseignants et apprenants peut être un obstacle à une authentique interaction et à une réelle interactivité. Notre expérience a été le contraire, nous avons beaucoup apprécié la possibilité d’évaluer immédiatement la compréhension des étudiants. Cela permet ainsi d’ajuster exactement la correction de la question aux besoins des étudiants. Si toutes les réponses sont bonnes, il est possible de passer immédiatement à la question suivante. Si au contraire, il y a des réponses fausses, cela permet de savoir quels points sont à préciser en fonction des réponses données. L’utilisation des boîtiers de vote électronique a été aussi utilisée lors des travaux pratiques et dirigés de biologie à
34 Liège [4]. Les deux tiers des étudiants considèrent que les boîtiers de vote électronique devraient être employés systématiquement lors des travaux pratiques [4]. Dans notre expérience, l’ensemble des étudiants se déclare prêt à réitérer ce type d’évaluation dans les années ultérieures, nous avons retrouvé le même engouement avec 100 % d’étudiants qui recommandent les boîtiers de vote électronique pour leur évaluation. Bien que les avantages soient nombreux, il existe des inconvénients à cette technique comme la disponibilité du matériel et sa programmation par une personne formée. Pour pallier à cet inconvénient, une expérience est faite en utilisant des téléphones portables à la place des boîtiers de vote électronique. Les questions sont projetées à partir d’un ordinateur portable qui a une connexion Internet. Les réponses des étudiants sont envoyées par SMS et la mise à jour s’effectue en direct toutes les quelques secondes avec affichage en ligne dans une page Web [5]. L’utilisation des boîtiers de vote électronique favorise le processus d’apprentissage selon les étudiants [3]. Ce mode d’enseignement où l’étudiant devient acteur favorise la prise de parole en public.
Conclusion PowerVote® est un outil d’évaluation et de mesure. Il permet d’adapter l’enseignement immédiatement aux demandes des étudiants. PowerVote® , par son côté ludique et surtout interactif ainsi que par son logiciel de calcul des résultats, est un matériel d’évaluation amené à se développer, notamment dans le cadre d’évaluations des pratiques pro-
J.-C. Quintyn et al. fessionnelles (EPP). En effet, il permet d’effectuer une évaluation formative rapide, fiable et anonymisée. À l’ère de l’EPP—formation médicale continue obligatoire, cet outil pourrait avoir son application.
Conflit d’intérêt Aucun auteur de cet article n’a de conflits d’intérêts.
Références [1] Koumaré AK, Barrier JH, Normand S. Enquête sur la pratique institutionnelle de l’évaluation de l’enseignement dans les facultés de médecine francophones, XVe Journées universitaires francophones de pédagogie médicale, Nancy 22—25 avril 2003, http://www.cidmef.u-bordeaux2.fr/ ; 2003. [2] Llorca G. Formation pratique à la décision médicale complexe par la méthode du « microconsensus » : étude préliminaire. Pedagog Med 2004;5:204—10. [3] Conti C. Système de boîtiers de vote électronique en amphithéâtre avec de grands groupes. Faculté Polytechnique de Mons, FPMs, service de mécanique rationnelle. p. 1—2, http://www.ulb.ac.be/preview1/academie/docs/Vote. electronique.pdf. [4] Noel-Lambot F, Detroz P. Utilisation de boîtiers de vote électronique lors de travaux pratiques et travaux dirigés de biologie (niveau 1re candidature). p. 1—4, http://www.ciruisef. com/Dakar2003/index.html. [5] Houssier C. QCM via SMS colloque sur les méthodes actives d’animation des grands groupes. Liège: Université de Liège, Labset; 2003.
COMMUNICATION DE LA SFO
Utilisation de PowerVote® pour une évaluation夽 PowerVote® : An evaluation tool J.-C. Quintyn a,∗, P. Fostier b, P.-A. Gouraud c, P. Payoux b, J. Lagarrigue b a
Service d’ophtalmologie, hôpital Paule-de-Viguier, avenue de Grande-Bretagne, 31059 Toulouse cedex 09, France b Département universitaire de FMC et d’EPP des facultés de médecine de Toulouse, université Paul-Sabatier, 31400 Toulouse, France c Service d’épidémiologie, unité de recherche clinique, CHU de Toulouse, 31400 Toulouse, France Rec ¸u le 4 novembre 2008 ; accepté le 21 septembre 2010 Disponible sur Internet le 26 novembre 2010
MOTS CLÉS Évaluation ; Formation médicale ; Ophtalmologie ; PowerVote®
夽 ∗
Résumé Introduction. — L’évaluation des enseignements soulève des difficultés dont la lourdeur de sa mise en place. L’utilisation de nouveaux outils interactifs peut permettre de faciliter la mise en œuvre d’une évaluation directe et interactive tant des connaissances acquises par les étudiants que de leurs besoins initiaux. But. — Rapporter une expérience sur l’utilisation du logiciel PowerVote® dans l’évaluation de l’enseignement délivré aux internes d’ophtalmologie de Toulouse. Sujets et méthode. — Cette étude prospective porte sur l’ensemble des internes d’ophtalmologie de Toulouse pour l’année universitaire 2006—2007. Les cours ont été donnés à tour de rôle par les internes et les chefs de clinique, lors d’une présentation PowerPoint® de 45 minutes. Les internes étaient évalués juste avant le cours par cinq questions à choix multiples. Un mois après la fin du cycle de 12 cours, une évaluation sur l’ensemble des cours a été effectuée à l’aide de PowerVote® , sur des objectifs donnés préalablement aux internes. Résultats. — Onze internes ont effectué l’évaluation finale. Le niveau théorique des internes a été augmenté de fac ¸on significative passant de 4,0/10 à 6,8/10 (p = 0,0027). Tous les participants ont apprécié ce mode d’évaluation et ont tous voté pour son renouvellement. Conclusion. — L’évaluation des étudiants par PowerVote® a permis de donner la correction immédiatement. Ainsi l’enseignement a pu être adapté très précisément aux connaissances des étudiants. L’utilisation du logiciel de PowerVote® permet d’obtenir, sur une fiche Excel® , des statistiques sur les résultats obtenus. L’utilisation de PowerVote® permet d’évaluer en direct
Communication orale présentée lors du 113e congrès de la Société franc ¸aise d’ophtalmologie en mai 2007. Auteur correspondant. Adresse e-mail : [email protected] (J.-C. Quintyn).
0181-5512/$ — see front matter © 2010 Elsevier Masson SAS. Tous droits réservés. doi:10.1016/j.jfo.2010.09.012
Utilisation de PowerVote® pour une évaluation
31
des connaissances et d’ajuster ainsi immédiatement l’enseignement. Cet outil pédagogique interactif est amené à se développer, notamment comme outil évaluant des pratiques dans une formation médicale continue. © 2010 Elsevier Masson SAS. Tous droits réservés.
KEYWORDS Evaluation; Medical education; Ophthalmology; PowerVote®
Summary Objective. — The objective was to report the experience using PowerVote® software to evaluate the teaching provided to Toulouse ophthalmology residents. Subjects and methods. — This prospective study covers all ophthalmology residents in Toulouse during the 2006—2007 academic year. Courses were alternately given by residents and resident physicians, during a 45-minute PowerPoint® presentation. At the beginning of the course, the residents answered five multiple-choice questions. A month after the end of the 12-course program, participants were tested, using PowerVote® , on the content of the entire course, focusing on objectives that the residents had received at the start. Results. — The level of theoretical knowledge increased significantly, from 4.0/10 to 6.8/10. (P = 0.0027). Conclusion. — Tests using PowerVote® allowed instantaneous correction of the answers to the test questions. Consequently, the teaching was easier to adapt to the students’ knowledge. Descriptive statistics of the results obtained could be generated via the PowerVote® software and displayed on an Excel® spreadsheet. The use of PowerVote® also allowed direct evaluation of student knowledge and adjustments in the teaching for the following courses. This interactive pedagogical tool has potential for development, particularly to evaluate practices in the context of on-going medical education. © 2010 Elsevier Masson SAS. All rights reserved.
Introduction Depuis octobre 2003, les internes d’ophtalmologie de Toulouse rec ¸oivent des cours théoriques formalisés dans le cadre du diplôme de l’enseignement supérieur (DES). L’objectif de ces enseignements est de leur faire acquérir, sur une période de cinq ans, un niveau théorique minimal en ophtalmologie. Il nous est apparu important d’évaluer cet enseignement délivré aux internes. Face aux relatives lourdeurs des techniques classiques d’interrogations par questionnaires, nous avons mis en place une méthode d’évaluation interactive basée sur l’utilisation d’un nouveau matériel, le logiciel PowerVote® . Nous rapportons notre expérience pour l’année universitaire 2006—2007.
Élèves, méthode et évaluation Élèves Les cours sont donnés à l’ensemble des 15 internes d’ophtalmologie de Toulouse.
Méthode Le programme des enseignements ainsi que la répartition des cours sont donnés aux étudiants au moins un mois avant le début de l’année. L’année universitaire 2006—2007 a été consacrée à l’enseignement sur les pathologies maculaires, il est constitué d’un module de 12 cours en neuf mois. Les séances sont préparées et données par les étudiants chacun à leur tour. La présentation dure 35 à 45 minutes, elle est suivie par des précisions apportées par le modérateur ou par des experts invités. Viennent ensuite les questions
posées par l’assistance. Les supports de cours, sous format PowerPoint® sont disponibles sur un ordinateur du service en libre accès pour tous les étudiants. À la fin du module, il leur est possible de graver sur un CD-ROM l’intégralité des présentations. La liste des objectifs spécifiques, disponibles au début de l’enseignement, a été établie d’après les objectifs intermédiaires diffusés par le Collège des ophtalmologistes universitaires de France (COUF)1 et a été validée par des experts, hospitaliers ou exerc ¸ants en secteur privé. Les internes disposent de cette liste afin de préparer leur évaluation. Évaluation : Une première évaluation a été effectuée juste au début de chaque séance d’enseignement. Il s’agissait de répondre à quatre ou cinq questions à réponses courtes en cinq minutes. Une seconde évaluation a été organisée un mois après la fin de l’enseignement du module. Il s’agissait d’une présentation PowerPoint® interactive avec participation des étudiants par l’intermédiaire de PowerVote® .
Dispositif d’évaluation interactive L’utilisation de PowerVote® nécessite un matériel spécifique : une mallette contenant des boîtiers de réponse et une antenne de réception, ainsi que le logiciel adéquat (Fig. 1). Ce matériel est commercialisé par la générale multimédia PowerVote® (http://www.powervote.com/fr/index.html). Le matériel nécessaire pour sa mise en place est constitué par un ordinateur portable, un vidéoprojecteur, un boîtier 1 Programme sur http://www.univ-st-etienne.fr/saintoph/finit/ ophtarc/Objp%E9dag.htm.
32
J.-C. Quintyn et al.
Figure 1. Boîtier de réponse, mallette contenant les boîtiers et l’antenne de réception.
de vote électronique par participant, un écran, une base de réception, un animateur. C’est-à-dire une installation mobile qui ne nécessite aucun aménagement particulier des locaux. Toute présentation sur PowerPoint® peut être adaptée à une présentation PowerVote® .
Excel® nécessaires à l’exploitation des résultats : collectifs ou individuels. Les feuilles de calcul affichant les résultats peuvent être totalement personnalisées par l’utilisateur. L’analyse des résultats est grandement facilitée par cette présentation automatique sur des feuilles Excel® . Il est de plus possible d’éliminer une question ou de corriger une réponse a posteriori (supprimer une question, pondérer une réponse. . .). Par l’intermédiaire du boîtier d’une utilisation très simple, chaque réponse possible correspond à un numéro sur la fac ¸ade du boîtier. L’utilisation de boîtiers de vote électronique permet la création de questionnaires comportant jusqu’à sept réponses possibles par question. Les questions simples ou multiples sont possibles, mais en cas de réponse multiple la validation n’est effectuée que si le nombre exact de réponses est donné. L’affichage des résultats en nombre de voix ou en pourcentage est immédiat ou différé. Nous avons étudié les résultats intra-individuels avant et après l’enseignement, les résultats inter-individuels en fonction de l’ancienneté de parcours dans le DES.
Infrastructure logicielle et exploitation
Résultats
Totalement intégré à PowerPoint® avec sa propre barre d’outils dans l’interface, PowerVote Quizz® , un logiciel de pilotage exclusif, transforme la présentation PowerPoint® en présentation interactive : en quelques clics, les premières présentations votantes sont prêtes à fonctionner. L’apprentissage est aisé, facilité par les aides fournies par le logiciel. Il faut compter après une petite période d’apprentissage, environ une minute pour adapter chaque diapositive. Lors de la présentation, PowerVote Quizz® génère ensuite automatiquement les feuilles de calcul
En 2007, 11 étudiants ont effectué l’évaluation finale (dont trois partiellement car ils n’ont pas répondu aux trois premières questions). L’analyse des résultats a été grandement facilitée par le logiciel de PowerVote® qui permet la présentation automatique des résultats sous forme de tableaux Excel® très lisibles (Fig. 2). De fac ¸on individuelle, tous les internes sauf un ont amélioré leur moyenne générale personnelle lors de l’évaluation finale, la variation va de −0,1 à +5,45 (Fig. 3). La moyenne des étudiants augmente significativement pour passer de
Figure 2.
Exemple du tableau de calcul des résultats par le logiciel de PowerVote® .
Utilisation de PowerVote® pour une évaluation
33 même mode d’évaluation pour le module d’enseignement suivant.
20 10
15
Discussion
5
Moyenne globale avant et après
Evolution globale des internes Moyenne globale avant/Moyenne globale après
0
5
interne moyavt
10
15
moyaprs
Figure 3. Comparaison de la moyenne des évaluations initiales et finales pour chaque étudiant. Légende en abscisse : on présente les performances de chaque étudiant, en ordonnée sont représentées les moyennes générales avant (carré) et après (triangle) le nombre total d’étudiants est de 16.
4,0/10 (±2,0) lors de l’évaluation initiale à 6,8/10 (±0,9) lors de l’évaluation finale (test non paramétrique apparié de Wilcoxon p = 0,0027). Malgré un relatif manque de puissance statistique pour atteindre un seuil de significativité requis, les étudiants les plus avancés dans le DES semblent avoir de meilleurs résultats non seulement lors de l’évaluation initiale (p = 0,12) mais aussi lors de l’évaluation finale (p = 0,08) (Fig. 4). On peut aussi remarquer que la dispersion des performances des étudiants de même ancienneté de parcours dans le DES est moins importante pour ceux qui commencent l’enseignement (inférieur à quatre semestres) que pour ceux qui sont en fin d’enseignement (Fig. 4). À la fin de l’évaluation, il était demandé aux étudiants ce qu’ils pensaient de ce mode d’évaluation et s’ils voulaient que celui-ci soit renouvelé. Tous ont répondu qu’ils avaient apprécié le côté ludique et interactif et qu’ils voulaient le
Nuage de points Comparaison globale avant après par ancienneté
10
Moyennes globales après 12 14 16 18
Carré si <4 sem Triangle si >=4 sem
5
10 15 Moyennes globales avant
20
Figure 4. Comparaison de la moyenne des évaluations initiales et finales pour l’année universitaire 2006 et 2007 en fonction de l’ancienneté des étudiants — moyenne des résultats obtenus pour des étudiants divisés en deux groupes (semestre inférieur à quatre [carré] et semestre inférieur ou égal à quatre [triangle]).
Dans notre étude, même si nous utilisons un système de notations, c’est plutôt l’évaluation formative qui est mise en jeu. En effet, le résultat obtenu par l’étudiant n’intervient pas dans la poursuite de sa carrière. Ce résultat a un but informatif. Les résultats sont donnés individuellement pour éviter une interprétation normative des résultats par les étudiants. L’évaluation de l’enseignement est encore une procédure peu employée en France et dans les pays francophones [1]. Le système de boîtiers de vote électronique est devenu habituel lors des congrès mais reste confidentiel dans l’enseignement. Pourtant son utilisation apporte beaucoup d’avantages. Voici quelques avantages de ce type d’évaluation : donner la possibilité de répondre de fac ¸on anonyme, réaliser en temps réel une évaluation, analyser et afficher immédiatement les résultats de l’ensemble des participants, réfléchir sur son opinion par rapport à celle des autres, comparer les votes en début et en fin de réunion pour mesurer l’évolution des points de vue et peut-être le plus important, faire réfléchir tous les participants. L’utilisation de l’interactivité collective permet à chaque utilisateur de se situer par rapport à l’ensemble du groupe [2]. Lors de la réunion, l’anonymat du vote garantit des réponses sincères des participants. La simultanéité des votes permet d’interroger en quelques secondes un grand nombre de personnes. Le support visuel, ainsi que la nécessité de répondre à chaque étape de la formation ou du débat, accroît l’attention et la concentration de chaque utilisateur. L’utilisation des boîtiers de vote électronique permet de constituer des fichiers de réponses, facilement analysables selon les besoins et les objectifs, stockés par questionnaires. L’ensemble des réponses peut être ultérieurement analysé selon différents critères comme l’ancienneté des internes, la participation aux cours. . . Depuis cinq ans, ils sont utilisés à la faculté polytechnique de Mons lors des cours magistraux en amphithéâtre [3]. Les avantages rapportés par les utilisateurs sont l’évaluation instantanée de la compréhension d’un auditoire, un enseignement plus concret et la possibilité de souligner les éléments majeurs, l’auto-évaluation anonyme de l’étudiant, la réceptivité accrue des étudiants. Les inconvénients retrouvés sont l’obligation de réduire le volume des cours, le coût de l’appareillage. Plusieurs auteurs suggèrent que l’interface technique entre enseignants et apprenants peut être un obstacle à une authentique interaction et à une réelle interactivité. Notre expérience a été le contraire, nous avons beaucoup apprécié la possibilité d’évaluer immédiatement la compréhension des étudiants. Cela permet ainsi d’ajuster exactement la correction de la question aux besoins des étudiants. Si toutes les réponses sont bonnes, il est possible de passer immédiatement à la question suivante. Si au contraire, il y a des réponses fausses, cela permet de savoir quels points sont à préciser en fonction des réponses données. L’utilisation des boîtiers de vote électronique a été aussi utilisée lors des travaux pratiques et dirigés de biologie à
34 Liège [4]. Les deux tiers des étudiants considèrent que les boîtiers de vote électronique devraient être employés systématiquement lors des travaux pratiques [4]. Dans notre expérience, l’ensemble des étudiants se déclare prêt à réitérer ce type d’évaluation dans les années ultérieures, nous avons retrouvé le même engouement avec 100 % d’étudiants qui recommandent les boîtiers de vote électronique pour leur évaluation. Bien que les avantages soient nombreux, il existe des inconvénients à cette technique comme la disponibilité du matériel et sa programmation par une personne formée. Pour pallier à cet inconvénient, une expérience est faite en utilisant des téléphones portables à la place des boîtiers de vote électronique. Les questions sont projetées à partir d’un ordinateur portable qui a une connexion Internet. Les réponses des étudiants sont envoyées par SMS et la mise à jour s’effectue en direct toutes les quelques secondes avec affichage en ligne dans une page Web [5]. L’utilisation des boîtiers de vote électronique favorise le processus d’apprentissage selon les étudiants [3]. Ce mode d’enseignement où l’étudiant devient acteur favorise la prise de parole en public.
Conclusion PowerVote® est un outil d’évaluation et de mesure. Il permet d’adapter l’enseignement immédiatement aux demandes des étudiants. PowerVote® , par son côté ludique et surtout interactif ainsi que par son logiciel de calcul des résultats, est un matériel d’évaluation amené à se développer, notamment dans le cadre d’évaluations des pratiques pro-
J.-C. Quintyn et al. fessionnelles (EPP). En effet, il permet d’effectuer une évaluation formative rapide, fiable et anonymisée. À l’ère de l’EPP—formation médicale continue obligatoire, cet outil pourrait avoir son application.
Conflit d’intérêt Aucun auteur de cet article n’a de conflits d’intérêts.
Références [1] Koumaré AK, Barrier JH, Normand S. Enquête sur la pratique institutionnelle de l’évaluation de l’enseignement dans les facultés de médecine francophones, XVe Journées universitaires francophones de pédagogie médicale, Nancy 22—25 avril 2003, http://www.cidmef.u-bordeaux2.fr/ ; 2003. [2] Llorca G. Formation pratique à la décision médicale complexe par la méthode du « microconsensus » : étude préliminaire. Pedagog Med 2004;5:204—10. [3] Conti C. Système de boîtiers de vote électronique en amphithéâtre avec de grands groupes. Faculté Polytechnique de Mons, FPMs, service de mécanique rationnelle. p. 1—2, http://www.ulb.ac.be/preview1/academie/docs/Vote. electronique.pdf. [4] Noel-Lambot F, Detroz P. Utilisation de boîtiers de vote électronique lors de travaux pratiques et travaux dirigés de biologie (niveau 1re candidature). p. 1—4, http://www.ciruisef. com/Dakar2003/index.html. [5] Houssier C. QCM via SMS colloque sur les méthodes actives d’animation des grands groupes. Liège: Université de Liège, Labset; 2003.