Hdr présentation techno pour apprentissage

3.3 L’environnement informatique d’apprentissage MathSV

L’environnement informatique, développé à partir du printemps 2001, est accessible par un site Web organisé en quatre rubriques : Cours, Tests, Agenda et Infos (Charles et al., 2003).

• 
  La rubrique « Cours » contient les chapitres de cours accompagnés d'une synthèse, des formulaires, un glossaire des principaux concepts mais aussi des exercices et des problèmes, des annales. C’est l’équivalent du polycopié classique avec cependant un effort de représentation graphique important ainsi qu’une grande variété de problèmes biologiques illustrant le cours.
  
• 
  La rubrique « Tests » contient des questions à choix multiples (QCM), avec des corrigés et des hyperliens vers chaque sous-chapitre où se trouve la bonne réponse. Elle est conçue pour être une entrée sur le cours.
  
• 
  La rubrique « Infos » contient un plan du site, un moteur de recherche, des ressources pédagogiques à destinations d’autres enseignants et des informations de contact avec les membres de l'équipe pédagogique de Lyon I.
  
• 
  La rubrique « Agenda » contient le programme hebdomadaire de l’unité d’enseignement avec des consignes sur les chapitres de cours à étudier, les exercices à préparer et les problèmes à résoudre, des informations pratiques et d’actualité scientifique en Biologie et Mathématiques. Cette rubrique donne aussi accès à un bureau virtuel personnalisé, qui permet à l’étudiant de consulter un tableau récapitulatif de toutes ses visites au site, avec des cases de différentes couleurs pour représenter les différentes activités et leurs résultats. Les résultats individuels sur les exercices sont affichés avec la moyenne du groupe, permettant à l’étudiant de comparer son niveau avec celui de l’ensemble de sa section (figure 2).
  

Pourquoi un environnement informatique ? Au début du projet, l'une des fonctions principales de l’environnement informatique MathSV est de permettre aux étudiants de travailler des notions mathématiques qui ne sont que rapidement abordées en cours magistral et de résoudre des exercices en faisant le lien direct avec des informations disponibles sur les chapitres de cours. De plus, MathSV remplace (et complète) le traditionnel polycopié, autrefois distribué aux étudiants au début de l'année sous forme imprimée (actuellement les étudiants reçoivent une version résumée du polycopié). La

Figure 2 Un tableau récapitulatif individuel de la navigation au travers du site. Cinq chapitres sur six ont été consultés. Les chiffres entre parenthèses indiquent le nombre d’étudiants ayant déjà effectué la lecture ou les exercices demandés. Il est possible d’obtenir des moyennes sur les QCM.

résolution d'exercices avec le site se fait principalement lors des séances de travail tutoré (TT), avec la médiation d'un tuteur, mais les étudiants peuvent aussi le faire individuellement, à la maison, pour tester leurs connaissances et se préparer aux examens. Enfin, MathSV est un lieu d’interaction, en dehors des cours, entre enseignants et étudiants.

L'interface graphique de MathSV a été conçue par l'équipe du projet, en particulier Lionel Humblot (informaticien du laboratoire Biométrie et Biologie Evolutive, Lyon 1), sur la base d'exemples de sites similaires et d'un travail original de développement de schémas de couleurs, typographie, illustrations, menus de navigation. L'équipe n'a pas fait appel à des critères explicites d'ergonomie ou à des grilles d'évaluation ergonomique durant la conception et mise en place du projet.

Nous avons réalisé une série de sondages, entre 2001 et 2003 et donc avant la recherche expérimentale de l’hiver 2004, avec les étudiants ayant utilisé MathSV (section pilote) et les autres (section classique). Ces sondages ont montré que les étudiants étaient globalement satisfaits du dispositif pédagogique incluant l’utilisation du site (voir Ney & Charles, 2003, pour une analyse complète de ces sondages). Cependant, les notes à l’examen final n’ont pas varié avec l’introduction de ce dispositif, pas plus que le contenu des copies d’examen qui semblent indiquer des difficultés dans la résolution d’exercices et de problèmes qui se perpétuent.

Mis en perspective avec les résultats des observations des années passées, les objectifs du dispositif, en particulier permettre aux étudiants de résoudre des exercices tout en consultant les chapitres de cours et motiver les étudiants en sciences de la vie pour l'apprentissage des mathématiques, nous ont amené à poser deux questions pour une recherche expérimentale :

(a) Est-ce que le site permet aux étudiants de résoudre les exercices de façon aussi (ou plus) efficace qu'un document imprimé ?

(b) Dans quelle mesure les étudiants sont-ils satisfaits des matériels pédagogiques et plus motivés pour apprendre ?

3.4 Recherche expérimentale

Quels sont les apports pédagogiques de notre environnement informatique ? De multiples réponses peuvent co-exister, selon la perspective et le niveau d'analyse adoptés. Ici, nous parlons d'apport pédagogique lorsque l'installation et l'usage de certaines parties de l’environnement MathSV ont pour résultat l'amélioration objective et mesurable des résultats obtenus par les étudiants dans des exercices portant sur les contenus de cours, par rapport à l'enseignement dispensé au moyen des ressources traditionnelles.

Nous avons mis en oeuvre une recherche basée sur la collecte de données provenant d'utilisateurs étudiants, faite dans des conditions contrôlées, et la quantification des résultats. Cette recherche a été coordonnée par Mônica Macedot-Rouet dans le cadre de son séjour post-doctoral (bourse de l’Agence Universitaire Francophone) au laboratoire URSIDOC à l’université Lyon I. Un protocole expérimental a été mis en place avec l'accord des enseignants. Un chapitre du site Web (le chapitre sur les équations différentielles) a été choisi comme sujet des tests de connaissance, de par son importance et sa place dans le programme.

Avant de réaliser l'étude avec les utilisateurs, nous avons entrepris une évaluation par inspection de l’environnement informatique MathSV, en utilisant la grille ergonomique de Scapin et Bastien (1997). Une telle évaluation est recommandée comme faisant partie des mesures pour détecter des éventuels problèmes d'utilisabilité d'un site et suggérer des changements d'interface. L'inspection nous a permis de constater certains problèmes d'ergonomie (par exemple, un problème de guidage dans le groupement des items, exprimé par différents type de menus changeant d'une rubrique à l'autre et nous a conduit à suggérer des modifications, notamment sur l'organisation du contenu (format des menus), la typographie et couleurs employées, avec l'objectif d'améliorer l'ergonomie du site. Cependant, nous n'avons pas directement intégré ces modifications à la version Web définitive. Afin de nous assurer qu'elles représentaient de véritables améliorations ergonomiques, nous avons construit une version expérimentale (avec moins de liens hypertextes, moins de couleurs, une typographie simplifiée, une moindre densité informative), dite « version ergonomique », de MathSV et l'avons testée en comparaison à la « version initiale ».

Nous avons décliné les deux questions posées (section 2.3) en cinq hypothèses :

H1 - Utilité du cours écrit - La lecture du chapitre sur les équations différentielles aura un effet positif sur la compréhension du contenu, les étudiants ayant un meilleur score dans un test de connaissances après lecture de ce chapitre.

H2 - Charge cognitive – H2.1 La « version ergonomique » aura un effet positif sur la perception de « charge cognitive » des étudiants par rapport à la « version initiale ». H2.2 La perception de charge sera moins importante pour les étudiants ayant une plus grande expérience avec les technologies.

H3 - Ergonomie - Les étudiants travaillant sur la « version ergonomique » feront des parcours de navigation plus linéaires et consulteront moins de fois des pages déjà visitées que ceux sur la « version initiale ».

H4 - Papier vs. site Web - Une version papier du même contenu (texte disposé linéairement sur papier) entraînera des résultats plus bas que ceux de la « version ergonomique » (idem pour la « version initiale »).

H5 - Satisfaction et utilisabilité - Les étudiants travaillant sur la « version initiale » du site seront plus satisfaits que les étudiants travaillant sur la « version ergonomique » ou la version papier. Cette hypothèse est fondée sur le fait que les étudiants perçoivent positivement la technologie Internet/site Web et qu’ils sont attirés par le design original et attractif de la version initiale (schéma de couleurs, logos, typographie).

Signalons que deux autres hypothèses ont été testées dans le cadre de cette recherche bien qu’elle ne soient pas directement liées à l’utilisation d’un environnement informatique.

H6 - Besoin de cognition (la tendance d'un individu à s'engager et à tirer du plaisir des activités de réflexion) - Les étudiants avec un plus fort « besoin de cognition » (Cacioppo et al. 1984) auront des scores de compréhension meilleurs, quelque soit le mode de présentation.

H7 - Croyances épistémologiques (la vision, plus ou moins naïve, d'un étudiant sur la connaissance et l'acquisition des savoirs) - La compréhension interagit avec les « croyances épistémologiques » (Schommer 1990, Mason 2005). Les étudiants qui croient plus fortement que « le savoir s’acquière rapidement (quick knowledge) », que « le savoir est simple (simple knowledge) » auront des scores plus bas.

Pour tester ces hypothèses, cinq questionnaires ont été élaborés ainsi que deux tests de connaissances :

• 
  Q1 - Un questionnaire sur les données d'âge, de sexe et d'expérience d'utilisation du Web.
  
• 
  Q2 - Un questionnaire de 18 items sur les besoins de cognition, notre adaptation en français du questionnaire de Cacioppo et al (1984).
  
• 
  Q3 - Un questionnaire sur les croyances épistémologiques (notre adaptation française du questionnaire de Schommer, 1990) composée de 68 assertions portant sur cinq dimensions : la structure du savoir, la certitude, le contrôle individuel et la rapidité d'acquisition des connaissances.
  
• 
  Q4 - Un questionnaire de perception de charge de 6 propositions (notre traduction française du NASA TLX : « Workload assessment tool » développé par la NASA pour évaluer des environnements informatiques et disponible sur http://www.nrl.navy.mil/aic/ide/NASATLX.php).
  
• 
  Q5 - 10 propositions sur la perception de l'utilisabilité et 12 propositions sur la perception de satisfaction du site ou du polycopié.
  
• 
  T1 - Un QCM de connaissances initiales (« pré-test ») comprenant 10 questions sur les équations différentielles.
  
• 
  T2 - Un QCM de 18 exercices et mini-problèmes sur les équations différentielles. Les questions étaient de quatre types : chercher une information, calculer, poser ou résoudre un problème (biologique), donner une définition.
  

A ceci s’ajoute un programme de trace que j’ai développé afin de transformer les log bruts du site Web (gardant traces de toutes les actions des étudiants dans ce site) pour analyse. Nous nous intéressions en particulier au temps passé à répondre à chaque question, aux pages consultées (y compris sur plusieurs fenêtres différentes ouvertes en même temps), au nombre de pages cibles trouvées (celles où l’on sait que se trouve l’information utile pour répondre à certaines questions) en lien avec H3.

Trois séances expérimentales ont été prévues pendant les heures de cours pour encourager une participation massive des étudiants. Trois sections ont participé à ces séances, soit environ 450 étudiants de 1^er cycle en Biologie (75% de femmes, âge moyen 18.8 ans).

1. 
   La première séance a été consacrée à Q1, Q2 et Q3. Cette séance s'est faite pendant une réunion de rentrée avec les étudiants, en amphithéâtre. Les étudiants ont été informés des objectifs de la recherche par l’expérimentateur et ont été invités à répondre aux questionnaires sous forme papier (pour lecture optique). Au préalable, ils avaient reçu une explication et démonstration du fonctionnement de MathSV. Les étudiants ont mis 20 à 30 minutes pour répondre aux trois questionnaires.
   
2. 
   La deuxième séance a été consacrée à T1. Elle s'est déroulée à la fin d'un cours magistral sur le thème des équations différentielles. Les étudiants ont mis 20 à 30 minutes pour faire ce test.
   
3. 
   La troisième séance a consisté, pour les étudiants, à travailler comme dans une séance de travail tutoré ordinaire mais sans intervention du tuteur. Ils devaient faire le T2, tout en consultant le chapitre sur le même thème. Après chacune des 18 questions de T2, ils devaient remplir Q4. Après avoir terminé T2, ils devaient finalement répondre à Q5. La séance a duré entre 45 et 60 minutes selon les groupes.
   

Pour la troisième et dernière séance expérimentale, les étudiants ont été répartis dans quatre groupes expérimentaux, par TT, selon le support de cours et d’exercices dont ils allaient disposer :

Groupe 1 – « version initiale » du site (cours et test T2)

Groupe 2 – « version ergonomique » du site (même contenu)
Groupe 3 – polycopié (même contenu)
Groupe 4 – pas de cours (uniquement T2, sur papier)

Je ne vais pas ici détailler tous les résultats (Ney et al 2005, Macedo-Rouet et al 2006 et un article en préparation). Les résultats suivant ont été obtenu sur un échantillon de N=122 étudiants. Le résultat le plus significatif (du point de vue statistique) et aussi le plus étonnant est sans doute que les étudiants utilisant le polycopié résolvent plus d'exercices correctement que les étudiants utilisant MathSV, que ce soit la « version initiale » ou la « version ergonomique » (voir H4 et figure 3).

*

Figure 3 Résultats au test T2 en fonction du groupe (1 à 4, voir texte). L’effet du media est significatif (p>0.001) et explique 35% de la variance. Le groupe polycopié (3) obtient des résultats plus élevés que les deux groupes site Web (1 et 2) qui eux mêmes sont supérieurs au groupe contrôle (4).

L’hypothèse H1 a été vérifiée puisque le groupe contrôle a eu des résultats significativement moins bons que les groupes ayant eu accès au cours. Par ailleurs, les étudiants trouvent plus facile d'utiliser le polycopié que le site (H5) et ce pour plusieurs raisons (clarté de la table des matières, lecture plus fatigante à l'écran, etc) et la majorité d’entre eux préfère imprimer le cours plutôt que le consulter en ligne. De plus, quelle que soit la version du site, les résultats des étudiants ne sont pas significativement différents en termes de performance. Il n’y a pas de différence significative globale sur Q5, quant à la perception d'utilisabilité ou de satisfaction. Sur certaines propositions cependant, il y a des différences entre « version initiale », « version ergonomique » et polycopié.

Différences significatives (c^2)	Site initial	Site ergonomique	Polycopié
Désaccord : « Je ne suis pas satisfait de l’esthétique du site/polycopié »	69.8	50.0	55.6
Accord : « Le menu/table des matières était clair et facile à utiliser »	51.2	63.2	94.4
Désaccord : « La lecture sur écran/papier m’a fatiguée »	41.9	31.6	88.9

L’analyse des traces de navigation dans MathSV a confirmé que la version ergonomique n’apportait pas de gains, ni au niveau du temps, ni au niveau du nombre de pages cibles trouvées (celles contenant la bonne réponse). Cependant, des corrélations ont pu être établies. Pour en citer deux, il y a eu une corrélation positive (p>0.5) entre la performance de l’étudiant au test T2 et le temps qu’il a passé sur son questionnaire (0.39), entre sa performance et le nombre total de page visitées (0.40). Ces corrélations sont similaires pour les deux versions du site. L’hypothèse H3 n’est donc pas vérifiée.

Moyennes (écart-types) sur la durée du test T2	Site initial	Site ergonomique	p
Temps (minutes)	41 (8.3)	39 (8.5)	ns
# pages visitées	33 (16.3)	38 (15.2)	ns
# pages cibles	7.4 (3.61)	8.5 (2.79)	ns
Charge cognitive (NASA-TLX)	7.9 (2.7)	6.9 (2.2)	ns

Enfin, le questionnaire Q5 (NASA-TLX) n’a pas mis en évidence un effet positif de la « version ergonomique » sur la perception de « charge cognitive » des étudiants par rapport à la « version initiale » (H2). Pour conclure, les modifications apportées à la version initiale du site afin d'améliorer son ergonomie n’ont donc pas porté leurs fruits. De même, il n’a pas non plus été possible de mettre en évidence une perception de charge différente pour les étudiants ayant une plus ou moins grande expérience avec les technologies (corrélation Q1 et Q5, hypothèse H2.2).

Par rapport aux expériences antérieures dans le même domaine, ces résultats confirment que l'apport pédagogique des sites Web peut s’avérer assez limité et qu’il importe de s’interroger sur les types de pédagogie qui bénéficieront réellement de ce genre de support. Notre interprétation de ces résultats est que les documents en ligne sur MathSV se sont avérés être moins bien adaptés que le polycopié dans un contexte de résolution d'exercices à l'aide de chapitres de cours, pour des raisons liées à la lisibilité sur écran et à la praticité de la consultation du support papier. En référence à la théorie de la charge cognitive (Sweller 1994), notre étude suggère que la notion de charge pourrait expliquer (au moins en partie) les différences de performance entre des individus utilisant un système d'informations sur papier et un système informatisé de type site Web. Avec le site, les étudiants doivent dépenser une partie de leurs ressources cognitives pour la navigation et la lecture à l'écran, et cela se fait au détriment de leur performance.

Les leçons que l'on peut tirer de cette recherche expérimentale sont toutefois limitées sur au moins deux points. Notre expérience s'est déroulée sur une période de temps restreinte et propose une photographie instantanée alors qu’une analyse à long terme pourrait révéler des différences, notamment au niveau de la rétention de l’information. De plus, l'usage d'un environnement informatique constitue un phénomène relativement nouveau dans l'enseignement universitaire, auquel les étudiants pourraient s'habituer dans les années à venir, ce qui pourrait changer leurs attentes quant à ce dispositif. Enfin, notre étude concerne seulement un usage particulier des sites Web, à savoir la recherche d'informations pour répondre à des questions. En particulier, cette recherche d’information a été construite à partir d’une seule source, et qui plus est, très structurée et linéaire : organisée en sous-chapitres de cours, sachant que les énoncés des questions évoquent souvent les titres de ces sous-chapitres. On peut se demander si les résultats seraient inversés dans le cas d’une recherche d’information plus ouverte et moins structurée. En effet, de Vries et al (2006) rappellent que selon la théorie de la flexibilité cognitive les étudiants ayant un rôle actif pour chercher et étudier l’information (ils se construisent leurs propres parcours dans l’espace d’information) peut produire des effets sur la qualité de leur productions.

Cette recherche expérimentale qui s’est déroulée durant l’hiver 2004 a été conçue sur la base des Travaux Tutorés tels qu’ils avaient été mis en place à l’origine, c’est-à-dire essentiellement comme des séances de travail sur le cours via les QCM. Une nouvelle pédagogie impliquant un nouvel usage de MathSV a été mise en place au printemps 2004 et sera présentée dans la section qui suit. Il serait intéressant d’en évaluer les apports pédagogiques par une nouvelle recherche expérimentale (cela n’a pas été fait à ce jour).