Nom

Donner un nom de cas court et explicite

Auteurs

Noms des auteurs, courrier électronique

Version:

N°

Résumé

Courte description du but général du cas, incluant au moins le problème et la solution proposée à ce problème.

Situation problématique

Décrire les différents protagonistes (e.g., enseignants, étudiants, secrétaire, tuteurs, techniciens informatiques, responsable de la formation, etc.) de la situation et leurs problèmes respectifs. Qui a quel problème ? En quoi est-ce un problème ? Pourquoi est-ce important de résoudre ce problème ?

Contexte

Description du contexte dans lequel le problème survient. Cela inclut des informations sur les protagonistes, les groupes d’étudiants concernés, l’organisation de la formation, le type de matériel et de ressources utilisés, etc.

But recherché:

Description du but : quel est le but souhaitable (et atteignable) une fois que le problème aura été résolu ? Un but doit être réaliste, être rempli dans des conditions raisonnables, et non pas une situation idéale. Il est possible de reprendre la liste des différents protagonistes pour décrire leur vision de ce but.

Solution(s):

Description des solutions fonctionnelles (non spécifiquement techniques) à la situation problématique, afin de remplir le but désiré. Là aussi, la liste des différents protagonistes peut être utilisée.

Conditions and pré-requis :

Description des facteurs principaux de réussite pouvant influer sur la conception ou utilisation de la solution (e.g., rôles nécessaires, ressources, etc.), et qui sont des pré-requis pour résoudre le problème.

Indicateurs de performance

Indicateurs de performance pour tester si les buts recherchés ont été remplis une fois la solution mise en œuvre dans le contexte. Ces indicateurs sont formulés précisément et doivent être mesurables. Là encore, la liste des différents protagonistes peut être utilisée.

Cas relatifs

Liste du/des cas relié(s) à ce cas.

Notes:

Toute information/remarque utile pour comprendre le cas (suppositions, exceptions, recommandations).

Références:

Articles/URLs/documentation en rapport avec ce cas.

Cas

Procurer un feedback sur les productions textuelles d’étudiants

Auteur(s):

Philippe Dessus, Benoît Lemaire, Sonia Mandin, Emmanuelle Villiot-Leclercq, Virginie Zampa (UPMF)

{Philippe.Dessus, Sonia.Mandin}@upmf-grenoble.fr; {Benoit.Lemaire, Emmanuelle.Villiot-Leclercq}@imag.fr; Virginie.Zampa@gmail.com

Categorie:

Délivrer des feedback sur les textes libres d’étudiants

Résumé:

Tout étudiant suivant un cours doit en comprendre le contenu et ce faisant doit produire des textes libres (e.g., essays, résumés, notes) qui sont évalués par une tierce personne. Cette évaluation (i.e., pouvant comprendre une note, des commentaires et conseils) est importante pour que les étudiants comprennent la manière dont ils apprennent et progressent, mais demande beaucoup de ressources à l’enseignant. Les formes d’évaluation assistées par ordinateur existantes sont pour la plupart centrées sur des aspects de bas niveau (e.g., orthographe) ou bien sont des questionnaires à choix multiple qui demandent seulement une activité de reconnaissance de la part des étudiants. De plus, ces deux formes impliquent rarement des processus de métacognition, qui sont cruciaux pour la construction de connaissances tout au long de la vie. Ainsi, nous visons à développer un service informatique qui pourrait donner aux étudiants des feedback à volonté, et favoriserait leurs processus métacognitifs (autorégulation) en permettant aux étudiants de comparer leur propre évaluation à celle du service. Ce service donnerait des feedbacks les plus proches possible de ceux donnés par les enseignants humains.

Situation problématique:

Procurer et obtenir des feedbacks (retours évaluatifs) sur le processus d’apprentissage et la performance est une étape importante de l’enseignement. Pour les enseignants, c’est un moyen de guider l’apprentissage de l’élève, de vérifier que le contenu est bien appris, et d’améliorer leur pratique. Pour les étudiants, c’est un moyen de comprendre leurs niveaux de travail et de progrès, comment ils ont réalisé leurs tâches ainsi que de savoir quoi faire ensuite. Par conséquent, tout feedback doit être conçu et donné avec soin (fréquence, qualité, contenu, etc.). Détaillons maintenant quelques sources possibles de problèmes.

Un étudiant d’université passe couramment beaucoup de temps à travailler sur ordinateur, et est impliqué dans le flux de travail suivant. Dans chaque cours suivi, son enseignant prépare un ensemble de documents contenant 1) un cours détaillant les notions principales ; 2) une feuille de questions détaillant les principaux points du cours à acquérir (connaissances à construire en répondant aux questions, documents supplémentaires à rechercher pour y répondre). Les étudiants (en tant que groupe) doivent répondre de manière collaborative à ces questions après avoir lu le cours, et consulter diverses autres sources (internet, manuels, ouvrages, articles). Ensuite, ils écrivent une dissertation (résumé, synthèse) et/ou notent plus informellement ce qu’ils ont appris ou à apprendre pendant le cours. Ils peuvent également rechercher divers documents dans la bibliothèque ou internet pour enrichir leur production. Ensuite cette dernière est envoyée ou postée à l’enseignant à des fins de relecture ou d’évaluation (bien qu’ils soit à noter que les textes ont nécessairement subi une forme d’évaluation, électronique, par les traitements de textes : correction orthographique, parfois syntaxique). Ensuite l’enseignant lit le travail, l’annote et renvoie le résultat au groupe ou aux étudiants concerné(s). À un autre niveau, les tuteurs ont la tâche de faciliter le processus d’enseignement/apprentissage (e.g., en proposant des outils ou des procédures plus efficaces). L’administrateur a pour principal but de faire en sorte que les étudiants et enseignants puissent avoir un accès facilité et une utilisation la plus efficace du matériel (e.g., ordinateurs, logiciels, réseau). Enfin, le doyen de l’université est principalement responsable de la qualité globale de l’enseignement et est soucieux du taux de réussite des étudiants et de la satisfaction générale de tous les protagonistes.

Les problèmes suivants sont rencontrés. 1) Les enseignants se plaignent souvent que leurs étudiants font toujours le même type d’erreurs chaque année. 2) parallèlement, ils se plaignent qu’ils ont chaque année à reconsidérer leur système d’annotations 3) ils se plaignent également de passer trop de temps à corriger les copies de leurs étudiants sur des caractéristiques de bas niveau (orthographe, syntaxe). 4) ce flux de travail entier prend beaucoup de temps, et ce temps est proportionnel aux nombre d’étudiants que l’enseignant a (nombre qui peut être très important dans un contexte d’enseignement à distance), 5) en tant que conséquence de tous ces points précédents, ce dernier emploie diverses stratégies pour réduire sa charge cognitive (e.g., rechercher rapidement dans les textes des erreurs fatales, s’en tenir à sa première impression, ne se focaliser que sur quelques caractéristiques des textes) ; 6) ensuite, du point de vue des étudiants, ce flux de travail est aussi coûteux en temps, et ils préféreraient avoir la possibilité d’être évalués de manière plus continue, afin d’éviter de possibles écueils ; 7) ils se perdent dans les bibliothèques ou sur Internet, rencontrant de grandes difficultés à trouver les documents appropriés ; 8) Les relations enseignant-étudiants entre cours sont rares (sollicitation pour complément d’information, négociation sur les contrôles, feedback plus adapté, etc.) ;9) comme l’enseignant est l’unique destinataire du travail des étudiants, ces derniers ne sont pas vraiment engagés dans des processus d’auto-évaluation collaborative ; 10) le matériel est souvent sous-utilisé, ce qui est un problème pour les tuteurs, les administrateurs et le doyen.

Les consequences de ces points sont les suivantes: les étudiants 1) bénéficient du feedback informatique à un niveau très bas ; 2) prennent beaucoup de temps à attendre des évaluations de leur enseignant ; 3) reçoivent des annotations souvent vagues et/ou rares, souvent sans référence aux erreurs que leurs pairs font ; 4) ne se questionnent pas eux-mêmes sur leur propre réussite ; 5) utilisent des stratégies rationnelles (bien que contre-productives à long terme) pour donner leur travail dans les délais (e.g, plagiat). De leur côté, les enseignants 1) passent beaucoup de temps à évaluer le travail de leurs étudiants du point de vue de la forme et du contenu ; 2) passent de plus du temps à attendre les réponses de leurs étudiants à des éventuelles questions supplémentaires ; 3) sont tentés d’utiliser des QCM (questionnaires à choix multiple), ce qui cantonne les révisions des étudiants à un trop bas niveau. Les tuteurs laissent en général les enseignants et leurs étudiants tenter d’utiliser des logiciels et du matériel sophistiqué, mais sous-utilisé. Les administrateurs et le doyen font dépenser beaucoup d’argent en assistance technique et stratégique qui est souvent peu sollicitée par leurs usagers. Ils sont de plus attentifs aux réclamations des enseignants et des étudiants à propos, respectivement, de plagiat et d’évaluations non pertinentes.

Contexte:

Cette situation survient dans de nombreux contextes universitaires. Dans la plupart d’entre eux les étudiants ont à produire régulièrement des essais intermédiaires ou terminaux à propos des notions qu’ils ont apprises, et reçoivent un feedback à leur propos. A cette fin, ils utilisent leur propres ordinateurs portables connectés à un Intranet qui gère les différentes versions de leurs productions et permet des interactions collaboratives plus ou moins sophistiquées (e.g., chat, forum, référencement social, etc.). Plus précisément, les protagonistes sont les suivants :

– Etudiants, engagés dans un cursus universitaire. Ils suivent des cours, lisent des notes de cours de leurs enseignants et des manuels et écrivent régulièrement des notes à propos de leurs cours, réalisent des travaux pour des contrôles continus, etc.

– Les enseignants, qui gèrent et contrôlent le travail des étudiants et ont une vue globale de leurs progrès, ils lisent leurs productions écrites et donnent leur feedback ou leurs annotations.

– Les tuteurs, qui aident les enseignants à gérer le flux global d’activités. Ils gèrent les différents comptes à différents niveaux (droits d’accès, qui évalue qui, etc.), pour assister les activités pédagogiques ;

– Les administrateurs, qui conçoivent et rendent possibles le fonctionnement global du service. Ils procurent une assistance stratégique et technique, permettant aux utilisateurs d’avoir des outils efficaces et à jour. Ils gèrent aussis les liens entre les services techniques et pédagogiques de l’université et décident (en lien avec les tuteurs et enseignants) quel matériel et logiciels acheter).

But recherché :

Notre but est de concevoir et implanter un système qui évalue automatiquement les productions des étudiants afin de laisser les enseignants se centrer sur des aspects de plus haut niveau de leur activité (e.g., conception de cours, guidage individuel des étudiants). Les productions des étudiants sont analysées par le service et plusieurs types d’indications sont fournis (sur le cours lui-même, sur les productions des étudiants ou bien sur les prochains textes à lire). Les enseignants sont impliqués dans le processus en supervisant soigneusement les différentes phases d’apprentissage.

Buts généraux:

– Donner aux étudiants des textes à lire qui correspondent à leur niveau de compréhension des textes précédents (pas trop difficiles, pas trop faciles);

– Permettre l’autoévaluation des étudiants de leur propre production (essais, résumés, notes de cours) 1) à la fois à un bas et haut niveau ; 2) en leur fournissant une vue intégrée des différentes évaluations ; 3) dans un délai approprié.

– Permettre l’autorégulation de l’apprentissage des étudiants en leur permettant de comparer leur propre jugement sur leurs textes avec celui du service informatique.

– Donner aux étudiants des questions courtes ou des avis leur permettant d’avancer dans leur compréhension des notions importantes ;

– Donner aux enseignants des moyens de superviser le progrès des étudiants.

Buts plus spécifiques:

- permettre une analyse a priori des textes de cours (lisibilité, phrases les plus importantes) ;

- procurer plusieurs types d’évaluations des textes des étudiants (niveau de cohérence, possible plan de cours suivi) ;

- croiser les deux types d’évaluations afin de procurer des feedbacks plus efficaces (e.g., lorsqu’une phrase du cours est évaluée comme importante et n’apparaît pas dans le résumé de l’étudiant).

- fournir aux enseignants une base de données des erreurs habituelles des étudiants et leurs annotations correspondantes.

Toutes ces indications ont pour but d’améliorer à la fois la compréhension des étudiants à propos des notions enseignants et leur utilisation de stratégies d’écriture.

Solution(s):

Notre principal but est de procurer une evaluation textuelle à un niveau sémantique. A cette fin, nous avons choisi d’utiliser l’analyse sémantique latente et/ou l’un de ses derives (InfoMpa, R-LSA) car cette méthode a donné de bons résultats dans des buts voisins des nôtres: simulation de la comprehension pendant la lecture (Landauer & Dumais, 1997; Lemaire et al., 2006) ; détection de ruptures de cohérence (Foltz et al., 1998; Miller, 2004), évaluation de connaissances (Wolfe et al., 1998); mesures de lisibilité centrées sémantique (Graesser et al., 2004); evaluation auto-régulée (McNamara & Scott, 1999); analyse des macro-règles pendant l’activité de résumé (Lemaire et al., 2005).

Ce choix nous paraît meilleur que les possibles choix suivants: 1) meilleure division du travail entre enseignants et tuteurs. 2) proposer des QCM afin d’évaluer plus aisément les connaissances des étudiants; 3) évaluation par les pairs (e.g., par forums interposes), qui depend fortement de la compétence des étudiants.

Conditions and pré-requis

Les conditions suivantes sont à remplir:

– se procurer un moyen de calculer les proximités sémantiques entre mots/paragraphes/textes (LSA) ;

– avoir un moyen d’analyser les inférences faites pendant la lecture d’un texte (e.g., CI/LSA) ;

– Une taxonomie (ou un corpus) de types de feedbacks, questions, et types d’annotations (Thibaudeau, 2000; Graesser et al., 1992)

– Un corpus de textes de cours du domaine étudié;

– un corpus moins spécialisé pour permettre l’analyse de l’usage de la langue (journaux, romans, nouvelles).

– Des copies d’étudiants pour calibrer le service.

Indicateurs de validation

évaluations proches de celles des humains. Les evaluations fournies doivent être aussi proches que possible de celles que des enseignants auraient pu fournir.

Efficacité: L’utilisation de ce service va améliorer les résultats des étudiants (comparée à des solutions précédentes ou alternatives).

· Efficience, facilité d’utilisation : l’utilisation de ce service permet aux étudiants d’être évalués aussi souvent qu’ils le désirent. La fréquence de son utilisation pourra être comparée à celle des services precedents.

· Disponibilité des enseignants: Les enseignants deviennent plus disponibles pour des activités de haut niveau.

· Acceptation par les étudiants/enseignants: comme ce service est nouveau, il faut étudier dans quelle mesure il pourra être accepté par ses utilisateurs potentiels. Des questionnaires d’opinion sur ce dernier pourront être realisés.

Références:

Graesser, A. C., & Person, N. K. (1994). Question asking during tutoring. American Educational Research Journal, 31, 104-137.

Graesser, A. C., McNamara, D. S., Louwerse, M., & Cai, Z. (2004). Coh-Metrix: Analysis of text on cohesion and language. Behavioral Research Methods, Instruments, and Computers, 36, 193-202.

Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato's problem : the Latent Semantic Analysis theory of acquisition, induction and representation of knowledge. Psychological Review, 104(2), 211-240.

Lemaire, B., Denhière, G., Bellissens, C., & Jhean-Larose, S. (2006). A computational model for simulating text comprehension. Behavior Research Methods, Instruments and Computers, 38(4), 628-637.

Lemaire, B., Mandin, S., Dessus, P., & Denhière, G. (2005). Computational cognitive models of summarization assessment skills. In B. G. Bara, L. Barsalou & M. Bucciarelli (Eds.), Proceedings of the 27th Annual Conference of the Cognitive Science Society (CogSci' 2005) (pp. 1266-1271). Mahwah: Erlbaum.

McNamara, D., & Scott, J. L. (1999). Training reading strategies. In 21th Annual Meeting of the Cognitive Science Society (pp. 387-392). Hillsdale: Erlbaum.

Thibaudeau, V. (2000). 88 clefs pour identifier dans un texte un problème de logique ou d'expression de la pensée [88 keys to identify logical and thought-related problems within a text]. Laval (Canada): Université of Laval.

Wolfe, M. B. W., Schreiner, M. E., Rehder, B., Laham, D., Foltz, P., Kintsch, W., et al. (1998). Learning from text: Matching readers and texts by Latent Semantic Analysis. Discourse Processes, 25(2-3), 309-336.