Atelier MOOT à la Conférence EPAL

Jeudi 7 juin dernier, dans un atelier du colloque EPAL 2018 à Grenoble, j’ai présenté, avec Émilie Besse, la manière dont nous avons déployé, à l’Espé de Grenoble, les MOOT (Massive Open Online Textbooks), en présence d’une dizaine de collègues, qui ont pu ensuite s’essayer à ébaucher en RestructuredText et Sphinx un contenu pédagogique de leur choix, pendant environ 1 h. Ce travail est réalisé dans le cadre du projet ReFlexPro. L’intérêt, malgré la difficulté des systèmes, a été manifeste.
[Matériel pédagogique]

Talk in Eye Movements Workshop, Grenoble

This last Friday (June, 8th) I presented at the Grenoble Workshop on Models and Analysis of Eye Movements our framework for a Multimodal Analysis of Teaching Centered on Shared Attention and Knowledge Access, co-authored with Louise Héléna Aubineau, Dominique Vaufreydaz, and Jim Crowley. The abstract is below, and there are the [Slides].

The effects of teaching on learning are mostly uncertain, hidden, and not immediate. Research investigating how teaching can have an impact on learning has recently been given a significant boost with signal processing devices and data mining analyses. We devised a framework for the study of teaching and learning processes which posits that lessons are composed of episodes of joint attention and access to the taught content, and that the interplay of behaviors like joint attention, actional contingency, and feedback loops compose different levels of teaching. Teaching by social tolerance, which occurs when learners (Ls) have no attentional problems but their access to the taught knowledge depends on the teacher (T). Teaching by opportunity provisioning, when Ls can be aware on the taught content but lack access to it (e.g., lack of understanding), and T builds ad hoc situations in which Ls are provided with easier content. Teaching by stimulus or local enhancement, when Ls have fully access to the content but lack attention toward it. T explicitly shows content to Ls, slows down her behaviors, tells and acts in an adapted way (e.g., motherese). A variety of devices installed in a classroom will capture and automatically characterize these events. T’s and Ls’ utterances and gazes will be recorded through low-cost cameras installed on 3D printed glasses, and T will wear a mobile eye tracker and a mobile microphone. Instructional material is equipped with qrcodes so that Ls’ and T’s video streams are processed to determine where people are looking at, and to infer the corresponding teaching levels. This novel framework will be used to analyze instructional events in ecological situations, and will be a first step to build a ?pervasive classroom?, where eye-tracking and sensor-based devices analyze a wide range of events in a multimodal and interdisciplinary way.

EC-TEL 2017

We’ll have three pieces of work to be presented in EC-TEL 2017 in Tallinn, Estonia, on 12-15 Sept.

First of all, a demo of ReaderBench, the system I’m working on, in collaboration with Mihai Dascalu, Stefan Trausan-Matu and their team of UPB (Romania), as well as Danielle McNamara (Arizona State Univ.) and Scott Crossley (Georgia State Univ.), with a focus on the textual complexity features of the system.

Secondly, a poster introducing to Semantic Boogle, a Boogle-based game for learning vocabulary which populates the grid with semantically-related words from a given stem (and relying on ReaderBench).

Thirdly, a full paper (written with Laurent Thuez, from the nurse training institute of Annecy-Genevois, France, Mihai Dascalu, and Stefan Trausan-Matu ) aiming at automatically analyzing a set of nurse students case studies. We wondered to what extent some indices from a large series of complexity measures can predict the human assessment of these case studies.

“Regarde-les tous” : Analyse de la supervision visuelle d’enseignants en classe

Le 15 février dernier j’ai mené un cours par visioconférence pour le Master IME (Ingénierie des médias pour l’éducation) de l’univ. de Poitiers.
J’y ai présenté notre recherche (réalisée avec Olivier Cosnefroy & Vanda Luengo) sur l’analyse de la supervision visuelle d’enseignants d’école élémentaire. [Diapositives]

Orphée Rendez-Vous 2017

Grands défis sur l’évaluation formative

J’ai passé 3 jours à Font-Romeu dans le cadre des ORPHEE Rendez-Vous du lundi 30 janvier au mercredi 2 février.
L’objectif de l’atelier auquel j’ai assisté, animé par Franck Silvestre (IRIT, Univ. Paul-Sabatier, Toulouse), avait pour thème l’évaluation formative en classe ou en amphithéâtre

J’y ai présenté un travail réalisé dans le cadre du projet IDEFI-ANR ReflexPro (en coll. avec Gabriel Gutu, Mihai Dascalu, Jean Baptiste Diouf & Stefan Trausan-Matu), visant à concevoir des manuels ouverts, online, et promouvant l’apprentissage autorégulé, intégrant un cours classique et divers outils de présentation et d’évaluation du contenu (carte de concepts, évaluation de résumés de cours et de stratégies de compréhension). Lien vers l’article de positionnement
L’atelier a surtout été l’occasion de formuler un “grands défi” sur le thème de l’évaluation formative. Mais aussi d’écouter et discuter avec des grands témoins tels que Fridolin Wild, Ralph Klamma, Catherine Maillet et Lone Dirckinck. Les présentations des “grands témoins” :

Conférences expérimentations et usages numériques

Du 7 au 9 décembre 2016 s’est tenue à l’Espé de Grenoble la 3e édition du stage “Expérimentations et usages numériques”, à destination des médiateurs du numérique des ateliers Canopé, co-organisée avec Sébastien Jolivet. Descriptif plus complet de la formation disponible dans un ancien billet : Formation “Usages Numériques et expérimentations”.

Cette édition a été l’occasion d’inviter les trois conférenciers suivants :
Isabelle Girault, LIG-MeTAH, Univ. Grenoble Alpes qui a présenté trois environnements informatiques utilisés lors de démarches expérimentales au lycée et à l’université (Copex-chimie, LabBook et TitrAB), elle a illustré l’apport de la recherche dans la conception de ces environnements par des enseignants-chercheurs du laboratoire LIG (équipe MeTAH), en collaboration avec des enseignants de terrain.
Catherine Bonnat, LIG-MeTAH, Univ. Grenoble Alpes, a présenté les différentes étapes de l’expérimentation c’est-à-dire, de la conception à la réalisation. Cette expérimentation a été réalisée dans 5 classes de terminales de spécialité SVT afin de tester l’efficacité de la prise en charge par une plate forme informatique, LabBook, de difficultés identifiées a priori pour la conception d’un protocole expérimental sur la mise en évidence de la fermentation alcoolique. Elle a présenté les apports de la recherche dans la modélisation de la situation, puis a développé le plan expérimental initialement prévu qui prend en compte les contraintes liées à l’expérimentation en classe.

Thierry Soubrié, a questionné l’idée que la forme scolaire serait incompatible avec le numérique, à partir de l’analyse d’un corpus d’échanges recueilli dans une formation professionnalisante à distance de niveau master. Les étudiants, enseignants novices ou en activité, devaient se prononcer dans un forum de discussion sur l’incompatibilité supposée entre culture scolaire et numérique. Il a montré, après avoir proposé une définition de la forme scolaire, que dans la majeure partie des cas il n’existe pas pour les personnes en formation de contre-indication à l’intégration du numérique, tout du moins lorsque ce dernier vient renforcer la forme scolaire. Dans le cas contraire, les contradictions qui apparaissent sont parfois l’occasion de formuler des propositions qui visent, de manière plus ou moins marquée, à dépasser la forme scolaire.

Teacher’s Sensitivity towards pupils: a Mobile Eye Tracking Study

Just presented, yesterday the 14th of September, at EC-TEL conf. (in Lyon), a study aiming at investigating which cues teachers detect and process from their students during instruction. This information capturing process depends on teachers’ sensitivity, or awareness, to students’ needs, which has been recognized as crucial for classroom management.

We recorded the gaze behaviors of two pre-service teachers and two experienced teachers during a whole math lesson in primary classrooms. Thanks to a simple Learning Analytics interface, the data analysis reports, firstly, which were the most often tracked students, in relation with their classroom behavior and performance; secondly, which relationships exist between teachers’ attentional frequency distribution and lability, and the overall classroom climate they promote, measured by the Classroom Assessment Scoring System. Results show that participants’ gaze patterns are mainly related to their experience. Learning Analytics use cases are eventually presented, enabling researchers or teacher trainers to further explore the eye-tracking data.
The co-authors of this study are: Olivier Cosnefroy, LSE, Univ. Grenoble Alpes & Vanda Luengo, LIP6, UPMC, Paris.
The full paper is available here.

Les élèves de primaire ajustent leur niveau de langage à la thématique des textes qu’ils lisent

Les recherches en sociolinguistique ont montré que le type de langage produit par les individus dépend, entre autres facteurs, du contexte de l’échange. Cet effet est constaté à un niveau macroscopique lorsqu’on distingue de grandes catégories de contextes comme les situations formelles (consultation médicale, entretien d’embauche) et les situations familières (repas en famille, discussion entre amis). Cet effet persiste également au niveau de micro-contextes caractérisant les moments successifs d’une même conversation en fonction de paramètres tels que le thème de l’échange en cours (Patterson, 1992).
Peut-on penser qu’on s’adapte également, lorsqu’on évoque un texte précédemment lu, à sa thématique ? Y-a-t-il un lien entre les productions orales formelles d’élèves de cycle 3 et leur compréhension en lecture ? En effet, la compréhension en lecture passant par la compréhension du langage écrit (qui est un langage formel, ou en tout cas différent du langage oral dans son usage quotidien), nous avons souhaité observer si le niveau de compréhension en lecture et l’habileté à utiliser un langage formel lors de la restitution de textes lus étaient liés.

80 élèves de cycle 3 (25 CE2, 28 CM1 et 27 CM2) âgés de 8 à 11 ans ont passé un test de compréhension obtenu à partir de la lecture silencieuse de deux textes suivis de questions présentées par écrit. De plus, ils devaient rappeler oralement 2 autres textes narratifs : une histoire fantastique et une histoire de la vie quotidienne. Après avoir lu les textes à voix haute, il était demandé aux élèves de les rappeler oralement. L’histoire fantastique racontait l’histoire d’une jeune Dieu qui, pour empêcher la sécheresse sur la Terre, a dû aller combattre dans le ciel un serpent qui buvait toute l’eau des nuages. L’histoire de la vie quotidienne racontait l’histoire d’une famille qui, pendant le repas, entendait des bruits bizarres dans la maison. Ces épreuves ont été réalisées dans le cadre du projet ANR DEVCOMP.
Ces deux textes ont été analysés de manière automatique avec le logiciel Readerbench (voir l’article ReaderBench : un outil pour évaluer la complexité de textes et identifier les stratégies de lecture) qui permet notamment une analyse multidimensionnelle de la complexité textuelle à partir de plus d’une centaine d’indicateurs de différents niveaux : analyse des facteurs de surface, des aspects lexicaux, morphologiques syntaxiques et sémantiques. Pour déterminer la complexité des textes, ReaderBench s’appuie sur un corpus d’entraînement composé d’ouvrages de littérature jeunesse et de manuels scolaires des différents niveaux de l’école élémentaire. Les deux textes sont de complexité équivalente et correspondent à un niveau CE2 selon le logiciel.
Afin de déterminer la formalité des rappels oraux, nous avons analysé deux indicateurs :
• une variable sociolinguistique : la réalisation optionnelle du /l/ dans le pronom clitique “il(s)” puisque des travaux ont montré que les adultes et les enfants le réalisent davantage en situation formelle (Armstrong, 1996 ; Chabanal, 2003). À partir du comptage du nombre d’occurrences de /l/ réalisées et non réalisées, nous avons calculé un pourcentage d’usage de la variante formelle, c’est-à-dire lorsque le segment consonantique est réalisé.
• un indicateur linguistique : le nombre moyen de types, indicateur de complexité discursive, qui évalue le nombre moyen de mots différents produits. Cette analyse a été effectuée automatiquement avec ReaderBench.
Le type de texte influe sur le caractère formel du rappel oral
Les élèves de cycle 3 produisent deux fois plus de variantes formelles de la variable /l/ dans le pronom clitique “il(s)” lors du rappel de l’histoire fantastique que lors du rappel de l’histoire de la vie quotidienne. Ce pattern s’observe dans chaque niveau scolaire bien que la différence ne soit pas significative en CE2. Elle l’est toutefois en CM1 et en CM2 avec des tailles d’effet très importantes. En ce qui concerne l’indicateur de complexité discursive (le nb moyen de types), on relève également un effet fort du texte (plus de types lors du rappel de l’histoire fantastique que lors de celui de l’histoire de la vie quotidienne), significatif dans chaque niveau scolaire.
Le niveau de compréhension en lecture prédit la formalité des productions orales des élèves pour des textes de la vie quotidienne
Afin de déterminer les facteurs permettant d’expliquer la variabilité de la formalité des productions orales lors du rappel des textes, nous avons mis en œuvre des régressions hiérarchiques avec nos indicateurs de formalité en variable dépendante (VD) et en facteurs, le type de texte, le score de compréhension et l’interaction texte*score de compréhension.
Ce modèle à 3 facteurs explique 27,5% de la variance des % de /l/ dans “il(s)” réalisés. On y retrouve un fort pouvoir prédictif du texte lu avant le rappel qui rend compte de 21% de la variance. Quant au facteur score de compréhension et à l’interaction texte*score de compréhension, ils rendent compte respectivement de 2,6% et 3,4% de la variance des scores de la VD. Le graphe de régression présenté en Figure 1 illustre les résultats du modèle.

Figure 1. Graphe de régression : VD = % de /l/ dans “il(s)” réalisés.
La courbe rouge montre que, pour l’histoire de la vie quotidienne, plus le score de compréhension augmente, plus les % de /l/ dans “il(s)” réalisés diminuent dans le rappel du texte. Pour l’histoire fantastique (courbe mauve), ce n’est pas le cas : les % de /l/ dans “il(s)” réalisés restent relativement stables quel que soit le niveau de compréhension.
Finalement, le niveau de compréhension est peu lié aux usages formels quand le contenu thématique du texte est peu familier des élèves ce qui est le cas avec l’histoire fantastique qui est un récit de fiction dans lequel les actions décrites ne font pas partie du quotidien des enfants. Toutefois, dès lors que le texte relate des scènes de la vie quotidienne, il apparait que les meilleurs compreneurs ajustent leurs usages de la variable sociolinguistique à la situation rappelée en produisant moins de variantes formelles.
Des travaux, menés chez l’adulte et l’enfant, ont montré que la fréquence d’usage de la variante formelle de la variable /l/ dans “il(s)” était plus importante en situation formelle qu’en situation informelle. Dans notre étude, la situation est la même pour tous les élèves et peut être qualifiée de “plutôt formelle“ puisqu’il s’agissait d’une passation individuelle dans l’enceinte scolaire avec un adulte inconnu. Nos résultats, par rapport aux travaux antérieurs, montrent qu’à situation de formalité identique, les meilleurs compreneurs adaptent leur usage de la variable en fonction de la thématique du texte rappelé.
Information supplémentaire
Cette recherche fait suite à une collaboration entamée dans le cadre du projet ANR DEVCOMP (ANR-10-BLAN-1907, coordonné par Maryse Bianco, Laboratoire des Sciences de l’Éducation, Univ. Grenoble Alpes) et s’est déroulée dans le cadre d’un projet financé par le Pôle Grenoble Cognition (AAP 2014) réunissant des chercheurs du Laboratoire des Sciences de l’Éducation, du LIDILEM (Univ. Grenoble Alpes) et du département d’informatique de l’École Polytechnique de Bucarest.
Ce billet est similaire à un billet du PGC décrit ici.
Elle a fait l’objet d’une communication orale : Nardy, A., Bianco, M., Dessus, P., Buson, L., Dascalu M, Trausan-Matu, S., Mout, T. (2015). Compréhension en lecture et productions orales formelles chez des élèves de cycle 3. Sixième Colloque International de l’Association Française de Linguistique Cognitive (AFLiCo VI) : Langage, Cognition et Société, 26-28 mai 2015, Grenoble. [Présentation]
Contact : Aurélie NARDY, LIDILEM & Laboratoire des Sciences de l’Éducation, Univ. Grenoble Alpes Courriel : aurelie.nardy(@)univ-grenoble-alpes.fr

Présentation de ReaderBench à BeyondLab

Jeudi 4 février 2016, j’ai réalisé une courte présentation à propos de ReaderBench, le logiciel d’analyse textuelle sur lequel je travaille, principalement avec mes collègues Mihai Dascalu et Stefan Trausan-Matu.

Cette présentation était organisée par BeyondLab, une association dont le but et de mettre en relation chercheurs et entrepreneurs, et de faire de la veille technologique. Trois autres conférenciers intervenaient :

La suite de la manifestation était de réunir, par groupes, les personnes intéressées par chaque projet. Nous avons discuté une heure à préciser les besoins de notre logiciel, en termes de corpus, de temps machine, mais aussi quelques applications possibles (MOOC, classe inversée). Nous avons fini par quelques considérations éthiques (ne pas aller trop loin à tracer l’activité des élèves et de l’enseignant).
Etienne Giorgetti, “illustrateur de concepts”, a intelligemment dessiné le fonctionnement de ReadeBench ci-dessous. Merci à lui.

width= »128″ height= »128″>

Site de l’événement

[Diaporama]

Présentation de ReaderBench

Présentation ce jour, dans un séminaire de mon laboratoire, de ReaderBench, un outil d’analyse automatique de paramètres textuels liés à la compréhension, conçu en collaboration avec l’équipe de Stefan Trausan-Matu et Mihai Dascalu, univ. ‘Polytehnica’ de Bucarest, Roumanie.
Diapositives ici.
Plus d’informations en français : Article dans la Revue Adjectif.