EC-TEL 2017

We’ll have three pieces of work to be presented in EC-TEL 2017 in Tallinn, Estonia, on 12-15 Sept.

First of all, a demo of ReaderBench, the system I’m working on, in collaboration with Mihai Dascalu, Stefan Trausan-Matu and their team of UPB (Romania), as well as Danielle McNamara (Arizona State Univ.) and Scott Crossley (Georgia State Univ.), with a focus on the textual complexity features of the system.

Secondly, a poster introducing to Semantic Boogle, a Boogle-based game for learning vocabulary which populates the grid with semantically-related words from a given stem (and relying on ReaderBench).

Thirdly, a full paper (written with Laurent Thuez, from the nurse training institute of Annecy-Genevois, France, Mihai Dascalu, and Stefan Trausan-Matu ) aiming at automatically analyzing a set of nurse students case studies. We wondered to what extent some indices from a large series of complexity measures can predict the human assessment of these case studies.

Les élèves de primaire ajustent leur niveau de langage à la thématique des textes qu’ils lisent

Les recherches en sociolinguistique ont montré que le type de langage produit par les individus dépend, entre autres facteurs, du contexte de l’échange. Cet effet est constaté à un niveau macroscopique lorsqu’on distingue de grandes catégories de contextes comme les situations formelles (consultation médicale, entretien d’embauche) et les situations familières (repas en famille, discussion entre amis). Cet effet persiste également au niveau de micro-contextes caractérisant les moments successifs d’une même conversation en fonction de paramètres tels que le thème de l’échange en cours (Patterson, 1992).
Peut-on penser qu’on s’adapte également, lorsqu’on évoque un texte précédemment lu, à sa thématique ? Y-a-t-il un lien entre les productions orales formelles d’élèves de cycle 3 et leur compréhension en lecture ? En effet, la compréhension en lecture passant par la compréhension du langage écrit (qui est un langage formel, ou en tout cas différent du langage oral dans son usage quotidien), nous avons souhaité observer si le niveau de compréhension en lecture et l’habileté à utiliser un langage formel lors de la restitution de textes lus étaient liés.

80 élèves de cycle 3 (25 CE2, 28 CM1 et 27 CM2) âgés de 8 à 11 ans ont passé un test de compréhension obtenu à partir de la lecture silencieuse de deux textes suivis de questions présentées par écrit. De plus, ils devaient rappeler oralement 2 autres textes narratifs : une histoire fantastique et une histoire de la vie quotidienne. Après avoir lu les textes à voix haute, il était demandé aux élèves de les rappeler oralement. L’histoire fantastique racontait l’histoire d’une jeune Dieu qui, pour empêcher la sécheresse sur la Terre, a dû aller combattre dans le ciel un serpent qui buvait toute l’eau des nuages. L’histoire de la vie quotidienne racontait l’histoire d’une famille qui, pendant le repas, entendait des bruits bizarres dans la maison. Ces épreuves ont été réalisées dans le cadre du projet ANR DEVCOMP.
Ces deux textes ont été analysés de manière automatique avec le logiciel Readerbench (voir l’article ReaderBench : un outil pour évaluer la complexité de textes et identifier les stratégies de lecture) qui permet notamment une analyse multidimensionnelle de la complexité textuelle à partir de plus d’une centaine d’indicateurs de différents niveaux : analyse des facteurs de surface, des aspects lexicaux, morphologiques syntaxiques et sémantiques. Pour déterminer la complexité des textes, ReaderBench s’appuie sur un corpus d’entraînement composé d’ouvrages de littérature jeunesse et de manuels scolaires des différents niveaux de l’école élémentaire. Les deux textes sont de complexité équivalente et correspondent à un niveau CE2 selon le logiciel.
Afin de déterminer la formalité des rappels oraux, nous avons analysé deux indicateurs :
• une variable sociolinguistique : la réalisation optionnelle du /l/ dans le pronom clitique “il(s)” puisque des travaux ont montré que les adultes et les enfants le réalisent davantage en situation formelle (Armstrong, 1996 ; Chabanal, 2003). À partir du comptage du nombre d’occurrences de /l/ réalisées et non réalisées, nous avons calculé un pourcentage d’usage de la variante formelle, c’est-à-dire lorsque le segment consonantique est réalisé.
• un indicateur linguistique : le nombre moyen de types, indicateur de complexité discursive, qui évalue le nombre moyen de mots différents produits. Cette analyse a été effectuée automatiquement avec ReaderBench.
Le type de texte influe sur le caractère formel du rappel oral
Les élèves de cycle 3 produisent deux fois plus de variantes formelles de la variable /l/ dans le pronom clitique “il(s)” lors du rappel de l’histoire fantastique que lors du rappel de l’histoire de la vie quotidienne. Ce pattern s’observe dans chaque niveau scolaire bien que la différence ne soit pas significative en CE2. Elle l’est toutefois en CM1 et en CM2 avec des tailles d’effet très importantes. En ce qui concerne l’indicateur de complexité discursive (le nb moyen de types), on relève également un effet fort du texte (plus de types lors du rappel de l’histoire fantastique que lors de celui de l’histoire de la vie quotidienne), significatif dans chaque niveau scolaire.
Le niveau de compréhension en lecture prédit la formalité des productions orales des élèves pour des textes de la vie quotidienne
Afin de déterminer les facteurs permettant d’expliquer la variabilité de la formalité des productions orales lors du rappel des textes, nous avons mis en œuvre des régressions hiérarchiques avec nos indicateurs de formalité en variable dépendante (VD) et en facteurs, le type de texte, le score de compréhension et l’interaction texte*score de compréhension.
Ce modèle à 3 facteurs explique 27,5% de la variance des % de /l/ dans “il(s)” réalisés. On y retrouve un fort pouvoir prédictif du texte lu avant le rappel qui rend compte de 21% de la variance. Quant au facteur score de compréhension et à l’interaction texte*score de compréhension, ils rendent compte respectivement de 2,6% et 3,4% de la variance des scores de la VD. Le graphe de régression présenté en Figure 1 illustre les résultats du modèle.

Figure 1. Graphe de régression : VD = % de /l/ dans “il(s)” réalisés.
La courbe rouge montre que, pour l’histoire de la vie quotidienne, plus le score de compréhension augmente, plus les % de /l/ dans “il(s)” réalisés diminuent dans le rappel du texte. Pour l’histoire fantastique (courbe mauve), ce n’est pas le cas : les % de /l/ dans “il(s)” réalisés restent relativement stables quel que soit le niveau de compréhension.
Finalement, le niveau de compréhension est peu lié aux usages formels quand le contenu thématique du texte est peu familier des élèves ce qui est le cas avec l’histoire fantastique qui est un récit de fiction dans lequel les actions décrites ne font pas partie du quotidien des enfants. Toutefois, dès lors que le texte relate des scènes de la vie quotidienne, il apparait que les meilleurs compreneurs ajustent leurs usages de la variable sociolinguistique à la situation rappelée en produisant moins de variantes formelles.
Des travaux, menés chez l’adulte et l’enfant, ont montré que la fréquence d’usage de la variante formelle de la variable /l/ dans “il(s)” était plus importante en situation formelle qu’en situation informelle. Dans notre étude, la situation est la même pour tous les élèves et peut être qualifiée de “plutôt formelle“ puisqu’il s’agissait d’une passation individuelle dans l’enceinte scolaire avec un adulte inconnu. Nos résultats, par rapport aux travaux antérieurs, montrent qu’à situation de formalité identique, les meilleurs compreneurs adaptent leur usage de la variable en fonction de la thématique du texte rappelé.
Information supplémentaire
Cette recherche fait suite à une collaboration entamée dans le cadre du projet ANR DEVCOMP (ANR-10-BLAN-1907, coordonné par Maryse Bianco, Laboratoire des Sciences de l’Éducation, Univ. Grenoble Alpes) et s’est déroulée dans le cadre d’un projet financé par le Pôle Grenoble Cognition (AAP 2014) réunissant des chercheurs du Laboratoire des Sciences de l’Éducation, du LIDILEM (Univ. Grenoble Alpes) et du département d’informatique de l’École Polytechnique de Bucarest.
Ce billet est similaire à un billet du PGC décrit ici.
Elle a fait l’objet d’une communication orale : Nardy, A., Bianco, M., Dessus, P., Buson, L., Dascalu M, Trausan-Matu, S., Mout, T. (2015). Compréhension en lecture et productions orales formelles chez des élèves de cycle 3. Sixième Colloque International de l’Association Française de Linguistique Cognitive (AFLiCo VI) : Langage, Cognition et Société, 26-28 mai 2015, Grenoble. [Présentation]
Contact : Aurélie NARDY, LIDILEM & Laboratoire des Sciences de l’Éducation, Univ. Grenoble Alpes Courriel : aurelie.nardy(@)univ-grenoble-alpes.fr

Présentation de ReaderBench à BeyondLab

Jeudi 4 février 2016, j’ai réalisé une courte présentation à propos de ReaderBench, le logiciel d’analyse textuelle sur lequel je travaille, principalement avec mes collègues Mihai Dascalu et Stefan Trausan-Matu.

Cette présentation était organisée par BeyondLab, une association dont le but et de mettre en relation chercheurs et entrepreneurs, et de faire de la veille technologique. Trois autres conférenciers intervenaient :

La suite de la manifestation était de réunir, par groupes, les personnes intéressées par chaque projet. Nous avons discuté une heure à préciser les besoins de notre logiciel, en termes de corpus, de temps machine, mais aussi quelques applications possibles (MOOC, classe inversée). Nous avons fini par quelques considérations éthiques (ne pas aller trop loin à tracer l’activité des élèves et de l’enseignant).
Etienne Giorgetti, “illustrateur de concepts”, a intelligemment dessiné le fonctionnement de ReadeBench ci-dessous. Merci à lui.

width= »128″ height= »128″>

Site de l’événement

[Diaporama]