Linguaggi disciplinari, analisi dei corpora e verifica del vocabolario/Subject lexicons, corpora analyses and vocabulary assessment

The FIRB project “Adaptive Message-Learning” (2009-2014) has had the primary scientific goal of developing a didactic model of individualization which is the adaptation of the «learning message» to the «verbal skills» of the recipient (Vertecchi, 2010). According to Chris Whetton (2011, 32) the general construct underlying the project can be formulated in a very simple way. Each student has a personal vocabulary, which can be measured. This information can be used «to construct individualized learning materials, such that the learning for that person is supported and enhanced». For the group as a whole, in terms of measurement, «this should lead to a reduction in variance of scores and an overall increase in mean of their scores». Within the am-learning model, assessment activities have different times, contents and objectives, which Whetton (2011, 31) leads back to two basic elements: «the initial measurement of learners’ ability to understand, and the final measurement of the outcomes of the learning, measured at the conclusion of the course or module». For the first part, the project has developed a measure of the personal lexicon that uses the cloze test to assess the availability of relevant vocabulary. The initial and continuous assessment of the lexical competence of students, entrusted to the software LexMeter (Agrusti, 2010), is a core element in the am-learning model. It requires on the one hand the lexical analysis of the input to which students are exposed in a given context of formal learning, on the other hand the collection of measures on the reader in relation to the vocabulary of the texts and to the specific language of a subject area. In more detail, software-generated multiple-choice rational-deletion cloze-tests are used to measure the extent to which learners can presently handle relevant vocabulary in discipline specific texts, in order to estimate how effectively they could cope with standard course materials and then use this information for adapting the wording of the study text to the individual student. The validation of the diagnostic assessment of am-learning required specific attention. In am-learning, quantitative analysis of words in a corpus of LSP texts is used for identifying the relevant vocabulary, that is to define by statistical criteria the vocabulary list to take into exam (which words may be deleted from a given text). The assessment of the individual vocabulary, then the automated construction and evaluation of the tests, are based on the frequency of occurrences of the content words in a specific language. In a nutshell, the software: • produces a specific frequency word list through the lexical-statistical analysis of a representative sample of the language of the subject area; • given a text (analogue to the materials of the course), constructs, administers and corrects rational-deletion cloze with multiple choice answers. The function words are excluded from consideration. Once you determine which grammatical classes of words are eligible for deletion (in the case of experiments conducted: noun and adjective), the hidden words must fall within a range of frequencies determined by the author of the test. It provides examinee a text that presents a certain number of gaps, accompanied by a list of alternatives from which he must choose one to reintegrate. The list includes all the hidden words of the original text plus other that might be added by the author of the test. Surveys conducted by national research group has allowed the testing and development of this model within the OrbisDictus environment. In addition, it is possible to establish a system of automatic assessment on different aspects of vocabulary, provided that they can be described with reference to explicit and quantifiable data of the language. In one of the exploratory studies conducted in Reggio Emilia, assessment is related to the stratification of the vocabulary of a specific corpus not in terms of frequency, but peculiarity of use.

Il progetto Firb “Adaptive-Message Learning” (2009-2014) si è posto l’obiettivo scientifico primario di sviluppare un modello didattico di individualizzazione che consiste nell'adattamento del «messaggio di istruzione» alla «competenza verbale» di chi lo riceve (Vertecchi, 2010). Secondo Chris Whetton (2011, 33) il costrutto generale alla base del progetto può essere formulato in modo molto semplice. Ogni studente ha un suo personale lessico, che può essere misurato. Questa informazione può essere utilizzata per costruire materiali di apprendimento individualizzati, tali che l’apprendimento per quella persona sia sostenuto e potenziato. Per il gruppo nel suo insieme, in termini di misurazione «questo dovrebbe comportare una riduzione della varianza dei punteggi e un incremento generale delle medie dei punteggi». All'interno del modello am-learning la valutazione ha tempi, contenuti ed obiettivi diversi che Whetton (2011, 32) riconduce a due elementi fondamentali: «la misurazione iniziale delle abilità del discente di comprendere, e la misurazione finale dei risultati dell'apprendimento, misurati alla fine del corso o del modulo didattico. Per la prima parte, il progetto ha concepito una misura del lessico personale che utilizza i cloze test per valutare la disponibilità di vocabolario rilevante». La valutazione iniziale e continua della competenza lessicale degli studenti, affidata al software LexMeter (Agrusti, 2010), è un elemento centrale nel modello “am-learning”. Essa richiede da un lato l'analisi lessicale dell'input al quale gli studenti sono esposti in un determinato contesto di apprendimento formale, dall'altro la rilevazione di misure sul lettore in relazione al vocabolario dei testi e al linguaggio specifico di un settore disciplinare. Più in dettaglio, prove di cloze di tipo “mirato” con risposte a scelta multipla generate dal software sono utilizzate per misurare fino a che punto gli studenti sappiano attualmente maneggiare il vocabolario rilevante in testi di una specifica disciplina, al fine di stimare quanto efficacemente essi potrebbero affrontare i materiali standard del corso e quindi utilizzare questa informazione per adattare la formulazione del testo di studio per il singolo studente. La validazione della valutazione diagnostica di am-learning ha richiesto particolare attenzione. In am-learning, l'analisi quantitativa delle parole in un corpus di testi di un linguaggio specialistico viene utilizzata per identificare il vocabolario rilevante, cioè per definire con criteri statistici l'elenco delle parole da prendere in esame (quali parole possono essere cancellate da un dato testo). La verifica del vocabolario individuale, quindi la costruzione e la valutazione informatizzata delle prove, sono fondate sulla frequenza di occorrenze delle parole lessicali in un linguaggio specifico. In estrema sintesi, il programma: • produce un lessico di frequenza specifico attraverso l’analisi lessico-statistica di un campione rappresentativo del linguaggio del settore disciplinare; • dato un testo (analogo alle letture curricolari in programma), costruisce, somministra e corregge prove di cloze di tipo mirato con risposte a scelta multipla. Le parole grammaticali sono escluse dall’esame. Una volta stabilito quali classi grammaticali di parole siano eleggibili per la cancellazione (nel caso delle sperimentazioni condotte: nome e aggettivo), le parole nascoste devono ricadere all’interno di un intervallo di frequenze determinato dall’autore della prova. Si fornisce all’esaminato un testo che presenta un determinato numero di lacune, accompagnato da una lista di alternative tra le quali egli deve scegliere quella da reintegrare. La lista comprende tutte le parole del testo originale nascoste più altre eventualmente aggiunte dall’autore della prova. Le indagini condotte dal gruppo di ricerca nazionale hanno consentito la sperimentazione e la messa a punto di questo modello all'interno dell'ambiente OrbisDictus. Inoltre, è possibile fondare un sistema di valutazione automatico su aspetti diversi del vocabolario, purché possano essere descritti con riferimento a dati espliciti e quantificabili del linguaggio. In uno degli studi esplorativi condotti a Reggio Emilia la valutazione è riferita alla stratificazione del vocabolario di un corpus specifico non in termini di frequenza ma di peculiarità dell'uso.