Cari lettori,
abbiamo già avuto modo di riflettere più volte su quanto un assistente artificiale possa rendere più efficace e stimolante la nostra attività di valutazione, usualmente percepita come uno dei compiti più noiosi, monotoni e frustranti da parte della categoria professionale degli insegnanti di ogni ordine e grado.
Oggi vado ad esaminare e presentare sinteticamente una startup che cerca di dare risposta a questo bisogno: Graide – AI grading. Increase feedback and save time.
Al nostro arrivo sulla home page veniamo accolti da un chatbot, con questa proposta di interazione:
Ovviamente, chiediamo di saperne di più e ci vengono proposte alcune alternative: una linea di approfondimento sull’integrazione con i sistemi LMS (tra cui spiccano Moodle e Blackboard), una più tecnica sulla disponibilità di API (al momento non disponibile, contrattabile, diciamo, su misura) e una più accademica sulla presenza di casi di studio.
Questa ultima possibilità mi sembra la più interessante da proporvi, perché si lega bene a riflessioni che abbiamo fatto in passato sulla base di esperienze empiriche anche con strumenti gratuiti. Vengono citati tre studi di riferimento: i primi due sono entrambi dell’Università di Birmingham e il terzo di JSC (l’agenzia britannica per il digitale, i dati e la tecnologia che si occupa di istruzione terziaria, ricerca e innovazione, associazione no profit). Vengono pubblicati direttamente sul sito di Graide e non ci sono riferimenti a pubblicazioni scientifiche esterne, il che riduce forse la loro attendibilità ai nostri occhi. Tuttavia, la distribuzione nel tempo (dal 2021 al 2023), ci spinge a considerare con interesse i risultati, che non sembrano frutto di un’esperienza episodica o improvvisata, nata sull’onda dell’entusiasmo e delle “mode” che anche nella pedagogia, come nella tecnologia, si manifestano spesso nel mondo che ci circonda.
Il primo articolo, del novembre 2021, viene sintetizzato così nell’abstract iniziale:
Graide di 6 Bit Education è una piattaforma di valutazione e feedback basata sull’intelligenza artificiale. Impara il modo in cui gli educatori danno il feedback in modo da non dover valutare la stessa risposta due volte. Questa ricerca ha confrontato la valutazione su carta con quella sulla piattaforma Graide per 10 domande con 172 invii per domanda. I tempi medi di valutazione si sono ridotti del 74% e il numero di parole di feedback fornite è aumentato di un fattore di 7,2. Stimiamo che un’università, con 3500 studenti STEM, che utilizza Graide potrebbe risparmiare oltre 240.000 sterline all’anno.
Viene dunque evidenziata un’utilità per i feedback nei corsi universitari, con una forte enfasi sull’aspetto economico e pratico più che su quello metodologico-didattico.
Se volete leggere tutto lo studio, lo trovate qui: University of Birmingham – Graide Efficacy Research
Lo studio del 2022, sempre dell’Università di Birmingham mostra in modo più oggetivo e “data driven” cosa accade utilizzando uno strumento come Graide:
46 membri del personale e assistenti didattici post-laurea hanno utilizzato Graide durante il progetto pilota, 31 hanno partecipato all’indagine e le statistiche principali del progetto pilota sono le seguenti:
Quantità media di feedback dato al compito: 55,3 parole
Tempo medio impiegato per valutare i compiti: 5,3 minuti
22532 domande classificate nel set di dati.
10197 (45.3%) Domande valutate in 0-14 secondi.
6873 (30.5%) Domande valutate da 0 a 6 secondi
254.620 parole di feedback
20.794 parole di feedback digitate (utilizzo 12,2x)
46 dipendenti hanno utilizzato Graide per contrassegnare il lavoro (31 hanno partecipato all’indagine)
Rispetto ai sistemi esistenti:
L’80% ritiene che sia più facile dare un feedback coerente
Il 71% trova più facile dare un feedback di alta qualità
Il 58% afferma che è più facile per gli studenti partecipare e ricevere feedback, il resto afferma che è lo stesso
Il 90% lo trova più veloce
Graide ha mostrato una riduzione media del 53% dei tempi di valutazione.
Il 94% degli utenti desidera continuare a utilizzare Graide.
Anche in questo caso vi indico di seguito il link per chi vuole approfondire: graide.co.uk/case-studies/pdf-grading-univeristy-of-birmingham
La recensione più interessante è comunque quella del 2023, a cura dell’agenzia britannica per il digitale. In questo caso si rimanda anche all’articolo esterno al sito del produttore, proprio sul sito del Centro Nazionale per l’Intelligenza Artificiale: Graide Pilot Overview – Artificial intelligence (jiscinvolve.org) Il Centro Nazionale per l’Intelligenza Artificiale nell’istruzione terziaria (NCAI) mira ad accelerare l’adozione dell’intelligenza artificiale (AI) nell’istruzione. Attraverso una serie di progetti pilota e di test che permettono ai membri di Jisc di sperimentare direttamente l’implementazione dell’AI, il NCAI può valutare diversi prodotti AI e condividere i loro punti di forza, aiutando i membri a comprendere meglio in quali circostanze gli strumenti AI funzionano bene.
Il test pilota di Graide nel settore dell’istruzione superiore aveva come obiettivo studiare la domanda di strumenti di valutazione AI e verificare se Graide potesse soddisfare tali esigenze. Iniziato a marzo 2022 e concluso a gennaio 2023, il progetto si è svolto in due fasi: nella prima, nove università hanno testato Graide e sono state intervistate per scoprire l’utilità della piattaforma; nella seconda, cinque università hanno sperimentato Graide direttamente.
I feedback rilevati indicano che Graide è particolarmente efficace nell’ambito matematico, grazie a un’interfaccia intuitiva e alla capacità di dare feedback consistente, migliorando anche la coerenza del feedback fornito dai docenti. Tuttavia, Graide si è mostrato meno efficace per domande matematiche più complesse con meno risposte standardizzate e per materie meno quantitative.
Le risposte degli studenti al monitoraggio mostrano un apprezzamento per la rapidità e la qualità del feedback ricevuto tramite Graide, con la maggior parte che desidererebbe continuare ad utilizzarlo.
E se questa sintesi dell’articolo sopra linkato di Tom Moule comincia a mettervi un po’ di curiosità e vi siete persi i miei post precedenti, trovate prove ed esperimenti su www.federicascarrione.info.
A presto!
Federica