Categoria: risorse

Categorie
esperimenti recensioni risorse

Una startup che supporta la valutazione

Cari lettori,

abbiamo già avuto modo di riflettere più volte su quanto un assistente artificiale possa rendere più efficace e stimolante la nostra attività di valutazione, usualmente percepita come uno dei compiti più noiosi, monotoni e frustranti da parte della categoria professionale degli insegnanti di ogni ordine e grado.

Oggi vado ad esaminare e presentare sinteticamente una startup che cerca di dare risposta a questo bisogno: Graide – AI grading. Increase feedback and save time.

Al nostro arrivo sulla home page veniamo accolti da un chatbot, con questa proposta di interazione:

Ovviamente, chiediamo di saperne di più e ci vengono proposte alcune alternative: una linea di approfondimento sull’integrazione con i sistemi LMS (tra cui spiccano Moodle e Blackboard), una più tecnica sulla disponibilità di API (al momento non disponibile, contrattabile, diciamo, su misura) e una più accademica sulla presenza di casi di studio.

Questa ultima possibilità mi sembra la più interessante da proporvi, perché si lega bene a riflessioni che abbiamo fatto in passato sulla base di esperienze empiriche anche con strumenti gratuiti. Vengono citati tre studi di riferimento: i primi due sono entrambi dell’Università di Birmingham e il terzo di JSC (l’agenzia britannica per il digitale, i dati e la tecnologia che si occupa di istruzione terziaria, ricerca e innovazione, associazione no profit). Vengono pubblicati direttamente sul sito di Graide e non ci sono riferimenti a pubblicazioni scientifiche esterne, il che riduce forse la loro attendibilità ai nostri occhi. Tuttavia, la distribuzione nel tempo (dal 2021 al 2023), ci spinge a considerare con interesse i risultati, che non sembrano frutto di un’esperienza episodica o improvvisata, nata sull’onda dell’entusiasmo e delle “mode” che anche nella pedagogia, come nella tecnologia, si manifestano spesso nel mondo che ci circonda.

Il primo articolo, del novembre 2021, viene sintetizzato così nell’abstract iniziale:

Graide di 6 Bit Education è una piattaforma di valutazione e feedback basata sull’intelligenza artificiale. Impara il modo in cui gli educatori danno il feedback in modo da non dover valutare la stessa risposta due volte. Questa ricerca ha confrontato la valutazione su carta con quella sulla piattaforma Graide per 10 domande con 172 invii per domanda. I tempi medi di valutazione si sono ridotti del 74% e il numero di parole di feedback fornite è aumentato di un fattore di 7,2. Stimiamo che un’università, con 3500 studenti STEM, che utilizza Graide potrebbe risparmiare oltre 240.000 sterline all’anno.

Viene dunque evidenziata un’utilità per i feedback nei corsi universitari, con una forte enfasi sull’aspetto economico e pratico più che su quello metodologico-didattico.

Se volete leggere tutto lo studio, lo trovate qui: University of Birmingham – Graide Efficacy Research

Lo studio del 2022, sempre dell’Università di Birmingham mostra in modo più oggetivo e “data driven” cosa accade utilizzando uno strumento come Graide:

46 membri del personale e assistenti didattici post-laurea hanno utilizzato Graide durante il progetto pilota, 31 hanno partecipato all’indagine e le statistiche principali del progetto pilota sono le seguenti:

  • Quantità media di feedback dato al compito: 55,3 parole

  • Tempo medio impiegato per valutare i compiti: 5,3 minuti

  • 22532 domande classificate nel set di dati.

  • 10197 (45.3%) Domande valutate in 0-14 secondi.

  • 6873 (30.5%) Domande valutate da 0 a 6 secondi

  • 254.620 parole di feedback

  • 20.794 parole di feedback digitate (utilizzo 12,2x)

  • 46 dipendenti hanno utilizzato Graide per contrassegnare il lavoro (31 hanno partecipato all’indagine)

  • Rispetto ai sistemi esistenti:

  • L’80% ritiene che sia più facile dare un feedback coerente

  • Il 71% trova più facile dare un feedback di alta qualità

  • Il 58% afferma che è più facile per gli studenti partecipare e ricevere feedback, il resto afferma che è lo stesso

  • Il 90% lo trova più veloce

  • Graide ha mostrato una riduzione media del 53% dei tempi di valutazione.

  • Il 94% degli utenti desidera continuare a utilizzare Graide.

Anche in questo caso vi indico di seguito il link per chi vuole approfondire: graide.co.uk/case-studies/pdf-grading-univeristy-of-birmingham

La recensione più interessante è comunque quella del 2023, a cura dell’agenzia britannica per il digitale. In questo caso si rimanda anche all’articolo esterno al sito del produttore, proprio sul sito del Centro Nazionale per l’Intelligenza Artificiale: Graide Pilot Overview  – Artificial intelligence (jiscinvolve.org) Il Centro Nazionale per l’Intelligenza Artificiale nell’istruzione terziaria (NCAI) mira ad accelerare l’adozione dell’intelligenza artificiale (AI) nell’istruzione. Attraverso una serie di progetti pilota e di test che permettono ai membri di Jisc di sperimentare direttamente l’implementazione dell’AI, il NCAI può valutare diversi prodotti AI e condividere i loro punti di forza, aiutando i membri a comprendere meglio in quali circostanze gli strumenti AI funzionano bene.

Il test pilota di Graide nel settore dell’istruzione superiore aveva come obiettivo studiare la domanda di strumenti di valutazione AI e verificare se Graide potesse soddisfare tali esigenze. Iniziato a marzo 2022 e concluso a gennaio 2023, il progetto si è svolto in due fasi: nella prima, nove università hanno testato Graide e sono state intervistate per scoprire l’utilità della piattaforma; nella seconda, cinque università hanno sperimentato Graide direttamente.

I feedback rilevati indicano che Graide è particolarmente efficace nell’ambito matematico, grazie a un’interfaccia intuitiva e alla capacità di dare feedback consistente, migliorando anche la coerenza del feedback fornito dai docenti. Tuttavia, Graide si è mostrato meno efficace per domande matematiche più complesse con meno risposte standardizzate e per materie meno quantitative.

Le risposte degli studenti al monitoraggio mostrano un apprezzamento per la rapidità e la qualità del feedback ricevuto tramite Graide, con la maggior parte che desidererebbe continuare ad utilizzarlo.

E se questa sintesi dell’articolo sopra linkato di Tom Moule comincia a mettervi un po’ di curiosità e vi siete persi i miei post precedenti, trovate prove ed esperimenti su www.federicascarrione.info.

A presto!

Federica

Categorie
esperimenti risorse

Orientarsi tra prompt e GPTs

una specie di pulce nell'orecchio...

Cari Lettori,

Per chi ha ChatGPT 4.0 c’è una voce di menu in più nella colonna di sinistra: si tratta di “Explore GPTs”. Questa aggiunta, per quanto limitata a una voce nel menu, vi aprirà un mondo di nuove possibilità. Ho iniziato ad esplorarle da un po’ di tempo e mi permetto di farvi qui una sintesi rapida, che spero vi possa invogliare a fare esperimenti e, magari, a venire a raccontarmeli.

Intanto, cominciamo a fare il punto di ciò che avevamo fatto fin qui nei vari post della categoria “esperimenti”.

Sino ad ora, quanto abbiamo sperimentato comportava una sorta di dialogo da parte nostra con l’intelligenza generativa. Noi formulavamo richieste, ottenevamo risposte, le valutavamo e decidevamo se potevano andarci bene o no. Se non ci andavano bene, con una richiesta ulteriore e più precisa tentavamo di aggiustare il tiro.

La richiesta tecnicamente si chiama prompt. L’interazione tramite prompt è quella più comune e possiamo senza timore dire che ci è molto utile, dentro e fuori da scuola, non solo per il supporto che ci possono dare le risposte, ma anche perché in qualche misura ci costringe ad affinare le nostre capacità di porre correttamente i quesiti, di fare scelte lessicali precise e non equivocabili, di comprende le sfumature del linguaggio e pesare la qualità dei contenuti. Il rapporto tra l’input che diamo e l’output che riceviamo è una sfida che ci può arricchire e può sicuramente migliorare le nostre capacità espressive e critiche. Inoltre, il lavoro organizzato per domanda e risposta è il più veloce e il più pratico nella maggior parte delle esigenze comuni.

Ci sono, tuttavia, casi in cui la nostra cooperazione con l’intelligenza artificiale necessita di punti fermi, di approfondimenti specifici o di una serie di istruzioni ben precisa. Proprio in questi casi ci serve un Generative Pre-trained Transformer (GPT, appunto) personalizzato.

GPT è una famiglia di modelli di intelligenza artificiale sviluppati da OpenAI che sono capaci di generare testo che somiglia a quello scritto dagli esseri umani. Questi modelli sono stati addestrati su vasti dataset di testi esistenti per apprendere le strutture della lingua, stili di scrittura, informazioni su svariati argomenti, e molto altro. Una volta addestrato, un modello GPT può essere utilizzato per creare testi in risposta a prompt specifici, imitando lo stile e il contenuto dei testi su cui è stato addestrato.

Nell’area “Explore GPTs” ci vengono presentati dei GPT pubblici addestrati per scopi specifici: scrittura, produttività, ricerca e analisi, programmazione, scuola e persino una categoria “Lifestyle” che in italiano sarei tentata di tradurre con “Passatempi”, dal momento che include oroscopi, consigli di viaggio, giochi. Appartiene a questa categorie anche DALL-E, la nota intelligenza generativa che produce immagini (anche quelle che trovate in questo sito, ovviamente!).

La cosa veramente affascinante, tuttavia, è che oltre alla scoperta dei GPTs pubblici ci viene offerta la possibilità di creare i nostri GPTs personalizzati.

Il pulsante “Create” in alto a destra ci apre un nuovo mondo, in cui sperimentare un’interazione più costruita e meno condizionata dalla casualità.

Sulla destra ci troviamo un GPT builder che interagisca con noi ancora attraverso prompt, ma attenzione: questa volta no stiamo facendo una domanda, stiamo in un certo senso coprogettando il nostro assistente personalizzato.

Hi! I’ll help you build a new GPT. You can say something like, “make a creative who helps generate visuals for new products” or “make a software engineer who helps format my code.”

What would you like to make?

GPT Builder

Questo se entriamo nella scheda di default “Create”. Se invece clicchiamo su “Configure” possiamo produrre manualmente compilando i vari campi di una maschera.

Il risultato del nostro addestramento è in preview a sinistra e possiamo testarlo in ogni momento con prompt specifici per verificarne il corretto funzionamento.

Oltre a dirgli cosa vogliamo che faccia possiamo e dobbiamo fornirgli materiali ben confezionati e chiari che facciano parte del suo bagaglio di istruzione. Ad esempio, io, come insegnante, gli posso fornire una serie di dispense con dei contenuti, la descrizione dei criteri con cui elaborare una verifica e in seguito insegnargli a creare verifiche relative alle dispense che gli ho allegato. Oppure posso rendere più approfondito l’esame dei testi che hanno prodotto i miei ragazzi, rendendo più efficace e meglio strutturata l’attività di valutazione che nei post precedenti avevo iniziato a sperimentare con dei semplici prompt.

SE l’argomento vi interessa, chiedete: potrei tornare sull’argomento dettagliando meglio come ho svolto queste operazioni e quali risultati ne ho ricavato.

Per ora comincio a mettervi questa piccola pulce nell’orecchio…

Cordialmente,

Federica

Categorie
risorse

Risorse digitali per percorsi sulla legalità

Carissimi,

Oggi ho il piacere di condividere in questo spazio due piccole risorse che ho creato per i miei studenti e per i colleghi che se ne vogliono servire con i loro, nell’ambito dell’attività per il CPL Pavia, cioè il Centro per la Promozione della Legalità, rete di scuole formatasi su un progetto di Regione Lombardia e USR Lombardia a partire dal lontano 2015.

Si tratta di due Escape room, create con Genial.ly , che molti di voi sicuramente conosceranno come strumento versatile e veloce per vivacizzare la didattica con risorse multimediali e interattive.

I due strumenti che offro sono molto flessibili e di proposito non sono studiati per essere esaustivi, ma piuttosto per costituire uno spunto che l’insegnante può gestire in modi diversi.

  1. Modalità guidata, più adatta studenti giovanissimi o in contesti con scarso uso della tecnologia. In questo caso il docente gestisce in modo centralizzato l’escape room proiettandola su lim o digital board e facendo partecipare tutta la classe contemporaneamente, per attivare discussione, annotazioni e ricerca sotto il suo diretto controllo.
  2. Modalità flipped, come strumento preparatorio domestico per una successiva discussione in classe su questi argomenti. Raccomando questo utilizzo solo con classi che abbiano già sperimentato con successo la modalità flipped, perchè studenti non abituati a questa modalità potrebbero essere disorientati dalla varietà di argomenti proposta.
  3. Modalità individuale o a piccoli gruppi in classe, con doppia esecuzione:
    • la presentazione contenente l’escape room andrebbe utilizzata su un dispositivo digitale (personalmente l’ho provata sia con BYOD sia in laboratorio, senza differenze sostanziali), lasciando aperta la possibilità di approfondire attraverso ulteriori ricerche in rete
    • lo studente o il gruppo dovrebbe avere a disposizione un altro supporto, cartaceo o digitale, su cui sviluppare testualmente il contenuto richiesto.

Se l’attività sarà gradita, come spero, aggiungerò presto delle proposte di griglie di valutazione.

Questa escape room riguarda personaggi che si sono distinti nella lotta alla mafia e si conclude con un importante messaggio e un approfondimento sul presidente Mattarella.
Questa escape room serve ad introdurre con gli studenti il tema della Trasparenza nella Pubblica Amministrazione.

Nella speranza di aver realizzato un prodotto utile e interessante, vi auguro buon lavoro. Fatemi sapere qui sotto com’è andata!

Federica