E se facesse il mio lavoro meglio di me?

Cari lettori,

Di fronte a chi racconta meraviglie dell’intelligenza artificiale, chi di noi non lo ha pensato almeno una volta?

Nelle scorse settimane vi ho promesso di raccontarvi qualcuno dei miei esperimenti, ed ora è giunto il momento di mantenere la promessa. Con tanto di nuova categoria dedicata, dove potrete recuperare all’occorrenza tutti post di questo tipo, se vi piacciono.

Il primo spunto mi viene dal libro che sto leggendo (regalo di Natale di una cara amica): Il codice della creatività. Il mistero del pensiero umano al tempo dell’intelligenza artificiale di Marcus Du Sautoy (ISBN-13 ‏ : ‎ 978-8817142038).

Nelle primissime pagine si apre con questa citazione:

È meglio guardarsi dal coltivare delle idee esagerate riguardo alle potenzialità della macchina analitica. Quest’ultima non ha assolutamente nessuna pretesa di originare qualcosa: può fare soltanto ciò che noi gli ordiniamo di compiere.

Ada Lovelace

Il discorso continua con la riflessione, molto attuale, sulla difficoltà di confrontare intelligenza umana e non umana, considerata la difficoltà di definire l’intelligenza umana stessa. E proprio negli anni in cui man mano riusciamo ad acquisire nuove conoscenze sulla mente umana, l’idea di passare dalla programmazione per algoritmi a un tentativo che sia il computer stesso a tracciare dal basso un percorso rischia di generare in noi ulteriori incertezze.

Oggi il codice creato attraverso l’apprendimento delle macchine si sta muovendo in modi sorprendentemente ricchi di intuizione, riuscendo – per esempio – a identificare degli aspetti in precedenza nascosti nelle immagini mediche o investire con scaltrezza sul mercato azionario.

Marcus Du Sautoy

Nella parte dell’anno scolastico in cui si esce dal tunnel dell’immensa correzione di prove, prove di recupero e recuperi dei recuperi, esercizi di consolidamento e chi più ne ha più ne metta, il pensiero che possa esistere una macchina che svolge per noi il lavoro arduo di un confronto oggettivo, sulla base della rispondenza a criteri prefissati, tra elaborati di vari studenti…

Non posso che usare la figura retorica della reticenza per esprimere quel disorientamento, quel misto di speranza (di togliersi il peso di un lavoro onestamente noiosissimo) e di timore (di essere sostituibili in un lavoro di attribuzione di voti che spesso viene purtroppo identificato tout court come la nostra professione) che si è profilato nella parte di me che considero il “docente medio”.

Per fortuna, come sa chi mi conosce personalmente, quella parte di “docente medio” è proprio piccola e debolissima; quindi, ha avuto il sopravvento la curiosità.

Ecco in sintesi i passaggi dell’esperimento:

• ho preso un set di lavori consegnati dai miei studenti in formato digitale, tutti di circa una cartella
• ho copiato e dato in pasto a ChatGPT sia le consegne per l’esercizio, sia la griglia di valutazione e gli ho chiesto se poteva valutare degli elaborati di diversi studenti luce di quelle consegne e quelle griglie
• ottenuta la cortese risposta di questo assistente virtuale (perché, a differenza degli esseri umani, va detto che queste intelligenze artificiali rispondono sempre con grande cortesia e disponibilità) gli ho offerto con un semplice copia e incolla un testo alla volta ottenendo delle risposte sicuramente interessanti, che ho spesso riutilizzato in parte per dare effettivamente il feedback ai miei studenti.

Cosa ha funzionato:

• sicuramente ChatGPT è stato più tenace e affidabile di me nella lettura di testi ripetitivi e molto simili tra loro, restituendo in breve tempo valutazioni che non si distraevano dagli aspetti fondamentali. Io, al contrario, dopo il decimo testo dello stesso tipo tendo a distrarmi, a perdere di obiettività, a focalizzarmi su aspetti secondari che all’inizio non avevo previsto, a scoprire altre cose che andrebbero valorizzate nei testi. Insomma, confesso apertamente che in un pacco di testi difficilmente riesco a mantenere davvero costanti i parametri di valutazione. Questo anche escludendo gli altri tipici elementi confondenti e bias di valutazione a cui noi insegnanti siamo, volenti o nolenti, sottoposti.
• la valutazione di ChatGPT, per quanto un po’ fredda, è sempre improntata ad una relazione costruttiva e incoraggiante e anche su questo noi insegnanti abbiamo qualcosa da imparare. La sua struttura è chiara, i punti di forza e di debolezza sono evidenziati in modo tale da offrire agli studenti la possibilità di autovalutarsi e migliorarsi.

Riporto a titolo di esempio la valutazione di un compito articolato in quattro domande sul contenuto di un sito web (in questo caso avevo fornito anche il contenuto del sito web e elaborato in più passaggi di discussione con il mio assistente virtuale un modello di risposte e di valutazione, domanda per domanda):

La risposta alla prima domanda mostra una buona comprensione dell’impatto dell’ICCS sulle statistiche dei crimini, menzionando la standardizzazione e il confronto dei dati. Tuttavia, non è del tutto chiaro se hai compreso la distinzione tra il periodo prima e dopo l’introduzione dell’ICCS, poiché non vengono forniti esempi specifici delle pratiche precedenti al 2015. La menzione di “consistent punishments” (punizioni consistenti) non è tecnicamente corretta, poiché l’ICCS riguarda la classificazione e la raccolta dei dati, non l’armonizzazione delle pene legali. La seconda e la terza risposta sono ben articolate. La quarta risposta si basa su presupposti e richiede una maggiore aderenza ai dati e alle informazioni fornite dall’UNODC. Avresti potuto esaminare altri possibili motivi per i tassi di criminalità, come la qualità dei dati e la denuncia dei crimini, anziché attribuirli solo all’efficacia delle misure di sicurezza.

ChatGPT 4.0

Per compiti abbastanza strutturati e in classi numerose, il vantaggio per l’insegnante è notevole: per me è stato anche molto utile il dialogo preliminare, che mi ha resa anche più attenta fin dal primo compito ad aspetti critici dei materiali che assegno ai ragazzi da esaminare o ai possibili fraintendimenti o a banalizzazioni che i ragazzi possono fare. Di solito sono aspetti di cui mi rendo conto, con stanchezza, alla fine. Anticiparli nell’analisi preliminare mi ha permesso di vederli con maggiore lucidità e obiettività e così di poterli affrontare meglio in classe.

Ho provato anche a usare questo lavoro preliminare per fornire le indicazioni prima dell’elaborazione del compito da parte dei ragazzi, ma ve lo racconterò un’altra volta.

Cosa non ha funzionato:

• questa procedura semplice ha funzionato bene solo per compiti chiaramente strutturati su materiali ridotti. Quando ho assegnato pdf di più pagine o materiali diversificati non ho ottenuto un risultato soddisfacente, perché il mio assistente virtuale li selezionava un po’ a caso. La soluzione sicuramente c’è e la sto studiando, ma anche questo sarà oggetto di un post specifico.
• ho scoperto che la correzione di un tipo di compito è meglio farla tutta lo stesso giorno, perché il mio assistente virtuale assomiglia a me in una cosa: distribuendo il lavoro in più giorni, rischia di valutare diversamente i lavori. Tutti i bravi insegnanti sanno di avere questo limite e infatti, quando suddividono in più giorni la correzione di prove, dedicano poi un pomeriggio a rivederle di nuovo per bilanciare eventuali effetti di distorsione legati al fatto che un giorno si può essere più o meno generosi, positivi, clementi rispetto a un altro. ChatGPT, per motivi che ignoro e di cui ho discusso ampiamente con mio marito, senza ancora comprenderli fino in fondo, da un giorno all’altro cambia l’impostazione della valutazione e può offrire responsi impostati diversamente. Magari non diversi nel peso e nella sostanza, ma sicuramente nell’impostazione formale; qualche volta, sorprendentemente, anche nell’attenzione ai criteri di valutazione concordati.

Volete provare anche voi? Seguite il mio esempio di attività semplice: non vi porterà via più di un fine settimana e sicuramente l’esperimento vi arricchirà. Fatemi sapere com’è andata, mi raccomando.

Intanto, buon lavoro di correzione e valutazione a tutti.

Federica