The ChatGPT storm and education: 5 key takeaways

di Enrico Nardelli

(versione italiana here)

In recent months, the world of education, particularly among teachers, has been in a state of upheaval. It's all because of generative artificial intelligence tools (which I'll refer to as GenAI for short), the most famous of which is ChatGPT. So, why is this happening? To begin with, GenAI tools are objectively able to produce content — whether it's text, images, or many other cognitive products typically created by humans — that is often indistinguishable from what a person would make. These tools, which Stefano Quintarelli aptly defines as just SALAMI (Systematic Approaches to Learning Algorithms and Machine Inferences), are mistakenly perceived by the general public as truly intelligent entities. This is due to a typical human tendency to project meaning onto things and see significance everywhere.

On top of this, enormous commercial interests are at stake. Billions of dollars are being invested annually in a race to capture market shares that are projected to be worth at least a thousand times more. This relentless drive pushes the media to constantly describe scenarios that swing from the fantastic (we'll solve all of humanity's problems) to the apocalyptic (we'll all lose our jobs). However, these narratives always aim to create a sense of inevitability: there is no alternative! And, since the most effective way to convince someone to use a product is to get them accustomed to it from an early age, the education sector has become the primary target of this pressure.

Moreover, GenAI tools are now fully integrated into the technological appendage we all carry around — our smartphones — and so, whether we like it or not, everyone ends up using them. "It's inevitable!" is the constant refrain. The term "innovative" is then used as a catch-all to convince those who are not experts, completely ignoring the potential long-term consequences. We just have to remember how, over the past two decades, we have let even very young children use digital devices without any real oversight. We have since realized that this created some serious problems, as documented in the final report from June 2021 by the Senate's Public Education and Cultural Heritage Commission. The report, part of a fact-finding investigation into "The Impact of Digital Technology on Students, with a Particular Focus on Learning Processes", highlighted significant issues.

Now, if we just focus on text-based GenAI tools — those that produce written responses to a request (e.g., "What were the key events of the Punic Wars?", "Write a 20-line summary of War and Peace", or "Describe the process of plant pollination") — the immediate consequence for schools is that one of the most traditional methods of assessing skills, homework, becomes completely ineffective. It's a no-brainer that students will use GenAI to do their assignments, unless schools enforce a prohibitive atmosphere, which in any case would only work for a short while.

The solution, however, is not to invent improbable ways for students to use these tools anyway. Later on, I will discuss five key problems with such an approach. The real answer is to place greater value on oral interaction and in-person relationships. This means less homework and more in-class work, which in turn requires smaller class sizes and more teachers. Of course, this costs money, but a country's future hinges on its education system. This kind of approach also restores the value of the relational aspect of the teacher-student bond. We know — at least since Plato's analysis in his Dialogues — that the emotional component of the educational relationship between a didàskalos and a mathetés, a master and a student, is a fundamental aspect of paideia, the ethical and spiritual growth of the disciple. While technology can enrich this component if used appropriately, it can never, ever replace it. To do so would impoverish and destroy our humanity.

Still, some people argue: "Let's turn the availability of GenAI into an opportunity for students to learn better. We should have them experiment with these technologies, since they'll have to use them as adults anyway." This approach, however, has some very important critical points that are worth examining.

1) These tools still under development, which often produce responses that seem correct but are inaccurate. Only if we are already well-versed in the subject on which GAI has generated a text can we spot what is wrong. Since the acquisition of knowledge is a fundamental part of education, especially for younger students, it makes no sense to risk them learning incorrect information (or worse, information distorted by prejudice or stereotypes).

2) These tools are controlled by the usual Big Tech companies, and there is a complete lack of oversight on how they were developed and how they work, what data was used for their training, and what security tests have been conducted. For every potentially harmful technology, societies have introduced regulations. In this case, the European Union is attempting to do so with the so-called "AI Act," for which a political agreement was recently announced, although the details remain unknown. In the meantime, however, the use of these tools is being encouraged as much as possible, regardless of the potential risks. A major problem erupted in the last days of 2023, with the news that The New York Times, one of the world's best-known and most reputable newspapers, has sued OpenAI and Microsoft for allegedly training their GenAI tools on its articles without authorization. Other lawsuits are expected soon, particularly concerning visual GenAI tools, those that can produce images and videos, since several users on X (formerly Twitter) have pointed out that such tools can produce copyrighted material even when the user’s prompt is phrased in a completely generic way.

3) Using tools that are still in development means we are essentially working for free for the companies that are building them, and who might one day sell them back to us. In other words, we are once again making the same mistake we made when we mindlessly embraced intrusive and abusive social platforms that collected massive amounts of data about us and now use it for commercial gain. And what did we get in return? When I hear people say that we need to train teachers in how to phrase questions to GAI systems so they can get the help they need (a practice known as "prompt engineering"), I shudder. Do we really want to turn teachers into free labor for Big Tech?

4) Even if GenAI tools always provided correct answers (which they do not), using them in the lower grades risks more than just our children acquiring false knowledge. It could also cripple their cognitive development because they would no longer be practicing essential skills. The ability to summarize texts, argue a position, and present a point of view are fundamental skills for any citizen. If students do not practice them in school, they will never acquire them. It is like if we only ever travel by car and never walk or bike: our physical abilities would weaken. Furthermore, while studying from books trains us to consider a variety of viewpoints and ways of presenting a topic, relying on very few sources of knowledge creates a strong risk of social indoctrination, especially in the humanities.

5) I find it astonishing how much of a contrast there is between the constant encouragement to use these tools and the complete lack of a serious ethical evaluation of involving minors in what are still experimental technologies. For any other experiment involving children, ethical approval is — rightfully — required, yet in this case, there's nothing? For a recent research project in elementary schools that compared two methods for teaching a fundamental informatics concept, my colleagues and I had to get approval from an ethics committee. Yet now I see people urging minors to use GenAI without any consideration of these issues, or of privacy concerns. Can you imagine if the Wright brothers had started flying people on their airplanes in the early 1900s while they were still being developed?

Some argue: “There’s no alternative, GenAI is here, and it’s part of our lives.”. While it is true that it is already a part of our lives, there is no absolute need to use it in the classroom. This does not mean we should not talk about it or pretend it does not exist. Collective use in the classroom, under a teacher's guidance and control, along with a critical discussion (at a level appropriate for the children's age), provides useful information about a technology they are bound to encounter. But at the current stage of the technology, students do not truly need to be using these tools regularly. For teachers, some uses are possible, as I described in a recent article. But extreme caution is necessary given the experimental nature of these tools and the risks associated with the handling of minors' personal data. In this regard, I would be interested to know if the Italian Data Protection Authority has assessed whether the encouragement for teachers to use these tools to improve their teaching by personalizing it for individual students might jeopardize the privacy of those students.

To be even clearer, in a context where we teach the scientific foundations of informatics in schools, there is certainly a place for teaching the principles of artificial intelligence, which is a very important field of informatic itself. However, teaching what machine learning, the core technique behind GenAI, is to someone who does not know what an automaton or an algorithm is, is like trying to explain trigonometry to someone who only knows the four basic arithmetic operations. You can, of course, explain that trigonometry allows you to measure the distance between two trees on opposite sides of a river without crossing it, but without a solid mathematical foundation, that amounts to nothing more than popular science. Useful, certainly, for a citizen who has little time to study but still needs to stay informed on scientific and technological advancements. In school, however, we should provide the scientific foundations needed to understand the world around us, both the natural one and the one we have artificially built, which is increasingly digital.

Rethinking the entire school curriculum in light of the transition from an industrial to a digital society is a necessary step, and it is far, far more important than chasing technological fads by training students and teachers to use GenAI tools.

--
The italian version has been first published by "StartMAG" on 4 january 2024.

Il ciclone ChatGPT e la scuola: 5 punti chiave

di Enrico Nardelli

(english version here)

In questi mesi nel mondo della scuola c’è un enorme subbuglio – soprattutto tra i docenti, a causa degli strumenti di intelligenza artificiale generativa (che nel seguito chiamerò, per brevità, IAG), di cui il più noto è ChatGPT. Come mai sta accadendo questo? Per cominciare, gli strumenti di IAG sono oggettivamente in grado di esibire prestazioni (nella produzione di testi, ma anche di immagini, e di molti altri prodotti cognitivi tipicamente realizzati dagli esseri umani) che in molti casi non sono distinguibili da quelle delle persone. Quindi, quelli che nella bella definizione di Stefano Quintarelli sono solo dei SALAMI (Systematic Approaches to Learning Algorithms and Machine Inferences = approcci sistematici per [lo sviluppo di] algoritmi di apprendimento e [sistemi di] deduzione automatica), vengono, a causa di un processo di proiezione che è tipico degli esseri umani che vedono significati dappertutto, erroneamente percepiti nell’interpretazione comune come delle entità realmente intelligenti.

Poi, sono in gioco enormi interessi commerciali, miliardi di euro (o dollari) investiti annualmente per tentare di accaparrarsi quote di mercato che si proiettano in valori almeno mille volte maggiori. Questi spingono ogni giorno, in modo incessante, a descrivere sui mezzi di comunicazione scenari che oscillano dal fantascientifico (risolveremo tutti i problemi dell’umanità) all’apocalittico (perderemo tutti il lavoro), ma sempre finalizzati a costruire una convinzione di ineluttabilità: non c’è alternativa! In particolar modo, dal momento che il modo migliore di convincere qualcuno ad usare un certo prodotto è quello di abituarlo all’uso sin da piccolo, il settore della scuola è quello su cui si concentra la maggiore pressione.

Inoltre, gli strumenti di IAG sono ormai integrati nell’appendice tecnologica di cui tutti siamo dotati, lo smartphone e quindi, volenti o nolenti, tutti si trovano ad utilizzarli. È inevitabile! si ribadisce in continuazione. Il termine “innovativo” viene poi usato come passepartout per convincere chi non è esperto, trascurando di considerare quali possono essere le reali conseguenze di lungo periodo. Ricordiamoci di come nell’ultimo ventennio si siano fatti usare dispositivi digitali ai minori, anche piccolissimi, senza alcun reale controllo, per poi accorgersi che, come documentato nel rapporto finale del giugno 2021 dell’indagine conoscitiva “Sull’impatto del digitale sugli studenti, con particolare riguardo ai processi di apprendimento” svolta dalla Commissione “Istruzione Pubblica e Beni Culturali” del Senato, qualche problema è stato creato, e non di poco conto.

Ora, per limitarci agli strumenti di IAG testuali, cioè quelli che preparano dei testi rispondenti a quanto è stato richiesto (p.es.: quali sono i fatti salienti delle Guerre Puniche? oppure: scrivi una sintesi in 20 righe de “I promessi sposi”, o ancora: descrivi il processo di impollinazione delle piante), la conseguenza immediata sulla scuola è che uno dei modi più tradizionali di verifica delle competenze utilizzato giornalmente, ovvero lo svolgimento di compiti a casa, perde completamente di efficacia. È ovvio, a meno di non instaurare un clima proibizionistico che comunque sarebbe di qualche utilità solo per un breve periodo, che tutti gli scolari li svolgerebbero usando l’IAG.

La risposta non è però inventarsi improbabili modi di farli comunque usare agli studenti. Discuterò nel seguito i cinque punti critici di un approccio di questo genere. La risposta è dar maggior valore all’oralità e al rapporto in presenza. Quindi, meno compiti a casa e più lavoro in classe, il che implica avere classi più piccole e più insegnanti. Certo, servono soldi, ma sull’istruzione si gioca il futuro di un Paese. Un approccio di questo genere, tra l’altro, torna a dare valore alla componente relazionale del rapporto tra docente e studente. Sappiamo bene, almeno a partire dall’analisi fatta da Platone nei suoi Dialoghi, che la componente affettiva della relazione educativa tra didàskalos e mathetés, maestro e allievo, è un aspetto fondamentale della paideia, la crescita etica e spirituale del discepolo. Questa componente può essere arricchita dalla tecnologia, se opportunamente utilizzata, ma mai, mai sostituita, pena l’impoverimento e la distruzione della nostra umanità.

Alcuni comunque dicono: “trasformiamo la disponibilità dell’IAG in un’opportunità per un apprendimento migliore da parte degli studenti; facciamogli fare degli esperimenti con queste tecnologie che comunque si troveranno ad usare da grandi”. Ci sono in questo modo di fare alcuni punti critici assai importanti che vale la pena esaminare.

1) Si tratta di strumenti ancora in fase di sviluppo, che spesso producono risposte che sembrano corrette, ma sono imprecise. Solo se conosciamo bene l’argomento sui cui l’IAG ha prodotto un testo possiamo accorgerci di ciò che non va. Dal momento che nella scuola, tanto più quanto più si è piccoli, l’acquisizione della conoscenza è proprio uno degli aspetti formativi fondamentali, è evidente che non è sensato rischiare che gli scolari apprendano conoscenze errate (se non addirittura viziate da pregiudizi o stereotipi).

2) Sono strumenti controllati dalle solite Big Tech, sui quali vi è un’assoluta mancanza di controllo su come sono stati messi a punto e funzionano, su quali dati siano stati usati per il loro addestramento e su quali prove di sicurezza siano state condotte. Per ogni tecnologia potenzialmente nociva le società hanno introdotto delle regolamentazioni. In questo caso ci sta provando l’Unione Europea con il cosiddetto “AI Act”, per il quale è stato recentemente annunciato l’accordo politico ma non sono noti i dettagli. Però nel frattempo se ne sta incentivando il più possibile l’uso, incuranti dei possibili rischi. Una prima grana è esplosa proprio negli ultimi giorni del 2023, con la notizia che il New York Times, uno dei giornali più noti e con la miglior reputazione al mondo, ha fatto causa per violazione di diritto d’autore a OpenAI e Microsoft perché avrebbero addestrato i loro strumenti IAG sui loro articoli senza esserne autorizzati. Altre se ne attendono a breve, relativamente agli strumenti IAG visuali, cioè quelli in grado di produrre immagini e video, dal momento che diversi utenti su X (precedentemente Twitter) hanno evidenziato che possono produrre immagini protette dal diritto autore, anche se l’utente formula la richiesta in modo generico.

3) Usare strumenti ancora in sviluppo vuol dire lavorare gratis per chi li sta mettendo a punto e magari un giorno ce li rivenderà. Ovvero, stiamo commettendo di nuovo lo stesso errore in cui siamo incorsi abbandonandoci senza pensare troppo a piattaforme sociali intrusive e abusive, che hanno raccolto quantità enormi di dati su di noi e le usano a scopo commerciale. Cosa ce ne viene in cambio? Quando si dice che dobbiamo insegnare ai docenti come fare le domande all’IAG per ottenere l’aiuto di cui possono aver bisogno (il cosiddetto prompt engineering) mi sento rabbrividire: ma davvero vogliamo trasformarli in forza-lavoro gratuita a disposizione delle Big Tech ?

4) Se anche gli strumenti dell’IAG dessero sempre risposte corrette (ma non è così), con il loro uso nei livelli inferiori della scuola non solo rischiamo che i nostri figli acquisiscano conoscenze errate, ma possiamo menomare le loro possibilità di crescita sul piano cognitivo, dal momento che in tal modo essi non le esercitano. Sintetizzare testi, argomentare una posizione, presentare un punto di vista sono competenze fondamentali per un qualunque cittadino. Se non li facciamo esercitare da scolari, non le acquisiranno mai. Un po’ come accade se ci spostiamo solo in automobile e mai a piedi o in bicicletta, le nostre capacità fisiche si indeboliscono. In aggiunta, mentre studiando sui libri ci si allena alla pluralità di punti di vista e modi di presentare un certo argomento, in presenza di pochissime sorgenti di conoscenza il rischio di un indottrinamento sociale, soprattutto per le materie umanistiche, è fortissimo.

5) Mi sembra incredibile il contrasto tra i continui inviti ad usarli e la mancanza di una seria valutazione di tipo etico relativa al coinvolgimento dei minori nell’uso di strumenti ancora sperimentali. Ma come, per qualunque sperimentazione che coinvolga i bambini è, giustissimamente, necessaria l’approvazione sul piano etico, e in questo caso invece niente? Per un recente progetto di ricerca nelle scuole primarie che confrontava due metodi di insegnamento di uno dei costrutti fondamentali dell’informatica, io e i miei colleghi abbiamo dovuto avere l’approvazione di un comitato etico, mentre in questo caso vedo esortazioni a far usare l’IAG a minorenni senza alcuna riflessione su questi aspetti, né su quelli relativi alla privacy. Ma voi vi immaginate se nei primi anni del Novecento i fratelli Wright avessero cominciato a far volare persone sui loro aeroplani mentre li mettevano a punto?

Si dice: ma non c’è alternativa, l’IAG è qua e fa parte della nostra vita. È vero che è già nella nostra vita, ma non c’è un assoluto bisogno di usarla nelle classi. Il che non vuol dire non parlarne o far finta che non esista. L’uso collettivo in aula, sotto il controllo e la guida del docente, accompagnato da una discussione critica, ovviamente al livello consentito dall’età dei bambini, costituisce un’utile informazione su una tecnologia che comunque incontrano. Ma non abbiamo davvero necessità che, allo stato attuale della tecnologia, gli studenti utilizzino regolarmente tali strumenti. Per i docenti, alcuni usi sono possibili, come ho descritto in un recente articolo, ma è necessaria un’estrema attenzione, vista la natura ancora sperimentale di questi strumenti e i pericoli legati alla disseminazione di dati personali dei minori. A questo proposito mi piacerebbe sapere se l’autorità Garante per la Protezione dei Dati Personali ha valutato se l’esortazione agli insegnanti di usare questi strumenti per migliorare la loro didattica, personalizzandola per le esigenze dei singoli studenti, possa mettere a repentaglio la privacy di questi ultimi.

Aggiungo, per essere ancora più chiaro: in un contesto in cui nelle scuole insegniamo le basi scientifiche dell’informatica, può certamente trovare spazio anche la didattica sui princìpi dell’intelligenza artificiale, che costituisce un settore molto importante dell’informatica stessa. Però, insegnare cos’è l’apprendimento automatico (= machine learning), cioè la tecnica fondamentale usata per l’IAG, a chi non sa cos’è un automa o un algoritmo è come tentare di far capire cos’è la trigonometria a chi conosce solo le quattro operazioni aritmetiche. Si può certo raccontare che la trigonometria permette di misurare la distanza tra due alberi al di là di un fiume senza attraversarlo, ma in assenza di un’adeguata base di matematica si tratta di semplice divulgazione. Utile certamente per il cittadino che ha poco tempo per studiare e che deve comunque essere aggiornato sugli avanzamenti scientifico-tecnologici, mentre nella scuola vanno fornite le basi scientifiche per comprendere il mondo intorno a noi, sia quello della natura che quello artificialmente costruito, che in misura sempre maggiore è digitale.

Ripensare l’intero curriculum scolastico alla luce della trasformazione ormai avvenuta da società industriale a società digitale è un passo indispensabile, molto, molto di più che inseguire le mode tecnologiche addestrando studenti e insegnanti all’uso degli strumenti di IAG.

--
Versione originale pubblicata su "StartMAG" il 4 gennaio 2024.