Generative AI and learning: primum non nocere

by Enrico Nardelli

(versione italiana qua)

In this article, I offer some general reflections on the use of generative AI tools in learning processes, first recalling two important observations that are far too often forgotten in discussions on this topic. The first is that there are many and varied levels of education: primary, lower secondary, upper secondary, tertiary, and vocational. "Students" at these different levels have different capacities, which require tailored approaches. The second is that, in the specific world of schooling, the three most relevant roles – students, teachers, and technical-administrative personnel – face different needs. Certainly, for teachers and technical-administrative staff – adults who have received specific professional training for their roles in school – the use of tools that enhance cognitive abilities can be helpful, as long as it is not excessive, whereas the case is somewhat different for students.

In this regard, it is worth noting that a recent study of 319 knowledge workers, conducted across 5 different countries and 5 different work sectors, based on 936 real-world examples of generative AI use, highlighted a decrease in perceived effort, coupled with a rise in overconfidence in AI. Cognitive work shifted from execution to verification and integration of responses. The study highlighted the risk of an atrophy of critical thinking skills if this use is not balanced by appropriate awareness. This is the well-known risk called the "irony of automation," highlighted in the early 1980s by Lisanne Bainbridge: by mechanizing routine tasks and leaving the management of exceptions to human beings, one deprives them of daily opportunities to exercise their judgment and strengthen their cognitive abilities. Consequently, these abilities weaken and people find themselves unprepared precisely when exceptions arise.

Another recent study, conducted on 666 participants aged 17 and older in the United Kingdom, yielded results consistent with the previous one. The use of generative AI reduces cognitive effort but can undermine critical thinking if it occurs without autonomous reflection. These risks are particularly pronounced among less educated generations – which should prompt reflection especially among those concerned with social inequalities – and younger ones – a topic we will return to when discussing students.

These two pieces of experimental evidence confirm what had previously been theorized about the effect of using generative AI tools on higher-order cognitive functions, such as reasoning, problem-solving, planning, and metacognitive monitoring. In that paper, it had indeed been hypothesized that constant and pervasive use of these tools could alter the efficiency of such functions and that therefore interventions would be necessary to counteract these potential negative effects.

And now let us turn to students. As far back as March 2023, in my first article on this topic, I wrote: «Allowing our children to use  [these tools] before their full development means undermining their potential for cognitive growth».

While an adult can evaluate what a generative AI system proposes based on their knowledge and experience, a school student is still developing the very knowledge and skills that would be necessary for them to carry out this verification. Therefore, an adult who chooses to use generative AI is deciding to reduce their cognitive effort and not exercise their abilities, but since they have already acquired the necessary competence, if the abandonment of practice is not excessively prolonged there will be no negative consequences. On the other hand, a student who uses these tools risks permanently depriving themselves of the opportunity to develop fundamental competencies for their cognitive growth, as we shall see below.

In this regard, however, an important distinction must be made among the different types of uses that can be made of generative AI tools. As is often the case with many tools invented by humans, indeed, how one uses the tool makes the difference. A familiar example is the knife, which can be used for offense or defense, or to make certain activities more effective.

Some researchers at Anthropic (the company that developed Claude, one of the most widely used generative AI tools) recently made available a preprint (that is, a preliminary technical report not subject to the peer review process that characterizes scientific publications) that highlights – in the specific field of software engineering – some interesting findings. The study involved 52 junior-level software engineers who had to learn to use a code library previously unknown to them in order to complete their tasks. Half had access to a generative AI tool that could also provide them with the correct code, while the others did not have this capability. The first group was slightly faster in completing their tasks, but when subsequently asked about what they had learned, they achieved an average score of 50%, lower than the 67% score achieved by those who had done everything "by hand".

This last result, although based on a limited sample, aligns with previously published scientific research that has reported the risk of a decrease in the ability to understand new topics related to the use of generative AI tools.

In one study, 91 university students were asked to examine a socio-scientific topic unfamiliar to them. In this task, half of them had access to a generative AI tool to study the topic and produce arguments for or against it, while students in the other half could only use a search engine and therefore had to reach conclusions working independently. Those in the first group reported lower cognitive effort but at the cost of lower quality arguments produced.

In addition, apart from the already discussed study involving 666 participants in the United Kingdom, which had highlighted a greater risk in younger people of not developing critical thinking, it is highly relevant to recall a study on mathematics learning involving approximately a thousand upper secondary school students. Although the use of generative AI improves the results obtained in solving exercises, students who used it subsequently performed worse when it was no longer available, thus showing that they acquired such skills to a lesser extent. This reduction in performance, however, is smaller if the generative AI tool is "constrained" to operate in a mode that prevents it from providing complete answers, but allows it only to provide suggestions and prompts prepared by the teacher.

In this direction, another element of interest highlighted by the Anthropic study derives from the analysis that researchers conducted on interaction patterns with the generative AI assistant for engineers in the first group, with inferior performance. Among these, those who reported a score below 40% essentially delegated all or nearly all tasks to AI. Those in this group who instead reported a score above 67% used AI to have their own independently produced work evaluated and to understand how certain mechanisms worked. The researchers clarified that there is no causal connection between the different approach used and the different score obtained, but the association between the two is certainly interesting to consider.

It is clear that when time is short we all tend to use available shortcuts. However, if a situation of this kind becomes the norm, there is a risk of obtaining a permanent reduction in cognitive abilities, even in adults who have developed them. Every faculty, whether mental or physical, remains active only through constant, specific exercise.

Two reflections follow from this.

The first: in work contexts, it is important not only that employees be given the opportunity to use generative AI tools with sufficient time to verify their results and avoid producing "slop" that someone else will have to fix, but also that a clear "corporate practice of generative AI" be disseminated that can mitigate its negative consequences.

The second reflection concerns specifically school students, who generally tend to view school study hours as an obstacle standing between them and more fun and interesting activities (spending time with friends, playing, doing sports, …). It takes a good deal of self-discipline to remain glued to the desk "racking your brains" over topics you cannot understand, when a smartphone offers an AI assistant available that can provide complete answers.

Since the student will inevitably tend to take shortcuts, it is important that they have access only to constrained generative AI tools. While this may be feasible in the classroom, it seems impossible to achieve when the student is at home. I would add that in any case this implies greater work for the teacher, who will need to work much harder to prepare appropriate supplementary instructional material if they want their students to derive real benefit from it.

I conclude by noting that this entire sector is still in tumultuous development and, while it is certainly necessary for researchers to study methods and approaches that can be useful in improving teaching and learning, it is wise to proceed in the daily practice of educational systems with the utmost caution to avoid causing damage, especially to younger students. This is also because the consolidation of experimental evidence in the practice of scientific research is slow and sometimes non-linear. For example, a study that received a great deal of attention because it had highlighted a significant positive impact of the use of generative AI tools on improving learning, through a meta-analysis of 51 research articles, was later retracted by the journal that published it due to «discrepancies in the meta-analysis … that undermine confidence in the validity of the analysis and the conclusions derived from it».

The aphorism primum non nocere is as true in medicine as it is in education.

--
The original version (in italian) has been published by "StartMAG" on 15 june 2026.

IA generativa e apprendimento: primum non nocere

di Enrico Nardelli

(english version here)

In questo articolo sviluppo alcune riflessioni generali sull’uso degli strumenti di IAgen nei processi di apprendimento, richiamando prima di tutto due importanti osservazioni troppo spesso dimenticate nelle discussioni su questo tema. La prima è che i livelli della formazione sono molti e diversificati: primaria, secondaria inferiore, secondaria superiore, terziaria, professionale. Gli “studenti” in questi diversi livelli hanno capacità differenti, che rendono necessari differenti approcci. La seconda è che – nello specifico mondo della scuola – i tre ruoli più rilevanti, allievi, docenti, personale tecnico-amministrativo hanno differenti esigenze alle quali far fronte. Certamente, per i docenti e il personale tecnico-amministrativo, che sono adulti che hanno ricevuto una specifica preparazione professionale sulle funzioni che svolgono nella scuola, l’utilizzo di strumenti che potenziano le loro capacità cognitive può essere utile, quando non si esageri, mentre per gli studenti il caso è un po’ diverso

A questo proposito, ricordo che un recente studio su 319 lavoratori della conoscenza, condotto in 5 differenti Paesi e in 5 differenti settori lavorativi, relativo a 936 esempi reali di uso di IAgen ha messo in luce una diminuzione dello sforzo percepito, insieme allo sviluppo di una fiducia eccessiva nell'IA. Il lavoro cognitivo si è spostato dall'esecuzione alla verifica e integrazione delle risposte. Il rischio che lo studio ha messo in luce è quello di un’atrofia delle capacità critiche se questo utilizzo non viene bilanciato da un’opportuna consapevolezza. Si tratta del ben noto rischio chiamato “ironia dell’automazione”, evidenziato all’inizio degli anni ‘80 del secolo scorso da Lisanne Bainbridge, in base al quale meccanizzando i compiti di routine e lasciando la gestione delle eccezioni all’essere umano, si priva quest'ultimo delle occasioni quotidiane di esercitare il proprio giudizio e di rafforzare le proprie capacità cognitive. Di conseguenza, tali capacità si indeboliscono e le persone si ritrovano impreparate proprio quando le eccezioni si presentano.

Un’altra recente ricerca condotta su 666 partecipanti dai 17 anni in su nel Regno Unito, ha evidenziato risultati coerenti con quelli del precedente studio. L’uso dell’IAgen riduce lo sforzo cognitivo ma può indebolire il pensiero critico se avviene senza una riflessione autonoma. Tali rischi sono maggiori soprattutto per le generazioni meno istruite – il che dovrebbe suscitare riflessioni soprattutto in coloro che sono attenti alle disuguaglianze sociali – e quelle più giovani – tema che riprenderemo più avanti parlando degli studenti.

Queste due evidenze sperimentali confermano quanto era stato precedentemente teorizzato sull’effetto dell’uso di strumenti di IAgen sulle funzioni cognitive di ordine superiore, quali il ragionamento, la risoluzione di problemi, la pianificazione e il monitoraggio metacognitivo. In tale articolo si era infatti ipotizzato che l’uso costante e pervasivo di questi strumenti potesse alterare l’efficienza di tali funzioni e fossero quindi necessari interventi che contrastassero questi potenziali effetti negativi.

E veniamo adesso agli studenti, a proposito dei quali, già a marzo 2023, nel mio primo articolo su questo tema, scrivevo: «Consentire ai nostri figli l’uso di  [questi strumenti] prima del loro completo sviluppo vuol dire menomare le loro possibilità di crescita sul piano cognitivo».

Mentre, infatti, un adulto può esaminare quanto gli viene proposto da un sistema IAgen in base all sua conoscenza ed esperienza, uno studente di scuola sta ancora sviluppando quelle conoscenze ed abilità che gli sarebbero necessarie per effettuare questa verifica. Pertanto, un adulto che sceglie di usare IAgen sta decidendo di diminuire il suo sforzo cognitivo e di non esercitare le sue capacità ma, dal momento che ha acquisito la competenza necessaria, se la rinuncia all’esercizio non è eccessivamente protratta nel tempo non vi saranno conseguenze negative. Al contrario, uno studente che usa questi strumenti rischia di privarsi per sempre della possibilità di sviluppare competenze fondamentali per la sua crescita cognitiva, come vedremo nel seguito.

A questo proposito va però operata una distinzione importanti tra i tipi di uso che si possono fare degli strumenti di IAgen. Come spesso accade per moltissimi strumenti inventati dall’uomo, infatti, il come si usa lo strumento fa la differenza. Un esempio che tutti conoscono è quello del coltello, che può essere usato per offesa o per difesa o per rendere più efficaci alcune attività.

Alcuni ricercatori di Anthropic (la società che ha sviluppato Claude, uno dei più usati strumenti di IAgen) hanno recentemente reso disponibile un preprint (cioè un rapporto tecnico preliminare non sottoposto a quel processo di revisione tra pari che caratterizza le pubblicazioni scientifiche) che evidenzia – nello specifico settore della programmazione informatica – alcuni dati interessanti. Lo studio ha riguardato 52 ingegneri del software di livello junior che hanno dovuto imparare ad utilizzare, per svolgere i loro compiti, una libreria di codice informatico a loro precedentemente ignota. Metà avevano a disposizione uno strumento di IAgen per aiutarli, che poteva anche fornire loro il codice corretto, mentre gli altri non avevano questa possibilità. Il primo gruppo è stato più veloce (ma non di tanto) nel completare i propri compiti, ma quando, a posteriori, è stato interrogato su quanto aveva imparato ha ottenuto un punteggio medio del 50%, inferiore al punteggio di 67% ottenuto da chi aveva fatto tutto “a mano”.

Quest’ultimo risultato, seppur su un campione limitato, concorda con ricerche scientifiche precedentemente pubblicate che hanno riportato il rischio di una diminuzione della capacità di comprensione di nuovi argomenti legata all’uso degli strumenti di IAgen.

In una ricerca è stato chiesto a 91 studenti universitari di esaminare un tema socio-scientifico a loro non familiare. In questo compito, metà di loro hanno avuto a disposizione uno strumento di IAgen per studiare l’argomento e produrre argomentazioni favorevoli o contrarie, mentre gli studenti dell’altra metà hanno potuto usare solo un motore di ricerca ed hanno dovuto quindi raggiungere le conclusioni lavorando in modo autonomo. Quelli del primo gruppo hanno riportato uno sforzo cognitivo inferiore a prezzo però di una minore qualità delle argomentazioni prodotte.

In aggiunta, a parte lo studio già discusso relativo ai 666 partecipanti del Regno Unito, che aveva evidenziato nei più giovani un maggiore rischio di non sviluppare il pensiero critico, è assai rilevante ricordare una ricerca svolta sull’apprendimento della matematica con circa un migliaio di studenti della scuola secondaria superiore. Sebbene l’uso dell’IAgen migliori i risultati ottenuti nello svolgimento degli esercizi, gli studenti che l’hanno utilizzata hanno poi prestazioni inferiori quando essa non è più disponibile, evidenziando quindi che hanno acquisito tali abilità in misura ridotta. Questa riduzione delle prestazioni risulta però inferiore se lo strumento di IAgen è “vincolato” ad operare in una modalità che gli impedisce di fornire risposte complete, ma gli consente solo di fornire suggerimenti e stimoli preparati dall’insegnante.

In questa direzione, un ulteriore elemento di interesse evidenziato dallo studio di Anthropic deriva dall’analisi che ricercatori hanno condotto sugli schemi di interazione con l’assistente IAgen per gli ingegneri del primo gruppo, con prestazioni inferiori. Tra questi, coloro che hanno riportato un punteggio inferiore al 40% hanno sostanzialmente delegato tutti i compiti o quasi all’IA. Quelli di questo gruppo che hanno invece riportato un punteggio superiore al 67% hanno usato l’IA per farsi valutare quanto avevano prodotto da soli in modo autonomo e per capire come funzionavano alcuni meccanismi. I ricercatori hanno chiarito che non vi è un collegamento causale tra il diverso approccio usato e il diverso punteggio ottenuto, ma l’associazione tra i due è senz’altro interessante da considerare.

È chiaro che quando il tempo a disposizione è poco tutti tendiamo a usare le scorciatoie disponibili. Però, se una situazione di questo genere diventa la norma, si rischia di ottenere una permanente diminuzione delle capacità cognitive, anche in adulti che le hanno sviluppate. Ogni facoltà, mentale o fisica, una volta acquisita viene mantenuta attiva solo con un esercizio costante e specifico.

Ne derivano due riflessioni.

La prima: nei contesti lavorativi, è bene che non solo i dipendenti siano messi in condizione di usare gli strumenti di IAgen con sufficiente tempo a disposizione per verificarne i risultati ed evitare di produrre “sbobba” che qualcun altro dovrà sistemare, ma anche che venga diffusa una chiara “pratica aziendale dell’IAgen” che ne possa mitigare le conseguenze negative.

La seconda riflessione riguarda in modo specifico gli studenti della scuola, che tendono generalmente a vivere le ore dello studio scolastico come un ostacolo che si frappone tra loro e attività più divertenti e interessanti (stare con gli amici, giocare, fare sport, …). Serve una buona dose di auto-disciplina per rimanere inchiodati alla scrivania a “spaccarsi la testa” su argomenti che non si riescono a capire, quando sul proprio smartphone è a disposizione un assistente IA che può fornire le risposte complete.

Dal momento che lo studente tenderà fatalmente a prendere delle scorciatoie è importante che abbia a disposizione solo strumenti di IAgen vincolati. Mentre questo può essere fattibile in classe, mi sembra impossibile da ottenere quando lo studente è a casa. Aggiungo che comunque questo implica un maggior lavoro per l’insegnante che dovrà lavorare molto di più per preparare l’adeguato materiale didattico supplementare, se vuole che i suoi studenti ne traggano un reale beneficio.

Concludo osservando che tutto questo settore è in sviluppo ancora tumultuoso e, mentre è sicuramente necessario che i ricercatori studino metodi e approcci che possano essere utili a migliorare insegnamento e apprendimento, è bene procedere nella pratica quotidiana dei sistemi educativi con molta, moltissima cautela per evitare di causare danni, soprattutto agli studenti più giovani. Anche perché il consolidamento delle evidenze sperimentali, nella pratica della ricerca scientifica, è lento e alle volte non lineare. Ad esempio, uno studio di cui si è parlato molto, dal momento aveva evidenziato un grande impatto positivo dell’uso di strumenti di IAgen sul miglioramento dell’apprendimento, attraverso la meta-analisi di 51 articoli di ricerca, venga poi ritirato dalla rivista che l’ha pubblicato a causa di «discrepanze nella meta-analisi … che minano la fiducia riposta nella validità dell’analisi e delle conclusioni che ne derivano».

L’aforisma primum non nocere è vero in medicina come nell’istruzione.

--
Versione originale pubblicata su "StartMAG" il 15 giugno 2026.