Four reasons to scale back expectations for generative Artificial Intelligence

by Enrico Nardelli

(versione italiana qua)

«Artificial Intelligence (AI) is going to reproduce human intelligence. AI will eliminate disease. AI is the single biggest, most important invention in human history. You've likely heard it all—but probably none of these things are true».

This is the opening of a special issue titled Hype Correction, subtitled It's time to reset expectations, published in December 2025 by the Technology Review of the Massachusetts Institute of Technology (MIT), one of the most authoritative sources on scientific and technological research in the United States and worldwide.

I had anticipated back in April 2025 that things were heading in this direction, a trajectory now confirmed by the analysis of such a prestigious publication.

You certainly remember how the launch of ChatGPT-3.5 (Generative Pre-trained Transformer) at the end of 2022 captured the world's attention, prompting both private and public entities worldwide to invest heavily in the LLM (Large Language Model) technology that underpins Generative AI (GenAI) systems. Many believed this was the path toward achieving Artificial General Intelligence (AGI), an intelligence similar to human intelligence but even more powerful, versatile, and tireless, which would free us from labor and find solutions to all our problems. However, after three years of continuous promises, the launch of ChatGPT-5 in August 2025 – perceived as merely incremental rather than revolutionary – began to make the exaggeration behind that vision increasingly evident.

In October 2025, I pointed out the first signs of a course correction already underway.

Summarizing what has emerged from various reports and studies conducted in 2025, there are four key elements that explain the current state of affairs.

1. LLM-based systems are not the path to AGI. This has been stated, among others, by Yann LeCun, who served as Meta’s chief scientist until November 2025 and left the company precisely because he disagreed with its continued insistence on LLMs. Ilya Sutskever, former Chief Scientist and co-founder of OpenAI (the company behind ChatGPT), has observed that LLMs' ability to generalize – that is, to extract general principles and apply lessons learned during training to new situations – is far more limited than that of human beings. In January 2026, The Atlantic (one of the oldest and most prestigious magazines in the US) published an article declaring "Large language models don't ‘learn’ – they copy," based on work by researchers from Stanford and Yale, who succeeded in getting four of the most widely used GenAI systems to reproduce nearly entire books or very large portions of them. A scientific review by researchers from Caltech and Stanford, published in January 2026, highlighted how even the most recent models, even those presented as "capable of reasoning," actually have significant problems reasoning correctly.
2. GenAI systems remain prone to hallucinations (i.e., making things up) at a rate estimated between 15% and 25% — an unacceptable level for most consequential decisions and interactions, in both personal and professional life. This is especially troubling because, unlike a human being, these systems are incapable of self-correcting through experience. Any ordinary worker may make mistakes at first but usually learns and improves. This does not and cannot happen with GenAI systems, precisely because they are based on an essentially statistical learning of language, namely on how frequently words appear near one another, and they lack causal reasoning capabilities. The special issue cited at the beginning observes how surprising it is that this approach managed to create artificial systems that produce human-like expressions when prompted with any question, but the fact that we perceive them as intelligent is our own projection. See my first two articles on the subject from March 2023 and April 2023.
3. For routine tasks, GenAI systems can outperform the average person, but because they fail to deliver expert-level performance reliably in real-world contexts, they have not managed to drive meaningful productivity gains at the enterprise level. We were misled when we saw successive versions of these systems pass professional qualification exams, but it later became clear that such performance was largely due to having “memorized” all available test materials in those fields rather than to any genuine understanding of their core concepts. In the words of Andrej Karpathy (inventor of the popular term vibe coding, which we will return to in a future article), these are "versatile but shallow and error-prone" tools capable of helping ordinary people accomplish things they would otherwise need an expert for (such as getting the gist of a legal or medical document), but not easily integrated into a productive workflow.
4. Certainly, the majority of people now use GenAI systems daily, both personally and professionally, but in most cases they do so free of charge, given that at least a dozen companies make them available. The upshot is that, after a cumulative $600 billion in investment between 2021 and 2025, there is still no viable business model — and this is prompting investors to rethink their positions. It is no coincidence that talk of a bubble began circulating in 2025, including from prominent industry figures such as Sundar Pichai, CEO of Alphabet (Google's parent company), in November of that year. Daron Acemoglu, 2024 Nobel laureate in Economics, analyzed the influence of the entire AI sector on the US economy through 2035 and concluded that only about 5% of tasks will be effectively performed by AI, and GDP will increase by only 1.1% to 1.8%. One capability still lacking is the ability, given a specific work situation, to reliably provide context-dependent information to solve emerging problems. Indeed, in January 2026, a Washington Post article reported that «economic data shows the technology largely has not replaced workers», and the Remote Labor Index analysis, conducted jointly by the Center for AI Safety and Scale AI, confirmed Acemoglu's predictions for now: on average, only 2.5% of jobs posted on a platform offering paid tasks to independent workers were successfully completed by leading GenAI systems. Additionally, also in January 2026, a survey by Apollo Global Management (one of the world's largest investment management firms) of CFOs (Chief Financial Officers) showed that the majority of them in 2025 «are seeing no impact from AI on labor productivity, decision-making speed, customer satisfaction or time spent on high value-added tasks».

None of this means GenAI tools are useless — far from it. They do augment our cognitive capabilities, provided we scrutinize their outputs carefully. They are extremely useful for carrying out routine tasks in areas we already master (so that we can correct any mistakes). A very recent example is their use as evaluators of the scientific rigor of theoretical computer science papers, which according to 81% of authors helped increase clarity and readability. They will certainly continue to improve, although to achieve major leaps in quality, it will be necessary to integrate them with systems based on a symbolic approach, and it is far from clear when this will happen.

There is still a long road ahead. What do you think?

--
The original version (in italian) has been published by "StartMAG" on 16 February 2026.

Quattro motivi per ridimensionare le aspettative sull'Intelligenza Artificiale generativa

di Enrico Nardelli

(english version here)

«L'intelligenza artificiale (IA) riprodurrà l'intelligenza umana. L'IA sconfiggerà le malattie. L'IA è la più grande e più importante invenzione nella storia dell'umanità. Lo avete sentito ripetere mille volte – ma probabilmente nulla di tutto ciò è vero».

Inizia così il numero speciale intitolato Hype Correction, con sottotitolo It’s time to reset expectations, pubblicato a dicembre 2025 dalla Rivista di Tecnologia del Massachussets Institute of Technology (MIT), una delle fonti più attendibili della ricerca scientifica e tecnologica degli Stati Uniti e del mondo.

Avevo anticipato ad aprile 2025 che la situazione si stava evolvendo in tal modo, consistente con quest’analisi di una pubblicazione così autorevole.

Ricordate certamente come il lancio di ChatGPT-3.5 (Generative Pre-trained Transformer) alla fine del 2022 abbia catalizzato l’attenzione generale, spingendo in tutto il mondo sia soggetti privati che pubblici a investire pesantemente nella tecnologia degli LLM (Large Language Model = modelli linguistici di grandi dimensioni) che è alla base dei sistemi di Intelligenza Artificiale generativa (IAgen). Molti pensavano che fosse la strada per arrivare a un’intelligenza artificiale di natura generale (AGI = Artificial General Intelligence), simile a quella dell’uomo e ancora più potente, più versatile e infaticabile, che ci avrebbe liberato dal lavoro e trovato la soluzione a tutti i problemi. Però, dopo tre anni di continue promesse, il lancio di ChatGPT-5, avvenuto ad agosto 2025 e percepito come un semplice miglioramento incrementale e non certo rivoluzionario, aveva iniziato a rendere evidente l’esagerazione che c’era in tale visione.

A ottobre 2025 avevo indicato i primi segnali che mostravano la correzione di rotta in atto.

Sintetizzando adesso ciò che è emerso da diversi rapporti e studi realizzati nel 2025, vi sono quattro importanti elementi che spiegano il perché della situazione attuale.

1. I sistemi basati sui LLM non sono la strada per arrivare all’AGI. Questo è stato dichiarato, tra gli altri, da Yann LeCun, che è stato fino a novembre 2025 il capo scienziato di Meta, da lui abbandonata proprio perché in disaccordo sull’insistere con gli LLM. Ilya Sutskever, già scienziato capo e co-fondatore di OpenAI (la società che ha realizzato ChatGPT) ha osservato che le capacità degli LLM di generalizzare (cioè di estrarre princìpi generali) e quindi applicare a situazioni diverse quanto appreso durante il loro addestramento sono molto più limitate di quelle degli esseri umani. A gennaio 2026 la rivista The Atlantic (una delle riviste più antiche e prestigiose degli USA) ha pubblicato un articolo che dichiara «I modelli linguistici di grandi dimensioni non “apprendono” – copiano», basandosi su un lavoro svolto da ricercatori di Stanford e Yale, che sono riusciti a far produrre a quattro tra i più usati sistemi di IAgen quasi l’intero testo o porzioni vastissime di molti libri. Una rassegna scientifica svolta da ricercatori di Caltech e Stanford, pubblicata a gennaio 2026, ha evidenziato come anche i più recenti modelli, perfino quelli presentati come “capaci di ragionamento” abbiano in realtà grossi problemi nel ragionare in modo corretto.
2. I sistemi di IAgen tendono ancora ad essere soggetti ad allucinazioni (cioè, inventare cose che non esistono) in una misura valutata tra il 15% e il 25%, ovvero un livello inaccettabile nella maggior parte delle azioni e interazioni importanti sia nella vita privata che produttiva, soprattutto perché tali sistemi non sono in grado di auto-correggersi con l’esperienza, diversamente da una persona. Qualunque normale lavoratore può sbagliare all’inizio, ma poi, normalmente, impara e migliora. Questo non accade e non può accadere con i sistemi di IAgen, proprio in ragione del fatto che sono basati su un apprendimento essenzialmente di natura statistica del linguaggio, cioè relativo alla frequenza con cui le parole appaiono più o meno vicine e non hanno capacità di ragionamento causale. Il numero speciale citato in apertura osserva come sia sorprendente che quest’approccio sia riuscito a realizzare sistemi artificiali che producono espressioni simili a quelle degli esseri umani quando stimolate con una qualunque domanda, ma il fatto che li percepiamo come intelligenti è una nostra proiezione. Si vedano in proposito i miei primi due articoli sul tema a marzo 2023 e ad aprile 2023.
3. Per compiti normali i sistemi di IAgen possono essere più efficaci della persona media, ma poiché non raggiungono prestazioni da esperti in modo affidabile in contesti reali non riescono ad essere davvero efficaci per aumentare la produttività a livello aziendale. Su questo ci siamo illusi quando abbiamo visto che le successive versioni di tali sistemi erano in grado di superare gli esami per accedere a professioni complicate, ma poi si è capito che queste prestazioni erano dovute semplicemente all’aver “memorizzato” tutti i test disponibili per le relative discipline, più che a una reale comprensione dei loro concetti fondamentali. Nelle parole di Andrea Karpathy (inventore del popolarissimo termine vibe coding, su cui ritorneremo in un prossimo articolo) si tratta di strumenti «versatili ma di scarsa profondità e soggetti a errori», che quindi possono mettere la persona media in grado di fare cose per le quali sarebbe altrimenti costretta a ricorrere a un esperto (ad esempio, capire il significato di massima di un documento legale o medico), ma che non possono essere così facilmente integrati in un contesto produttivo.
4. Certamente la maggioranza delle persone usa ormai quotidianamente i sistemi di IAgen, sia a livello personale che professionale, ma nella maggior parte dei casi lo fa gratuitamente, dal momento che ci sono almeno una decina di aziende diverse che li rendono disponibili. Il risultato è che, dopo 600 miliardi di dollari complessivamente investiti dal 2021 al 2025, non c’è ancora un modello di business e questo sta facendo riconsiderare agli investitori le loro scelte. Non a caso, nel 2025 si è cominciato a parlare di bolla, anche da parte di autorevoli leader del settore, come Sundar Pichai, il CEO di Alphabet (la casa madre di Google) a novembre di quell’anno. Daron Acemoglou, premio Nobel per l’economia nel 2024, ha analizzato l’influenza di tutto il settore dell’IA sull’economia USA fino al 2035 e ha concluso che solo circa il 5% dei compiti verrà eseguito in modo efficace dall’IA e il PIL aumenterà solo di un valore compreso tra 1,1 e 1,8%. Una caratteristica che ancora manca è la capacità, data una specifica situazione lavorativa, di fornire in modo affidabile informazioni dipendenti dal contesto per risolvere determinati problemi che sono sorti. Proprio a gennaio 2026, un articolo del Washington Post ha riportato che «i dati economici dimostrano che la tecnologia in gran parte non ha sostituito i lavoratori» e l’analisi Remote Labor Index, svolta congiuntamente dal Center for AI Safety e da Scale AI, ha confermato per il momento le previsioni di Acemoglou: infatti mediamente solo il 2,5% dei lavori proposti su una piattaforma che offre a lavoratori in proprio compiti a pagamento è stato completato con successo dai migliori sistemi di IAgen. In aggiunta, sempre a gennaio 2026, un’indagine della società Apollo Global Management (una delle più grandi al mondo nella gestione di investimenti) sui CFO (Chief Financial Officer = Direttore Finanziario), ha mostrato che la maggioranza di loro nel 2025 «non ha visto alcun impatto sulla produttività del lavoro, velocità nel prendere decisioni, soddisfazione della clientela, tempo speso su compiti ad alto valore aggiunto».

Tutto questo non vuol dire che gli strumenti di IAgen siano inutili, tutt’altro. Potenziano le nostre capacità in ambito cognitivo, purché scrutiniamo con attenzione ciò che producono. Sono utilissimi per svolgere compiti di routine in settori che padroneggiamo (così da poter correggere gli eventuali errori): un recentissimo esempio è l’impiego come valutatori del rigore scientifico di articoli di informatica teorica, che secondo l’81% degli autori ha contribuito ad aumentare chiarezza e leggibilità. Certamente continueranno a migliorare, anche se per avere salti di qualità importanti sarà necessario integrarli con sistemi basati su un approccio simbolico e non è per niente chiaro quando questo accadrà.

La strada quindi è ancora lunga. Voi che ne pensate?

--
Versione originale pubblicata su "StartMAG" il 16 febbraio 2026.

Informatics as a scientific discipline officially enters Italian schools: now the real challenge begins

by Enrico Nardelli

(versione italiana qua)

A historic step has been taken for the Italian school system. With the publication in the Official Gazette of January 27, 2026 of the new National Guidelines, informatics officially enters primary and lower secondary schools as a subject of study. This is no longer a matter of basic digital literacy or learning to use a computer – it marks the introduction of computer science as a fully-fledged scientific discipline.

This reform represents a highly significant milestone in a journey that began twenty years ago with the conference Informatics: Culture and Society. Informatics is being integrated into the curriculum through two complementary channels: the more abstract and conceptual aspects have been woven into Mathematics, while the more concrete and applied elements find their place within Technology. Although this solution does not establish informatics as a standalone subject—which would have required a more complex legislative process—it now provides the legal framework needed to offer students a comprehensive education in the scientific principles underlying the digital world.

The shift in perspective is a radical one. As the official documents make clear, the goal is not to produce passive users of technology, but informed citizens capable of critically understanding how the computing systems that permeate every aspect of contemporary society actually work. The reform aims to develop fundamental skills in young people, not just to use digital technology, but to understand, evaluate, and, when necessary, create it.

This turning point aligns with broader European Union (EU) directives. In November 2023, the Council of the EU published Recommendation C/2024/1030, calling on member states to improve the provision of digital skills training. With this reform, Italy aligns itself with countries such as the United Kingdom, which introduced compulsory computing education as early as 2014, and responds to the strategic need to close the skills gap in an era shaped by artificial intelligence (AI).

The rise of generative AI itself raises new questions. Some might wonder whether, in a world where systems capable of writing software autonomously are already available, teaching this subject still makes sense. The experts' answer is unequivocal: even in the most advanced scenarios, AI tools will only be able to support — not replace — the people involved in developing and managing software systems. Strategic direction, understanding context and objectives, and the ability to adapt systems to changing needs will remain human tasks. These require that symbolic and abstract understanding of the world that only humans possess, and the conceptual and technical ability to develop complex digital systems that only the study of informatics can provide. We will return to this issue in a future article.

The risk, however, is that a lack of public understanding of these dynamics could lead policymakers to withdraw their support for computer science education at the very moment when this competency is becoming most critical. For this reason, cross-party support for this reform is essential to ensure the continuity of a project that will take at least a decade to fully bear fruit.

The new National Guidelines also address the ethical and social challenges associated with technology. The text explicitly stresses the need for students to acquire «an understanding of how systems based on digital technologies function, together with an awareness of their possibilities and limitations, so as to grasp the enormous opportunities for improvement and development they offer society while preventing them from becoming instruments of exclusion or oppression». It reaffirms the fundamental principle that «human beings must maintain control over decisions based on computer systems that can have a significant impact on people».

The real challenge now lies in teacher training. Unlike other disciplines, informatics is not part of the cultural background of most Italian teachers, who studied it neither in school nor at university. The British experience is instructive: after introducing compulsory computing education in 2014, the United Kingdom had to acknowledge in 2017 that much of the curriculum guidance remained unimplemented due to a shortage of adequately trained teachers. The response was the creation, in 2019, of the National Centre for Computing Education, funded with £82 million and continuously refinanced to this day, despite cuts to public spending.

Italy has had access to funds under the National Recovery and Resilience Plan (PNRR), but organizational and time constraints prevented their use in establishing an efficient system for training teachers in informatics education. Strong political will is therefore needed to ensure that this reform does not remain a dead letter. The academic informatics community, which has been bringing the foundations of the field into Italian schools for many years, is ready to contribute. We recall the numerous initiatives already in place, such as the Programma il Futuro project in collaboration with the Ministry of Education and Merit, and the structured research and training activities carried out by the National Laboratory "Informatics and School" of CINI (National Inter-University Consortium for Informatics).

The road will be long and not without obstacles, but the first, fundamental step has been taken. taly has finally recognized that, in an increasingly digital society, the knowledge of the scientific principles of computer science is neither a luxury nor a narrow technical specialization, but rather an essential component of every citizen’s education. Only in this way will it be possible to shape generations capable not only of using technology, but of understanding its implications, assessing its consequences, and maintaining democratic control over systems that profoundly shape our lives.

--
The original version (in italian) has been published by "StartMAG" on 3 February 2026.

L'informatica come disciplina scientifica entra nella scuola: adesso inizia la vera sfida

di Enrico Nardelli

(english version here)

È stato compiuto un passo storico per il sistema scolastico italiano. Con la pubblicazione sulla Gazzetta Ufficiale del 27 gennaio 2026 delle nuove Indicazioni Nazionali, l'informatica fa il suo ingresso ufficiale come materia di studio nella scuola primaria e secondaria di primo grado. Non si tratta più di semplice alfabetizzazione digitale o di imparare a usare il computer, ma dell'introduzione dell'informatica come vera e propria disciplina scientifica.

Questa riforma rappresenta un risultato assai significativo di un percorso intrapreso venti anni fa, con il convegno Informatica: Cultura e Società. L'informatica viene inserita nel curriculum attraverso due canali complementari: gli aspetti più astratti e concettuali sono stati integrati nell'insegnamento della Matematica, mentre quelli più concreti e applicativi trovano spazio nella Tecnologia. Tale soluzione, anche se non introduce l'informatica come materia autonoma – che avrebbe richiesto un iter normativo più complesso – costituisce adesso il quadro legislativo di riferimento per poter fornire agli studenti una formazione completa sui principi scientifici alla base del mondo digitale.

Il cambiamento di prospettiva è radicale. Come evidenziato nei documenti ufficiali, l'obiettivo non è formare utilizzatori passivi di tecnologia, ma cittadini consapevoli, capaci di comprendere criticamente il funzionamento dei sistemi informatici che permeano ogni aspetto della società contemporanea. La riforma si propone di sviluppare nei giovani competenze fondamentali non solo per usare la tecnologia digitale, ma per comprenderla, valutarla e, quando necessario, crearla.

Questa svolta si inserisce nel contesto più ampio delle indicazioni dell'Unione Europea (UE). Nel novembre 2023, il Consiglio dell'UE ha pubblicato la Raccomandazione C/2024/1030 che invita gli Stati membri a migliorare l'offerta formativa in materia di competenze digitali. L'Italia, con questa riforma, si allinea a paesi come il Regno Unito, che già dal 2014 ha introdotto l'insegnamento obbligatorio dell'informatica, e risponde all'esigenza strategica di colmare il divario di competenze in un'epoca dominata dall'intelligenza artificiale (IA).

Proprio l'avvento dell'IA generativa pone nuove questioni. Alcuni potrebbero chiedersi se, in uno scenario in cui sono già disponibili sistemi in grado di scrivere autonomamente programmi informatici, avrà ancora senso insegnare questa materia. La risposta degli esperti è chiara: anche negli scenari più avanzati, gli strumenti di IA potranno solo supportare, non sostituire, le persone coinvolte nello sviluppo e nella gestione dei sistemi software. La direzione strategica, la comprensione del contesto e degli obiettivi, la capacità di adattare i sistemi alle mutevoli esigenze rimarranno compiti umani, che richiedono proprio quella comprensione simbolica e astratta del mondo che solo le persone hanno e quella capacità concettuale e tecnica di sviluppare sistemi digitali complessi che solo lo studio dell'informatica può fornire. Riprenderemo questo tema in un successivo articolo.

Il rischio, tuttavia, è che la scarsa comprensione di queste dinamiche da parte del grande pubblico possa portare i decisori politici a ritirare il sostegno all'insegnamento dell'informatica, proprio nel momento in cui questa competenza diventa sempre più cruciale. Per questo, il supporto bipartisan a questa riforma è fondamentale per garantire la continuità di un progetto che richiederà almeno un decennio per andare a regime.

Le nuove Indicazioni Nazionali affrontano anche le criticità etiche e sociali legate alla tecnologia. Il testo sottolinea esplicitamente la necessità che gli studenti acquisiscano "la comprensione del funzionamento dei sistemi basati sulle tecnologie informatiche contestualmente a quella delle loro possibilità e dei loro limiti, così da cogliere le enormi possibilità di miglioramento e sviluppo offerte alla società evitando che diventino strumento di esclusione o di oppressione". Viene ribadito il principio fondamentale che "siano gli esseri umani a mantenere il controllo sulle decisioni basate su sistemi informatici che possono avere un impatto significativo sulle persone".

La vera sfida, ora, è quella della formazione degli insegnanti. A differenza di altre discipline, l'informatica non fa parte del bagaglio culturale della maggior parte dei docenti italiani, che non l'hanno studiata né a scuola né all'università. L'esperienza britannica è illuminante: dopo aver introdotto l'insegnamento obbligatorio dell'informatica nel 2014, il Regno Unito ha dovuto constatare nel 2017 che le indicazioni curricolari rimanevano in gran parte inattuate per mancanza di insegnanti preparati. La risposta è stata la creazione, nel 2019, del National Centre for Computing Education, finanziato con 82 milioni di sterline e costantemente rifinanziato fino ad oggi, nonostante i tagli alla spesa pubblica.

L'Italia ha avuto accesso ai fondi del PNRR, ma i vincoli organizzativi e temporali hanno impedito di utilizzarli per creare un meccanismo efficiente per la formazione dei docenti all’insegnamento dell’informatica. Servirà quindi una forte volontà politica per garantire che questa riforma non rimanga lettera morta. La comunità accademica degli informatici, che da moltissimi anni porta le basi dell'informatica nelle scuole italiane, è pronta a contribuire: ricordiamo le numerose iniziative già in atto, quali ad esempio il progetto Programma il Futuro in collaborazione col Ministero dell’Istruzione e del Merito, e l’attività a livello di studio, ricerca e formazione esplicata in modo strutturato e organico attraverso il Laboratorio Nazionale “Informatica e Scuola” del CINI (Consorzio Interuniversitario Nazionale per l’Informatica).

Il percorso sarà lungo e non privo di ostacoli, ma il primo, fondamentale passo è stato compiuto. L'Italia ha finalmente riconosciuto che, in una società sempre più digitale, la conoscenza dei principi scientifici dell'informatica non è un lusso né una specializzazione tecnica, ma una componente essenziale della formazione di ogni cittadino. Solo così sarà possibile formare generazioni capaci non solo di utilizzare la tecnologia, ma di comprenderne le implicazioni, valutarne le conseguenze e mantenere il controllo democratico su sistemi che influenzano profondamente le nostre vite.

--
Versione originale pubblicata su "StartMAG" il 3 febbraio 2026.