The slop of generative AI

by Enrico Nardelli

(versione italiana qua)

I am writing this article prompted by a very recent post by my excellent colleague Walter Quattrociocchi. It is – to be honest – yet another in a long series where he explains on social media the dangers posed by generative artificial intelligence tools (GenAI, hereafter) for those who lack a solid understanding of the subject they are asking about. In his post, Walter recalls two recent episodes of sloppiness resulting from the use of these tools.

The first involves a print newspaper article published including the text of that standard closing question GenAI tools offer at the end of their response, asking whether the user would like to expand or adjust the text for a different publication context (e.g., a popular science piece rather than an academic one).

The second is that a well-known international consulting firm included fabricated citations in a—highly paid—government report and was, consequently, forced to partially refund its fee.

Neither example is new: the inclusion of AI-hallucinated cases in legal briefs has been happening in the United States for at least a couple of years, and forgetting to remove boilerplate phrases generated by GenAI in scientific articles has also been happening with some regularity for quite some time.

What Walter rightly observes—and I completely agree with—is that the issue is now systemic, widespread across all sectors and at every level. In his words: "We have delegated judgment to a statistical language engine, mistaking textual coherence for factual truth. This is the heart of the epistemic problem: the confusion between linguistic consistency and epistemic truth." A point that resonates with what I wrote in April 2023, warning that the main danger of GenAI tools is that «They have no real understanding of the meaning of what they are producing, but (and this is a major problem on the social level) since they express themselves in a form that is meaningful to us, we project onto their outputs the meaning that is within us», and recalling, two years later, that «showing competence with the words that describe the world is not the same as having competence about the world itself».

Two recent studies offer further evidence of how GenAI tools fall short of their potential and why, therefore, great caution is needed instead of the uncritical praise hailing them as something everyone must absolutely know how to use.

The first is the State of AI in Business 2025 report by MIT, which aptly speaks of a “GenAI Divide”, the gulf between the high rates of corporate adoption of these tools and the low return on investment observed so far. According to the report, 95% of companies are seeing no return on their investment, despite widespread use of the tools themselves. At the individual level, there is an increase in productivity, but this is not translating into corporate profitability.

The causes of these failures are a lack of robustness in supporting work processes, a failure to learn context, and a misalignment with daily operations. The judgment on scalability is particularly interesting: «the core barrier to scaling is not infrastructure, regulation, or talent. It is learning. Most GenAI systems do not retain feedback, adapt to context, or improve over time». I had already addressed this difficulty three years ago in my book La rivoluzione informatica (published just as the first such systems were gaining traction). Writing more generally of "cognitive machines" (the term I use for all computing systems), I noted that they "lack both the flexibility and adaptability to change their mode of operation as contextual conditions shift." It is gratifying to see one's own assessments hold up over time.

The 5% of companies that are succeeding are doing so by asking vendors to tailor these tools to the specific needs of their workflows and their own proprietary data (as I have always advised those who have privately asked me how to use GenAI within their companies). They are also evaluating effectiveness not based on generic benchmarks (like passing standardized exams in various disciplines) but by considering the actual output produced.

A subsequent study by a team of researchers from Stanford and BetterUp Labs further investigated this situation. Specifically, 1,150 US workers from various sectors were interviewed to understand how GenAI output is used at work. It emerged that while some use these tools to refine work they have already produced, many use them to churn out low-quality output that then has to be corrected by someone else downstream. The term "workslop" is gaining currency – where "slop" is an informal word for watery, unappetising food – to describe AI-generated content that looks passable on the surface but lacks the substance needed to move a task forward effectively. More formally, we might call it "shoddy work," and the result is that corporate productivity suffers.

In this study, 40% of the workers interviewed revealed they had received "slop" in the last month that was practically unusable. While the phenomenon primarily concerns peer-to-peer interactions, in 18% of cases it also occurs hierarchically, in both directions. The most serious long-term impact is on trust between colleagues, which is eroded whenever someone receives shoddy work. As with all previous technological waves, what is needed first and foremost is a clear identification of the strategy through which these tools can improve work processes, followed by the selection of technology capable of supporting that strategy and appropriate workforce training. In short, GenAI does have potential; it all depends on how it is used.

The Roman orator Marcus Porcius Cato, known as Cato the Censor, is credited with the saying «rem tene, verba sequentur», i.e., master the subject matter, and the words will follow, an admonition about the importance of thoroughly mastering a topic to be able to argue its cause effectively. Similarly, we could say in this case: "rem tene, mens mechanica te sustinebit," where "mens mechanica" refers to what I call "mechanical intelligence" rather than the more common "artificial intelligence".

Only if you know your subject well will GenAI be able to enrich and enhance what you do. This is why I believe the foundations of any area of knowledge must still be acquired, as they always have been, by “the sweat of one's brow”. Only then will we be able to use GenAI tools in the best way possible.

--
The original version (in italian) has been published by "StartMAG" on 12 october 2025.

La “sbobba” dell’IA generativa

di Enrico Nardelli

(english version here)

Scrivo questo articolo mosso da un recentissimo post dell'eccellente collega Walter Quattrociocchi, l'ennesimo – a dire la verità – in cui spiega, come fa da molto tempo sui social, la pericolosità, per chi non conosce bene il tema su cui chiede spiegazioni, degli strumenti di intelligenza artificiale generativa (IAGen, nel seguito). Nel post Walter ricorda due recenti episodi di sciatteria derivanti dall'uso di questi strumenti. Il primo è un articolo di giornale cartaceo pubblicato includendo anche il testo della solita domanda finale che tutti gli strumenti di IAGen propongono al termine della loro risposta, se cioè l’utente voglia estendere o modificare quanto scritto in funzione di una diversa sede di pubblicazione (p.es., articolo divulgativo invece che scientifico). Il secondo è che una notissima casa di consulenza internazionale ha inserito in un rapporto governativo, tra l’altro molto ben pagato, citazioni inventate ed è stata, per questo, costretta a rimborsare parzialmente quanto ricevuto.

Nessuno dei due esempi è una novità: l’inserimento in memorie legali di casi inventati prodotti da IAGen è qualcosa che accade negli USA da almeno un paio di anni e il dimenticarsi, nel contesto di articoli scientifici, di togliere frasi di contorno prodotte dall’IAGen accade anche questo con una certa regolarità da un po’ di tempo.

Ciò che giustamente Walter osserva, e con cui sono completamente d’accordo, è che adesso il discorso è sistemico, diffuso in tutti i settori e a ogni livello. Queste le sue parole: «Abbiamo delegato il giudizio a un motore statistico del linguaggio, scambiando la coerenza di un testo per la verità di un contenuto. È questo il cuore dell’epistemia: la confusione tra consistenza linguistica e verità epistemica». Concetto che risuona con quanto avevo scritto nell’aprile 2023, avvertendo che il principale pericolo degli strumenti di IAGen è che essi «… non hanno alcuna reale comprensione del significato di ciò che stanno facendo, ma purtroppo (e questo è un problema di grande rilevanza sul piano sociale) poiché ciò che fanno lo esprimono in una forma che per noi ha significato, proiettiamo su di essa il significato che è in noi» e ricordando, due anni dopo, che «esibire competenza sulle parole che descrivono il mondo non equivale ad avere competenza sul mondo».

Ci sono due recenti ricerche che portano ulteriore evidenza di come gli strumenti di IAGen non riescano ad esprimere il loro potenziale e di come, quindi, sarebbe necessaria molta cautela invece che esaltarli acriticamente come qualcosa che tutti devono assolutamente saper usare.

La prima è il rapporto State of AI in Business 2025 del MIT che parla, appropriatamente, di “Divario dell’IAGen”, indicando quello che esiste tra gli alti tassi di adozione di questi strumenti nelle aziende e il basso ritorno sugli investimenti che è stato finora riscontrato. Secondo il rapporto, il 95% delle aziende sta ottenendo un ritorno nullo sugli investimenti, nonostante gli strumenti in sé siano largamente utilizzati. A livello del singolo individuo c’è un aumento di produttività, ma questo non trova riscontro nella redditività aziendale.

Le cause dei fallimenti sono la fragilità nel supportare i processi di lavoro, la mancanza di apprendimento del contesto e il disallineamento con l’operatività giornaliera. Interessante il giudizio sulla scalabilità: «la barriera principale non è costituita dall’infrastruttura, i regolamenti o il talento. È la capacità di apprendere. La maggior parte dei sistemi di IAGen non incorpora il feedback ricevuto, non si adatta al contesto, né migliora col tempo». Di questa difficoltà ne avevo parlato già tre anni fa nel mio libro La rivoluzione informatica (pubblicato proprio quando i primi sistemi si stavano diffondendo) in cui avevo scritto, parlando in generale di “macchine cognitive” (il termine che uso per indicare tutti i sistemi informatici), che queste «non hanno né flessibilità né adattabilità per cambiare il loro modo di operare al mutare delle condizioni di contesto». Fa piacere vedere le proprie valutazioni rimanere valide col passare del tempo.

Quel 5% di aziende che invece ha successo, lo sta ottenendo chiedendo ai fornitori di personalizzare questi strumenti sulle specifiche esigenze dei loro processi lavorativi e sui loro specifici dati (come ho sempre suggerito a chi privatamente mi ha chiesto come poter usare l’IAGen nella propria azienda) e valutandone l’efficacia non in base a generici indicatori di riferimento (tipo il superamento di esami standardizzati in varie discipline) ma considerando quanto effettivamente prodotto.

Una successiva ricerca di un team di ricercatori di Stanford e di BetterUp Labs ha investigato ulteriormente questa situazione. Nello specifico, 1.150 lavoratori USA di diversi settori sono stati intervistati per capire come viene utilizzato sul lavoro ciò che viene prodotto da IAGen. È emerso che mentre alcuni usano questi strumenti per raffinare ciò che hanno realizzato, molti li usano per produrre lavoro di bassa qualità che deve poi essere corretto da qualcun altro a valle. Si sta diffondendo il termine “workslop”, dove “slop” è un termine informale che vuol dire “brodaglia” o “sbobba”, per indicare contenuto generato dall’IA che sembra buono, ma manca della sostanza necessaria per proseguire efficacemente nello svolgimento di un compito. In modo più aulico possiamo tradurre “workslop” come “lavoro raffazzonato”, ed il suo risultato è che la produttività aziendale ne soffre.

In questa ricerca, il 40% dei lavoratori intervistati ha rivelato di aver ricevuto brodaglia nell’ultimo mese, praticamente inutilizzabile. Mentre il fenomeno riguarda soprattutto le interazioni tra pari, nel 18% dei casi si verifica anche gerarchicamente, in entrambi i versi. L’impatto più grave, sul lungo periodo, è quello sulle relazioni di fiducia tra colleghi, che vengono compromesse quando si riceve della sbobba. Anche in questo caso, come per tutte le precedenti ondate tecnologiche, è necessaria prima di tutto una chiara identificazione della strategia mediante la quale questi strumenti possono migliorare i processi lavorativi, seguita dalla scelta della tecnologia in grado di supportare questa strategia e da un’appropriata opera di formazione della forza-lavoro. Insomma, le potenzialità l’IAGen le ha, tutto dipende da come viene usata.

Al retore romano Marco Porcio Catone, detto il Censore, si attribuisce il detto «rem tene, verba sequentur» ovvero conosci bene il tuo argomento, e riuscirai a parlarne bene, per ammonire sull’importanza di padroneggiare a fondo un tema per poterne sostenere validamente la causa. Analogamente potremmo dire, in questo caso: «rem tene, mens mechanica te sustinebit», dove “mens mechanica” indica quella che io chiamo “intelligenza meccanica” invece del più usuale “intelligenza artificiale”.

Solo se si conosce bene ciò di cui si parla, l’IAGen sarà in grado di arricchire e potenziare ciò che uno fa. Per questo ritengo necessario che le basi di ogni conoscenza vadano acquisite, com’è sempre stato, col “sudore della fronte”. Solo così si sarà in grado di usare gli strumenti IAGen nel modo migliore possibile.

--
Versione originale pubblicata su "StartMAG" il 12 ottobre 2025.

ITADINFO: una comunità che cresce

di Enrico Nardelli

Continua il successo di ITADINFO, il convegno italiano sulla didattica dell'informatica nella scuola, che, dopo aver avuto a Bari il suo battesimo nel 2023 e a Genova nel 2024 la conferma, quest’anno a Salerno, dal 3 al 5 ottobre ha visto crescere del 20% la partecipazione di docenti di scuola e ricercatori universitari.

Fin dalla giornata iniziale ho percepito una positiva sensazione di rinnovato entusiasmo da parte dei partecipanti, in coda al banco della registrazione. Probabilmente ci sarà stato un effetto delle Nuove Indicazioni Nazionali per la scuola dell’infanzia e per il primo ciclo d’istruzione (cioè, primaria e secondaria di primo grado), che hanno finalmente inserito l’informatica come oggetto di studio a partire dai primi anni di scuola, ma penso abbia influito anche l’abbassamento dell’età media degli iscritti: quest’anno circa la metà di loro aveva al più 50 anni, mentre in passato questa percentuale si attestava intorno al 40%.

Per noi del Laboratorio Nazionale CINI “Informatica e Scuola” che abbiamo fondato il convegno e lo organizziamo ogni anno, questa volta in collaborazione con il Dipartimento di Informatica dell’Università di Salerno, l’associazione di promozione sociale “APS Programma il Futuro” e il Progetto Nazionale “Informatica” del Piano Lauree Scientifiche, si è trattato di un bel risultato.

Tre giornate di incontri, nei quali insegnanti di scuola e universitari hanno discusso relazioni scientifiche, presentato le loro esperienze sul campo e approfondito attraverso laboratori formativi il vasto campo della didattica dell’informatica. Vi sono stati in totale oltre 60 contributi, già disponibili negli atti online, risultato di una selezione ottimamente condotta dalle colleghe Veronica Rossano e Maria Angela Pellegrino, le coordinatrici del comitato scientifico del convegno. Particolarmente vive le sessioni di presentazione mediante poster, una novità introdotta quest’anno che è stata apprezzatissima sia dagli autori che dal pubblico. Numerose le discussioni sull’intelligenza artificiale e sul suo uso nella scuola, un tema particolarmente caldo e dibattuto e su cui certamente le interazioni e le iniziative continueranno, sia nel laboratorio che nel progetto Programma il Futuro. La presenza fisica degli sponsor espositori: Axios, Bimed, CeRICT, Edizioni Themis, Robotics 3D, con le loro interessanti proposte di prodotti e servizi è stata un ulteriore motivo di interesse per i partecipanti, oltre aver contributo alla possibilità di realizzare il convegno, unitamente allo sponsor SeeWeb.

La sessione di saluti istituzionali è stata coordinata dalla collega di Salerno, Filomena Ferrucci, che insieme agli altri colleghi Vittorio Scarano, Maria Angela Pellegrino e Fabio Palomba (e gli studenti volontari) hanno svolto un eccellente lavoro di organizzazione locale e preparato un ottimo programma sociale, al quale la bellissima città di Salerno che ha contribuito con le sue bellezze naturali e artistiche.

I saluti sono stati aperti da Massimo Bisogno, il Direttore Generale dell’Ufficio Speciale per l'Amministrazione Digitale della Regione Campania, ha sostenuto l’importanza – per un mondo sempre più digitale – di insegnare l’informatica fin dalla scuola. Su questa linea ha proseguito Massimiliano Natella, l’Assessore alle Politiche Ambientali del Comune di Salerno, ribadendo che l’informatica è una materia formativa di importanza generale che deve essere presente nel percorso educativo di tutti i cittadini. Ho osservato con piacere che, per la prima volta in un incontro pubblico su questi temi, mi son trovato a dialogare con due rappresentanti delle istituzioni che non parlavano genericamente di digitale per “sentito dire” ma perché si erano laureati in Informatica (o meglio, in “Scienze dell’Informazione”, il nome che il corso di laurea ha avuto fino al cambio di millennio).

Ha poi proseguito Ilaria Peano, la Program Manager “Ricerca e Istruzione” della Fondazione CRT, che attraverso il suo progetto Diderot ha sostenuto quest’anno in maniera significativa l’organizzazione del convegno, osservando come gli studenti, a tutti i livelli dell’istruzione, ci pongono continuamente sfide, con la loro curiosità e apertura alle novità, che sono particolarmente impegnative nel nostro settore. Stefano Russo, dell’Università di Napoli e neo-eletto Presidente del CINI (il Consorzio Interuniversitario Nazionale per l’Informatica, di cui fa parte il laboratorio nazionale “Informatica e Scuola”) ha ricordato come, tra i laboratori nazionali del CINI, quello sulla scuola sia soprattutto un investimento sul futuro, perché formerà i cittadini che costruiranno la società tra vent’anni. Nel mio ruolo di Direttore del laboratorio, io ho ricordato come, con colleghi che erano attivi da prima di me nel settore della didattica dell’informatica, abbiamo fatto partire nel 2014 un gruppo di lavoro su questo tema all’interno del CINI, che a quel tempo stava preparando l’avvio dei laboratori nazionali. Nel dicembre 2017 abbiamo poi pubblicato la nostra proposta di indicazioni nazionali per l’insegnamento dell’informatica nella scuola, che è stata un base importante di partenza per l’inserimento dell’informatica nelle Nuove Indicazioni Nazionali. Il Laboratorio – fondato nel 2020 – è al suo secondo triennio di attività. A questo si è affiancata un’attività a livello europeo che ha portato, nel novembre 2023, alla raccomandazione del Consiglio dell’Unione Europea per l’inserimento dell’informatica nella scuola dell’obbligo, che il Ministero dell’Istruzione e del Merito ha realizzato quest’anno.

Un ulteriore elemento di novità è stata la sessione finale, che diversamente da quanto normalmente accade ha visto la partecipazione della quasi totalità degli iscritti al convegno, attivi anche sulla pagina social del convegno con complimenti e inviti a continuare. La sessione è stata dedicata a un dibattito sull’importanza della divulgazione dei concetti scientifici dell’informatica verso i giovani adolescenti anche mediante video, uno strumento che sembra diventato il canale di riferimento per la loro ricerca di informazioni, e al quale ha dato il suo contributo il personaggio virtuale di Proxy, protagonista di una miniserie animata per guidare alla scoperta dell’informatica.

Ci rivedremo a Padova nel 2026 per festeggiare il quarto compleanno di ITADINFO!

--
Versione originale pubblicata su "StartMAG" il 9 ottobre 2025.