Bias, allucinazioni e decisioni automatiche: come l’AI può sbagliare (e come difendersi)

Bias, allucinazioni e decisioni automatiche: come l’AI può sbagliare (e come difendersi)

L’illusione della neutralità: quando l’AI non è così imparziale

Spesso immaginiamo l’intelligenza artificiale come un giudice obiettivo, capace di elaborare dati e fornire risposte prive di influenze esterne.
Ma la realtà è diversa: l’AI può amplificare pregiudizi nascosti, commettere errori mascherati da certezze e prendere decisioni che incidono direttamente sui nostri diritti, soprattutto quando manca un controllo umano reale.

In questo articolo esploreremo le tre criticità principali dell’intelligenza artificiale: i bias nascosti nei dati, gli errori predittivi delle risposte e gli automatismi che ci privano del controllo diretto.

Se preferisci un’introduzione veloce o vuoi ascoltare un commento diretto, guarda questo video pubblicato sul mio canale YouTube:

Bias: il riflesso dei nostri pregiudizi nei dati

I bias sono distorsioni sistemiche che l’intelligenza artificiale acquisisce dai dati utilizzati per il suo addestramento.
In pratica, se i dati riflettono pregiudizi storici o sociali, anche l’AI li riproporrà, spesso amplificandoli.

Questo può accadere anche nei processi di distillazione dei dati, quando le informazioni vengono compresse o sintetizzate in set più piccoli per addestrare modelli più leggeri, con il rischio di accentuare pregiudizi già presenti o introdurne di nuovi se il campione non è rappresentativo.

Un caso noto riguarda il software COMPAS negli USA.
Secondo un’inchiesta del 2016 di ProPublica, questo algoritmo penalizzava sistematicamente gli imputati afroamericani, attribuendo loro un rischio di recidiva maggiore rispetto ai bianchi, indipendentemente dal reale comportamento criminale passato [vedi qui].

Analogamente, Amazon ha dovuto sospendere un algoritmo di recruiting perché tendeva a penalizzare curriculum femminili nelle selezioni per ruoli tecnici, basandosi sui dati storici in cui erano prevalentemente assunti uomini [vedi qui].

Ma c’è di più: il bias si estende anche a questioni linguistiche e culturali.
Ad esempio, quando chiediamo a un assistente virtuale “chi sono i più grandi manager della storia”, spesso riceviamo elenchi dominati da uomini occidentali, ignorando completamente eccellenze femminili o non anglofone.

2. Gli errori predittivi: la “certezza” che inganna

L’intelligenza artificiale non ragiona come un essere umano, ma si basa su previsioni statistiche.
Questo meccanismo può generare risposte plausibili ma errate, definite “allucinazioni”.

Un esempio eclatante è quello di ChatGPT, che spesso crea riferimenti inesistenti ma estremamente convincenti, come libri, sentenze giudiziarie o articoli scientifici mai pubblicati.

Questo fenomeno diventa particolarmente rischioso nei settori altamente regolamentati come l’ordinamento giudiziario o la medicina.
IBM Watson for Oncology è stato al centro di controversie proprio perché suggeriva trattamenti non sempre supportati da dati clinici certi, causando preoccupazione tra medici e pazienti [vedi qui].

3. Automatismi ciechi: quando l’AI decide per noi

Un terzo punto critico riguarda gli automatismi che delegano all’intelligenza artificiale decisioni rilevanti per la nostra vita, senza una supervisione umana adeguata.
L’automazione eccessiva rischia di creare situazioni in cui errori banali si trasformano in danni concreti.

Nel Michigan, ad esempio, un algoritmo per la gestione dei sussidi di disoccupazione ha causato ingiuste accuse di frode verso decine di migliaia di cittadini, con conseguenze devastanti per le loro vite, fino a quando l’errore non è stato riconosciuto ufficialmente [vedi qui].

In Europa, il Tribunale dell’Aja ha dichiarato illegittimo SyRI, un sistema antifrode nel welfare, per violazione dei diritti fondamentali e mancanza di trasparenza [vedi qui]

Sul fronte delle piattaforme digitali, gli automatismi influenzano costantemente la nostra esperienza: i social decidono quali contenuti vediamo, quali account bannare e quali segnalazioni accogliere.
Spesso queste decisioni sono prive di spiegazioni chiare, creando una sensazione di impotenza e frustrazione tra gli utenti.

Il quadro normativo europeo

Il GDPR (art. 22) riconosce il diritto a non essere sottoposti a decisioni unicamente automatizzate con effetti giuridici o significativi, salvo eccezioni, e impone garanzie come l’intervento umano e la possibilità di contestare la decisione.
L’AI Act (Reg. UE 2024/1689), invece, impone obblighi specifici per i sistemi ad alto rischio, tra cui supervisione umana, qualità dei dati e tracciabilità.

Come proteggersi: alcune buone pratiche

• Definire quando e come interviene un operatore umano.
• Documentare e verificare la provenienza dei dati.
• Eseguire test di bias e monitoraggi continui.
• Garantire canali di contestazione chiari e rapidi.
• Effettuare una DPIA per processi ad alto rischio.

Consapevolezza e responsabilità

Di fronte a queste sfide, la chiave resta la consapevolezza.
Non dobbiamo rinunciare al nostro giudizio critico.
L’intelligenza artificiale dovrebbe essere utilizzata come supporto, mai come sostituto delle decisioni umane.

È essenziale investire nella formazione digitale, in politiche che garantiscano trasparenza algoritmica e in normative adeguate che definiscano chiaramente le responsabilità legali di chi gestisce o utilizza sistemi basati su AI.

L’autore ha impiegato strumenti di intelligenza artificiale come supporto redazionale, curando personalmente la selezione, l’organizzazione e la verifica rigorosa dei contenuti.