1. La Schufa e i sistemi di credit scoring: contestazioni relative al suo utilizzo nel caso di specie

Il caso giudiziario oggetto della presente analisi riguarda il sistema di credit scoring^[1] utilizzato in Germania per la valutazione del merito creditizio di una persona fisica o giuridica da parte della società Schufa^[2]. Si tratta di una società privata di diritto tedesco che fornisce ai propri partner contrattuali informazioni sul merito creditizio di terzi, in particolare di consumatori. A tal fine, essa effettua un pronostico sulla probabilità di un comportamento futuro di una persona (“score”), come il rimborso di un prestito, a partire da talune caratteristiche di tale persona e sulla base di procedure matematiche e statistiche. Il calcolo del punteggio (“scoring”) si basa sul presupposto che assegnando una persona a un gruppo con caratteristiche comparabili, si possa prevedere un determinato comportamento. I programmi di scoring creditizio costituiscono una sottocategoria di software predittivi^[3] focalizzati sulla misura del social scoring^[4]. Nello specifico, il credit scoring quantifica la probabile solvibilità futura di una persona, basandosi sulla combinazione dei pagamenti effettuati in passato dalla stessa persona e sulla sua classificazione all’interno di una categoria di soggetti simili^[5].

I problemi legati a questo tipo di procedimenti automatizzati, già evidenziati dalla dottrina, consistono nel rischio che la decisione comporti la reiterazione di bias ed errori^[6], fino a condurre a vere e proprie discriminazioni^[7]. Inoltre, un altro problema legato a questi sistemi deriva dalle difficoltà, per il soggetto interessato da un procedimento di credit scoring, di comprendere in maniera effettiva le ragioni poste alla base del punteggio assegnato, alla luce dei parametri utilizzati, delle modalità della loro ponderazione e della logica utilizzata dalla macchina^[8].

Si tratta allora di verificare se e come questi problemi si sono posti nella vicenda oggetto del contenzioso qui in esame e quali soluzioni siano state trovate in sede giurisdizionale, in primo luogo dal giudice amministrativo tedesco che, per la prima volta a quanto consta, si occupa del concetto di “decisione completamente automatizzata” e poi, su sollecitazione di quest’ultimo, da parte della Corte di Giustizia.

Nel caso di specie, un soggetto non aveva ottenuto il credito richiesto a una banca in ragione del punteggio attribuitegli da Schufa in merito alla sua affidabilità creditizia. Al fine di comprendere le modalità con le quali era stato calcolato suddetto punteggio, l’interessato aveva chiesto alla Società l’accesso ai dati conservati, oltre alla cancellazione di quelle che considerava iscrizioni inesatte. In risposta a siffatta richiesta Schufa aveva fornito alla ricorrente l’informazione sulla sua classificazione con uno scoring pari a 85,96 %, comunicando altresì all’interessato in termini generali il funzionamento basilare del calcolo di tale punteggio, senza però precisare le informazioni specifiche su cui si basava il valore del punteggio e le modalità con cui queste informazioni erano state ponderate, trattandosi di elementi coperti da segreto industriale e commerciale. Nel rispondere alla richiesta dell’interessato, la Società aveva evidenziato altresì il suo ruolo in un procedimento finalizzato a ottenere un prestito dalla banca, ruolo limitato a fornire informazioni alle sue controparti contrattuali, senza formulare alcuna raccomandazione a favore o a sfavore della conclusione di un contratto con una persona oggetto delle informazioni suddette, di responsabilità esclusiva dei propri partner commerciali. Contro la comunicazione della Società, l’interessato aveva allora proposto un reclamo al Commissario per la protezione dei dati e la libertà di informazione per il Land Assia (Hessische Beauftragte für Datenschutz und Informationsfreiheit, HBDI)^[9], chiedendo a quest’ultimo di ordinare alla Società di soddisfare la propria precedente richiesta di accesso e di cancellazione dei dati inesatti, nonché di fornire informazioni sulla logica utilizzata, sull’importanza e sulle conseguenze del trattamento dei dati effettuato.

Con provvedimento (Bescheid) del 3 giugno 2020, l’Autorità adita ha ritenuto di non dover intervenire nei confronti della Società, in quanto il calcolo del tasso di solvibilità effettuato dalla stessa rispettava i requisiti dettagliatamente indicati dal paragrafo 31^[10] del Bundesdatenschutzgesetz^[11] (legge federale sulla protezione dei dati personali, d’ora innanzi BDSG).

In questa fase della vicenda entra in gioco il giudice amministrativo^[12], in particolare il Verwaltungsgericht di Wiesbaden, competente per territorio, davanti al quale viene impugnato il rigetto da parte del Commissario per la protezione dei dati personali del reclamo promosso contro Schufa.

Le questioni sottoposte all’attenzione del giudice amministrativo riguardano, da un lato, l’interpretazione della normativa europea in materia di protezione dei dati, dall’altro il rapporto tra la normativa attuativa interna, in particolare la Bundesdatenschutzgesetz sopra richiamata, e le disposizioni del GDPR.

Nel caso di specie, il giudice amministrativo è chiamato a decidere se l’attività delle agenzie di valutazione del credito consistente nel calcolare punteggi relativi a persone interessate e nel trasmetterli a terzi senza ulteriori raccomandazioni o commenti, rientri nell’ambito di applicazione dell’articolo 22, paragrafo 1, del GDPR^[13], che detta le condizioni di ammissibilità della decisione esclusivamente automatizzata relativa alle persone fisiche e le tutele che devono essere garantite al soggetto interessato nel procedimento che porta alla decisione suddetta^[14]. Il quesito ha una evidente e immediata portata applicativa, in quanto, qualora l’attività di credit scoring fosse inquadrata ai sensi dell’art. 22 del GDRP, dovrebbe confrontarsi con tale ulteriore parametro di legittimità, che costituirebbe altresì criterio di revisione dell’attività dell’agenzia di valutazione del credito da parte dell’autorità di controllo competente, valutata invece alla luce della sola normativa nazionale. Inoltre, sempre seguendo il ragionamento del giudice a quo, se all’attività di credit scoring si applicasse l’art. 22 del GDPR, la stessa sarebbe ammissibile solo in presenza di una espressa autorizzazione normativa ai sensi dell’art. 22, paragrafo 2, lett. b), che potrebbe rinvenirsi nel par. 31 del BDSG. Tuttavia, la compatibilità della normativa nazionale, costituita per l’appunto dal par. 31 del BDSG, con la normativa europea, secondo il giudice, non è scontata e va attentamente verificata perché, in sua mancanza, difetterebbe il parametro normativo rispetto al quale l’autorità competente ha compiuto la propria valutazione in merito alla legittimità dell’operato di Schufa.

2. La vertenza davanti al Verwaltungsgericht: il rinvio pregiudiziale alla Corte di Giustizia

Per decidere le due questioni di diritto sopra brevemente descritte il giudice amministrativo tedesco ritiene necessario formulare una domanda di rinvio pregiudiziale^[15] alla Corte di Giustizia dell’Unione Europea avente ad oggetto i seguenti quesiti:

«1) Se l’articolo 22, paragrafo 1, del GDPR debba essere interpretato nel senso che il calcolo automatizzato di un tasso di probabilità relativo alla capacità di un interessato di saldare in futuro un debito costituisce già una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produce effetti giuridici che riguardano l’interessato o che incide in modo analogo significativamente sulla sua persona, qualora tale tasso, calcolato sulla base di dati personali relativi all’interessato, sia trasmesso dal titolare del trattamento a un terzo titolare del trattamento e quest’ultimo basi prevalentemente su tale tasso la sua decisione sulla stipulazione, sull’attuazione o sulla cessazione di un contratto con l’interessato.

2) In caso di risposta negativa alla prima questione pregiudiziale: se l’articolo 6, paragrafo 1, e l’articolo 22 del GDPR debbano essere interpretati nel senso che ostano a una normativa nazionale ai sensi della quale il ricorso a un tasso di probabilità – nella fattispecie relativo alla solvibilità e alla disponibilità a pagare di una persona fisica, che includa informazioni sui crediti – di un certo comportamento futuro di una persona fisica, allo scopo di decidere sulla stipulazione, sull’attuazione o sulla cessazione di un contratto con tale persona (“scoring”), è consentito solo se sono soddisfatte determinate ulteriori condizioni, meglio specificate nella motivazione della domanda di pronuncia pregiudiziale».

Nell’ordinanza di rimessione il giudice evidenzia le ragioni che lo inducono a ritenere applicabile al caso di specie l’art. 22 del GDPR^[16] e che, a suo avviso, rendono quindi necessario l’intervento della Corte di Giustizia in modo da garantirne un’applicazione uniforme a livello unionale.

Il presupposto dal quale parte il Tribunale amministrativo tedesco è che il calcolo di un punteggio di scoring da parte di un’agenzia di valutazione del credito non sia meramente una profilazione^[17] funzionale alla decisione del terzo titolare del trattamento, ma sia una «decisione» autonoma ai sensi dell’articolo 22, paragrafo 1, del GDPR.

Questo perché, su un piano fattuale, è evidente l’importanza del punteggio calcolato dalle agenzie di valutazione del credito nella prassi decisionale dei terzi titolari del trattamento.

Sotto questo profilo il giudice del rinvio compie un ragionamento estremamente interessante e attuale sul rapporto tra l’esito del procedimento automatizzato di profilazione e la decisione assunta a valle del medesimo, dubitando che, in presenza dello scoring assegnato alla persona interessata, i terzi titolari del trattamento prendano una decisione non basata unicamente sul risultato fornito dal software. In altre parole, secondo il giudice, a determinare in ultima analisi se e come il terzo titolare del trattamento stipulerà un contratto con l’interessato è il punteggio calcolato dall’agenzia di valutazione del credito sulla base di un trattamento automatizzato.

Da ultimo, il giudice ritiene vi siano anche profili sul piano giuridico che inducono a preferire un’interpretazione ampia dell’art. 22, paragrafo 1, del GDPR e ciò alla luce degli obiettivi perseguiti dall’articolo suddetto.

Infatti, l’articolo 22, paragrafo 1, del GDPR – fatte salve le eccezioni di cui all’articolo 22, paragrafo 2 – mira a proteggere l’interessato proprio dai pericoli di tale processo decisionale basato unicamente sull’automazione^[18], senza che vi sia una valutazione e deliberazione da parte di un essere umano. Tuttavia, è precisamente tale intenzione del legislatore europeo di rendere obbligatorio, in linea di principio, un correttivo umano per il trattamento automatizzato dei dati e di ammettere deroghe solo in limitati casi eccezionali (articolo 22, paragrafo 2, del GDPR) ad essere vanificata nel caso di specie, poiché lo scoring calcolato automaticamente assume un peso predominante nel processo decisionale del terzo titolare del trattamento.

Oltre a considerazioni generali in merito alla necessità di assicurare in maniera ampia la tutela ai singoli nei confronti di decisioni completamente automatizzate, la configurazione dell’attività di scoring quale “decisione automatizzata” ai sensi dell’art. 22 del GDPR è volta a evitare che si crei una lacuna nella protezione giuridica rispetto al concreto esercizio dei diritti riconosciuti agli interessati nei confronti del processo decisionale automatizzato: infatti, laddove si desse spazio all’interpretazione più restrittiva della norma, il soggetto da cui si dovrebbero ottenere le informazioni necessarie all’interessato – nel caso di specie Schufa – non sarebbe obbligato a fornire informazioni ai sensi dell’articolo 15, paragrafo 1, lettera h), del GDPR^[19], perché non gestisce un proprio «processo decisionale automatizzato» ai sensi di detta disposizione, e il soggetto che basa il suo processo decisionale sul calcolo automatizzato del punteggio di scoring ed è obbligato a fornire informazioni ai sensi dell’articolo 15, paragrafo 1, lettera h), del GDPR non può fornire le informazioni richieste perché non ne dispone.

Delineate quindi le ragioni che inducono il giudice amministrativo tedesco a preferire un’interpretazione ampia dell’art. 22 del GDPR, quest’ultimo ribadisce la rilevanza della questione pregiudiziale sottoposta alla Corte di Giustizia ai fini della decisione del contenzioso posto alla sua attenzione, riguardante l’ambito applicativo dell’art. 22 del GDPR. Se il calcolo di un punteggio di scoring da parte di un’agenzia di valutazione del credito fosse considerato alla stregua di una decisione autonoma ai sensi dell’articolo 22, paragrafo 1, del GDPR, tale attività sarebbe soggetta al divieto di decisioni individuali automatizzate e, per poter essere legittima, occorrerebbe un fondamento giuridico dello Stato membro, che può essere ravvisato solo nel par. 31 del BDSG. Tuttavia, secondo il giudice tedesco, sussistono seri dubbi sulla sua compatibilità con l’articolo 22 del GDPR.

Tale problema di compatibilità deriverebbe dal fatto che il GDPR prevede il potere di uno Stato membro di legiferare in materia di profilazione solo se la decisione si basa unicamente sul trattamento automatizzato, ai sensi del più volte richiamato art. 22, comma 2, lett. b). Il paragrafo 31 del BDSG, invece, prevede disposizioni indifferenziate relative allo scoring anche per quanto riguarda processi decisionali non completamente automatizzati. Sempre secondo la lettura del giudice, il legislatore tedesco, consentendo lo scoring in presenza di tutte le condizioni contemplate dalla norma suddetta, disciplina nel dettaglio una materia, quale quella delle condizioni generali di trattamento dei dati di cui all’art. 6 del GDPR, senza però averne il relativo potere normativo^[20].

L’interpretazione del par. 31 e la sua compatibilità con la normativa europea assumono rilevanza ai fini della soluzione della seconda questione pregiudiziale, da dirimere nel caso di risposta negativa alla prima questione pregiudiziale.

In particolare, qualora l’attività di scoring dovesse essere qualificata quale attività di profilazione e non quale decisione ai sensi dell’articolo 22, paragrafi 1 e 2, del GDPR, non troverebbe applicazione la clausola di riserva dell’articolo 22, paragrafo 2, lettera b) che consente ai legislatori nazionali di disciplinare i casi in cui ammettere la decisione completamente automatizzata. A causa del carattere fondamentalmente esaustivo del GDPR, diretto a un’armonizzazione completa, occorre quindi individuare un altro potere normativo a livello nazionale relativo alla sola attività di profilazione. Tuttavia, poiché secondo il giudice, tale potere non esiste, la normativa nazionale di cui all’articolo 31 del BDSG non risulta applicabile. Ciò è rilevante per il caso di specie, in quanto modifica il parametro normativo con il quale deve confrontarsi l’autorità di controllo nazionale, che quindi dovrebbe esaminare la compatibilità dell’attività delle agenzie di valutazione del credito con l’articolo 6 del GDPR e non con la norma specifica nazionale dettata proprio per l’attività di scoring.

3. La nozione di “decisione completamente automatizzata” secondo la Corte di Giustizia

Con sentenza del 7 dicembre 2023^[21], la Corte di Giustizia, superando le eccezioni di irricevibilità sollevate da Schufa^[22], si pronuncia sulla prima delle due questioni pregiudiziali sollevate dal Verwaltungsgericht di Wiesbaden.

Con riguardo all’interpretazione dell’art. 22 del GDPR, la Corte ricorda innanzitutto come l’applicabilità di tale disposizione sia soggetta al ricorrere di tre condizioni cumulative, quali: l’esistenza di una «decisione», che tale decisione sia «basata unicamente sul trattamento automatizzato, compresa la profilazione», e che la medesima produca «effetti giuridici [riguardanti l’interessato]» o incidenti «in modo analogo significativamente sulla sua persona».

Con riferimento alla nozione di «decisione», la Corte osserva che, sebbene essa non sia definita dal Regolamento, lo stesso art. 22 comprende non solo atti che producono effetti giuridici riguardanti il soggetto di cui trattasi, ma anche atti che incidono significativamente su di esso in modo analogo.

L’ampia portata rivestita dalla nozione di «decisione» sarebbe del resto confermata dal considerando 71 del GDPR, ai sensi del quale una decisione può «includere una misura» che implica la valutazione di taluni aspetti personali di un interessato e che produce «effetti giuridici che lo riguardano» o incide «in modo analogo significativamente sulla sua persona».

Poiché la nozione di «decisione» ai sensi dell’articolo 22, paragrafo 1, del GDPR può quindi includere anche atti che, pur non avendo effetti giuridici, incidono comunque in modo analogo in maniera significativa sulla persona interessata, tale nozione è sufficientemente ampia da ricomprendere il risultato del calcolo della solvibilità di una persona sotto forma di tasso di probabilità relativo alla capacità di tale persona di onorare impegni di pagamento in futuro^[23].

La Corte aggiunge poi che anche il secondo requisito è presente nel caso di specie, in quanto la decisione assunta da Schufa si fonda esclusivamente su un calcolo automatizzato di un tasso di probabilità basato su dati personali relativi a una persona e riguardante la capacità di quest’ultima di onorare un prestito in futuro.

Anche la terza condizione fissata dalla normativa europea è soddisfatta nel caso di specie, in quanto il tasso di probabilità utilizzato da Schufa incide sull’interessato in maniera significativa, non consentendogli, come nel caso di specie, di avere accesso al credito.

Tale interpretazione, sempre secondo la Corte, è corroborata dal contesto in cui si inserisce l’articolo 22, paragrafo 1, del GDPR, nonché dagli obiettivi e dalla finalità perseguiti da tale disposizione, che consistono nel proteggere le persone contro i rischi specifici per i loro diritti e le loro libertà derivanti dal trattamento automatizzato di dati personali, compresa la profilazione.

Infine, riprendendo sul punto una valutazione già compiuta dal giudice del rinvio, la Corte osserva come un’interpretazione restrittiva dell’art. 22 del GDPR comporterebbe una lacuna nella protezione giuridica per la persona soggetta al credit scoring, in quanto quest’ultima non potrebbe far valere presso la società che fornisce informazioni in merito alla sua affidabilità creditizia, il proprio diritto di accesso a tali informazioni, di cui all’articolo 15, paragrafo 1, lettera h), del GDPR, non riscontrandosi un processo decisionale automatizzato da parte di tale agenzia. D’altro canto, le informazioni sul funzionamento dell’algoritmo non potrebbero essere ottenute nemmeno dal terzo che utilizza il punteggio, che non dispone all’evidenza delle informazioni in possesso della Società che lo ha calcolato^[24], spesso coperte dal segreto industriale o commerciale^[25].

Appurato quindi che il punteggio relativo al merito creditizio compiuto da Schufa nei confronti dei soggetti interessati costituisce una decisione fondata esclusivamente su un trattamento automatizzato, lo stesso deve intendersi vietato ai sensi del Regolamento, salvo il caso in cui ricorra una delle eccezioni previste all’articolo 22, paragrafo 2, e fermo restando il rispetto delle specifiche tutele previste dall’articolo 22, paragrafi 3 e 4, di detto Regolamento.

A tal riguardo, spetta al giudice del rinvio verificare se il par. 31 del BDSG possa essere qualificato come base giuridica che autorizza, ai sensi dell’articolo 22, paragrafo 2, lettera b), del GDPR l’adozione di una decisione fondata esclusivamente su un trattamento automatizzato. Qualora tale giudice dovesse giungere alla conclusione che detto par. 31 costituisce una siffatta base giuridica, esso dovrebbe ancora verificare se le condizioni poste dall’articolo 22, paragrafi 2, lettera b), e 4, del GDPR e quelle di cui agli articoli 5 e 6 di tale regolamento siano soddisfatte nel caso di specie.

Alla luce di tutte le considerazioni che precedono, la Corte, nel rispondere alla prima questione pregiudiziale, afferma conclusivamente che l’articolo 22, paragrafo 1, del GDPR deve essere interpretato nel senso che il calcolo automatizzato, da parte di una società che fornisce informazioni commerciali, di un tasso di probabilità basato su dati personali relativi a una persona e riguardanti la capacità di quest’ultima di onorare in futuro gli impegni di pagamento costituisce un «processo decisionale automatizzato relativo alle persone fisiche», ai sensi di tale disposizione, qualora da tale tasso di probabilità dipenda in modo decisivo la stipula, l’esecuzione o la cessazione di un rapporto contrattuale con tale persona da parte di un terzo, al quale tale tasso di probabilità è comunicato.

4. Considerazioni in merito alla sentenza e sue ricadute applicative

La sentenza in questione è estremamente importante in ragione del criterio interpretativo fornito, vincolante per gli operatori giuridici, rispetto ad una nozione dai contorni sfumati qual è quella di decisione completamente automatizzata di cui all’art. 22 del GDPR.

Il primo a essere vincolato dal decisum della Corte di Giustizia è, all’evidenza, il Tribunale amministrativo di Wiesbaden, chiamato dalla Corte a verificare se il par. 31 del BDSG costituisca una base legale sufficiente a legittimare l’utilizzo di una decisione completamente automatizzata ai sensi dell’art. 22, comma 2, del GDPR, opzione rispetto alla quale, invero, il giudice a quo aveva già mostrato i suoi dubbi nell’ordinanza di rinvio.

Tuttavia, proprio all’esito di tale sentenza^[26] è stata pubblicata una bozza di legge di riforma del par. 31 BSDG, che, se approvata, potrebbe modificare gli esiti del giudizio a quo.

La bozza in discussione, ovvero il § 37a, che andrebbe a sostituire l’attuale § 31 del BDSG, prevede espressamente che il diritto di non essere oggetto di una decisione basata unicamente su un trattamento automatizzato non si applica – oltre alle eccezioni di cui all’ articolo 22, paragrafo 2, lettere a) e c)^[27] del Regolamento (UE) 2016/679 – anche nelle ipotesi in cui vengano creati o utilizzati valori probabilistici riguardanti uno specifico comportamento futuro di una persona fisica al fine di decidere in merito all’instaurazione, all’esecuzione o alla cessazione di un rapporto contrattuale con la stessa o in relazione alla sua capacità e disponibilità a onorare i propri impegni finanziari, accertata da società specializzate e comprendente informazioni sulla situazione debitoria^[28].

Qualora tale disposizione fosse approvata, dal momento che il credit scoring formulato da Schufa soddisfa entrambi i criteri previsti dalla normativa, tale modalità di calcolo del merito creditizio continuerebbe a operare^[29] e dovrebbe essere considerata legittima, almeno sotto questo profilo, dal giudice del rinvio.

In secondo luogo, la sentenza della Corte di Giustizia dispiega i propri effetti anche al di fuori del giudizio a quo e ciò, per la particolare efficacia riconosciuta alle sentenze con valenza interpretativa formulate dalla Corte all’esito di un rinvio pregiudiziale^[30], dovendosi pertanto considerare l’interpretazione dell’art. 22 del GDPR offerta dalla Corte nel caso di specie come vincolante per gli altri giudici nazionali che dovessero applicare tale disposizione^[31], salva evidentemente la possibilità riconosciuta a questi ultimi di sollevare nuovamente una questione pregiudiziale sull’interpretazione di questa disposizione.

Chiarita la portata applicativa della sentenza, con riguardo all’interpretazione della nozione di «decisione completamente automatizzata», la Corte, come detto, ne dà una lettura apparentemente ampia, al fine di offrire maggior tutela ai soggetti sottoposti ai procedimenti algoritmici.

La Corte tocca con questa sentenza uno dei profili più critici di questa definizione, ossia quando una decisione possa dirsi assunta esclusivamente dalla macchina e, di conseguenza, come deve considerarsi l’intervento umano nel processo decisionale per far inverare nel caso concreto il principio di non esclusività algoritmica^[32].

Adottando una visione realistica e decisamente pragmatica del rapporto uomo-macchina nel processo decisionale algoritmico, la Corte osserva che, anche se nei meccanismi di credit scoring esiste sempre un intervento umano, in quanto la decisione finale in merito alla conclusione del contratto è adottata da un funzionario persona fisica, la decisione di quest’ultimo non può che essere orientata – talvolta addirittura appiattendosi – dal risultato della procedura automatizzata di scoring^[33].

Tale interpretazione “autentica” dovrebbe smentire la posizione di chi ha escluso lo scoring dal raggio di applicazione dell’art. 22 proprio in ragione del fatto che non si tratterebbe di una decisione esclusivamente automatizzata^[34] abbracciando una lettura più ampia della norma che tenga conto dell’effettività e del peso da attribuire all’intervento umano nel caso di specie^[35].

Tuttavia, una lettura così ampia del concetto di “decisione”, che la Corte a ben vedere individua alla luce degli effetti a essa riconducibili, ampliandola ai casi in cui la decisione produca effetti che incidano in modo analogo significativamente sulla sua persona, è stata criticata da una parte della dottrina^[36], che ha messo in luce come una tale interpretazione sposterebbe troppo in avanti il momento in cui la “decisione” viene assunta. In questo modo, le agenzie di credito, come Schufa, devono già tenere in considerazione l’esistenza di una decisione automatizzata, anche se solo in seguito sarà chiaro se il loro punteggio sarà determinante per la decisione.

In verità, la Corte di Giustizia, condividendo l’interpretazione del giudice del rinvio, ascrive l’attività di credit scoring al concetto di “decisione”, partendo dal presupposto fattuale che il punteggio ottenuto all’esito di tale procedimento incida sempre in maniera significativa sulla decisione del funzionario di concedere o meno il prestito o di stipulare il contratto e ciò con particolare evidenza nelle ipotesi di punteggio negativo, dal quale molto difficilmente il funzionario si discosterà per compiere la propria scelta^[37].

Pur condividendo la ratio tutelante che ha ispirato, in prima battuta, il giudice del rinvio e, in seconda battuta, la Corte di Giustizia nell’interpretazione dell’art. 22 del GDPR, non si può non evidenziare come tale interpretazione sembrerebbe porsi in contrasto con il dato letterale dell’art. 22 del GDPR che parla di «decisione basata unicamente sul trattamento automatizzato» e non sembrerebbe quindi potersi applicare ai casi in cui nella procedura automatizzata si inserisca l’intervento umano.

Inoltre, anche ove si ritenesse di abbracciare la lettura della norma offerta dalla Corte, la stessa comporta una maggior incertezza nell’interpretazione della nozione di “decisione completamente automatizzata”, sostituendo a un dato oggettivamente verificabile (se vi sia stato o meno un qualche intervento umano nel processo decisionale) un altro più difficilmente accertabile (se vi sia un condizionamento significativo della scelta umana indotto dalla macchina).

Tuttavia, proprio la forzatura operata dalla Corte nell’interpretazione della norma dimostra, come già peraltro ampiamente evidenziato in dottrina^[38], l’inadeguatezza di tale normativa ai fini di garantire una tutela effettiva nei confronti delle decisioni algoritmiche.

Ciò, in particolare, alla luce delle numerose eccezioni che la norma prevede rispetto alla sua applicazione, che ne svuotano la portata applicativa^[39].

Della sostanziale volatilità dell’art. 22 del GDPR in chiave tutelante rispetto alle decisioni completamente automatizzate la vicenda qui in esame costituisce ulteriore preziosa testimonianza: infatti, il divieto di essere sottoposti a una decisione completamente automatizzata, quale a oggi risulta riconducibile l’attività di credit scoring condotta da Schufa, sarebbe neutralizzato qualora venisse effettivamente introdotto nel BDSG il par. 37a che potrebbe costituire, come visto, una idonea base legale.

Ora, alla luce della difficoltà dell’art. 22 del GDPR di offrire una tutela adeguata in capo ai soggetti interessati da procedimenti di credit scoring, nonostante gli sforzi interpretativi della Corte di Giustizia, può essere utile verificare come questo tipo di procedimenti sia disciplinato dal Regolamento 2024/1689 del Parlamento europeo e del Consiglio del 13 giugno 2024 che stabilisce regole armonizzate sull’intelligenza artificiale^[40].

5. Requisiti di ammissibilità del credit scoring tra GDPR e AI ACT

Il Regolamento 2024/1689 costituisce un cambio di passo da parte della Com­missione rispetto ai precedenti tentativi di regolazione dell’intelligenza artificiale, nato dalla necessità di dotare l’Unione europea di un impianto normativo che assicuri un approccio coordinato a livello europeo sulle implicazioni umane ed etiche dell’intelligenza artificiale (di seguito anche IA)^[41].

Si tratta, invero, del primo tentativo di regolazione cogente^[42] rispet­to ai precedenti atti di soft law elaborati a livello dell’Unione europea in questa materia, tra i quali si ricordano le risoluzioni del Parlamen­to europeo sui principi etici dell’IA, della robotica e delle tecnologia correlata e sul regime di responsabilità civile per l’IA^[43] e, più recente­mente, sull’uso dell’IA^[44], il Libro Bianco sull’Intelligenza Artificiale della Commissione e infine le linee guida in materia di Trustworthy AI elaborate dall’High Level Expert Group on AI^[45].

Il Regolamento qui in esame si configura come un modello di regolazione fondato sulla gestione del rischio^[46]: in particolare sono individuate quattro diverse categorie di IA a seconda del rischio che le caratterizza, cui corrisponde un diverso regime regolatorio: accanto ai sistemi vietati in assoluto^[47] perché comportanti un rischio inaccettabile e ai sistemi con rischio limitato^[48] o minimo^[49], la categoria più interessante è costituita dai sistemi a rischio elevato^[50], individuati all’allegato III del Regolamento unitamente a tutti i sistemi che vengono usati per i componenti di sicurezza di un prodotto^[51].

Tra i sistemi ad alto rischio sono compresi i sistemi di IA destinati a essere utilizzati per valutare l’affidabilità creditizia delle persone fisiche o per stabilire il loro merito di credito, a eccezione dei sistemi di IA utilizzati allo scopo di individuare frodi, con ciò attuando il Considerando 58 del Regolamento che ritiene opportuna tale qualificazione «in quanto determinano l’accesso di tali persone alle risorse finanziarie o a servizi essenziali quali l’alloggio, l’elettricità e i servizi di telecomunicazione. I sistemi di IA utilizzati a tali fini possono portare alla discriminazione fra persone o gruppi e possono perpetuare modelli storici di discriminazione, come quella basata sull’origine razziale o etnica, sul genere, sulle disabilità, sull’età o sull’orientamento sessuale, o possono dar vita a nuove forme di impatti discriminatori»^[52].

Ora, per i sistemi ad alto rischio, e quindi anche, come visto, per i sistemi di credit scoring, la normativa UE onera i fornitori di tali sistemi^[53] a compiere una vasta gamma di attività per mitigare il rischio di errori o discriminazioni.

In primo luogo, il sistema di gestione del rischio deve assicurare la qualità dei dati immessi^[54] che devono essere completi ed esenti da errori e sottoposti ad adeguati meccanismi di governance^[55].

Ancora, i sistemi di IA ad alto rischio devono essere progettati e sviluppati in modo tale da conseguire, alla luce della loro finalità prevista, un adeguato livello di accuratezza, robustezza e cybersicurezza che deve essere assicurato per tutto il loro ciclo di vita (art. 15).

Per scongiurare l’effetto black box, i sistemi di IA ad alto rischio sono progettati e sviluppati in modo tale da garantire che il loro funzionamento sia sufficientemente trasparente in modo da consentire una corretta interpretazione del risultato ottenuto dal sistema e un suo utilizzo adeguato (art. 13)^[56].

Per consentire ciò, ogni sistema ad alto rischio deve essere accompagnato da istruzioni per l’uso che contengano informazioni sintetiche, complete, corrette e comprensibili agli utenti.

In particolare, devono essere indicati la finalità prevista dal sistema di IA, il suo livello di accuratezza, robustezza e cybersicurezza, le caratteristiche dei dati immessi nel sistema, delle loro modalità di addestramento e di validazione.

La garanzia di conoscibilità e comprensione della logica algoritmica è funzionale altresì alla possibilità di condurre sugli stessi una efficace supervisione umana, così come prevista e disciplinata dall’art. 14 del Regolamento stesso.

La supervisione umana serve a prevenire o ridurre al minimo i rischi per la salute, la sicurezza o i diritti fondamentali che possono emergere anche quando un sistema di IA ad alto rischio è utilizzato conformemente alla sua finalità prevista o in condizioni di uso improprio ragionevolmente prevedibile, in particolare quando tali rischi persistono nonostante l’applicazione di tutte le accortezze e garanzie sopra viste.

La disposizione riprende il diritto a non essere sottoposto a un trattamento completamente automatizzato già previsto dall’art. 22 del GDPR, rendendolo tuttavia più concreto e superando le molte eccezioni che, come visto, lo contraddistinguevano e svuotavano, di fatto, la portata della regola.

Nello specifico, il soggetto preposto alla supervisione dovrà comprendere appieno le capacità e i limiti del sistema di IA ad alto rischio ed essere in grado di monitorarne debitamente il funzionamento, in modo che i segnali di anomalie, disfunzioni e prestazioni inattese possano essere individuati e affrontati quanto prima. Deve essere in grado, altresì, di interpretare correttamente l’output del sistema di IA ad alto rischio, tenendo conto, in particolare, delle caratteristiche del sistema, degli strumenti e dei metodi di interpretazione disponibili.

Inoltre la supervisione deve essere effettuata in maniera critica, ovvero il supervisore deve restare consapevole della possibile tendenza a fare automaticamente affidamento o a fare eccessivo affidamento sull’output prodotto da un sistema di IA ad alto rischio (“distorsione dell’automazione”)^[57], in particolare per i sistemi di IA ad alto rischio utilizzati per fornire informazioni o raccomandazioni per le decisioni che devono essere prese da persone fisiche, come per l’appunto, i sistemi di credit scoring.

Ciò che è interessante notare ai nostri fini è che il sistema di garanzie pensato dal Regolamento opera sempre e comunque per i sistemi di credit scoring, a prescindere da una valutazione di rilevanza del punteggio rispetto alla decisione finale del funzionario di stipulare o meno un contratto o di concedere o meno un prestito^[58] e questo in virtù della sua qualificazione quale sistema ad alto rischio, dovuta, come menzionato, agli effetti potenzialmente nocivi derivanti all’interessato dal suo funzionamento e utilizzo.

In attesa dell’effettiva entrata in vigore delle disposizioni del Regolamento in relazione ai sistemi ad alto rischio che, come visto, è prevista per il 2 agosto 2026, la questione dell’ammissibilità del sistema di credit scoring utilizzato dalla società Schufa rimane sotto l’egida del Verwaltungsgericht di Wiesbaden, chiamato a verificare se la normativa nazionale costituisce una idonea base legale per poter legittimare, in questi casi, la sottoposizione dell’interessato a una decisione completamente automatizzata.

A prescindere dall’esito del giudizio a quo, la sentenza si presta comunque a un ragionamento più ampio, proprio in virtù della sua peculiare portata applicativa e della valenza “autentica” riconosciuta alla Corte di Giustizia in sede di rinvio pregiudiziale.

Può allora essere interessante verificare l’applicazione dei principi espressi dalla Corte anche alle decisioni amministrative algoritmiche, per le quali, come si vedrà, la “riserva di umanità” presenta una connotazione particolare.

6. Considerazioni conclusive: uno sguardo sulla decisione amministrativa algoritmica

Per dottrina sostanzialmente pacifica^[59], l’art. 22 del GDPR trova applicazione anche con riferimento alle decisioni amministrative completamente automatizzate, trattandosi di atti che, usando le parole del medesimo articolo, producono effetti giuridici nella sfera dell’interessato^[60].

Tuttavia, è proprio con riferimento a questo settore che si è potuto evidenziare il sostanziale svuotamento della portata del diritto a non essere sottoposti a una decisione completamente automatizzata contenuto all’art. 22, in quanto, come evidenziato dalla dottrina^[61], il successivo articolo 23 prevede che l’applicazione di questo diritto possa essere limitata sia da norme di diritto UE che da norme di diritto nazionale qualora tale limitazione rispetti l’essenza dei diritti e delle libertà fondamentali e sia una misura necessaria e proporzionata in una società democratica per salvaguardare tutta una serie di interessi pubblici elencati nel proseguo dell’articolo, che esauriscono o quasi, l’ambito dei compiti svolti dalle Amministrazioni Pubbliche.

Ciò ha indotto la giurisprudenza amministrativa, nel c.d. caso “Buona Scuola”^[62] a elaborare dei principi di legalità algoritmica che, pur partendo dalla normativa europea e in particolare dallo stesso art. 22 del GDPR, meglio si attagliassero alla realtà propria del procedimento amministrativo, facendo in modo che la scelta di ricorrere alla decisione algoritmica, dettata da ragioni di efficienza e speditezza dell’azione amministrativa, non facesse venir meno la congerie di garanzie previste nel procedimento amministrativo condotto con modalità tradizionali^[63].

Tra queste garanzie, il Consiglio di Stato, nella sentenza n. 8472/2019 prevede, tra l’altro^[64], il principio di non esclusività della decisione algoritmica, in forza del quale deve «esistere nel processo decisionale un contributo umano capace di controllare, validare ovvero smentire la decisione automatica».

In una sentenza successiva^[65], sempre relativa al medesimo filone giurisprudenziale del caso “Buona scuola”, il Consiglio di Stato approfondisce espressamente il principio di non esclusività algoritmica, ricavato espressamente dall’art. 22 del GDPR^[66], precisando «per ogni ipotesi di utilizzo di algoritmi in sede decisoria pubblica: a) la piena conoscibilità a monte del modulo utilizzato e dei criteri applicati; b) l’imputabilità della decisione all’organo titolare del potere, il quale deve poter svolgere la necessaria verifica di logicità e legittimità della scelta e degli esiti affidati all’algoritmo».

In altre parole, con riferimento alle decisioni adottate dalle pubbliche amministrazioni, è necessario garantire la “riserva di umanità”^[67] nel procedimento algoritmico e l’imputabilità della decisione in capo al responsabile del procedimento o comunque al soggetto a ciò designato^[68].

Tale principio trova oggi, peraltro, esplicito riconoscimento a livello normativo nel nuovo codice dei contratti pubblici^[69] che disciplina l’uso delle procedure automatizzate nel ciclo di vita degli appalti, anche con il ricorso a sistemi di intelligenza artificiale^[70].

Tuttavia, è proprio con riferimento all’applicazione concreta di questo principio che la dottrina ha riscontrato le maggiori criticità^[71], evidenziando il rischio, vista l’autonomia dei sistemi di IA, che il controllo umano si riveli una “illusione di controllo”^[72].

Il rischio in questione non è puramente teorico, se si tiene a mente che diverse amministrazioni^[73] hanno iniziato ad utilizzare sistemi di IA che sfruttano meccanismi di Machine Learning per l’esercizio di alcune funzioni loro affidate.

Sebbene, per il momento, l’utilizzo di tali sistemi sia limitato alle fasi del procedimento prodromiche all’emanazione del provvedimento finale, che rimane, almeno formalmente in capo al funzionario, è evidente il rischio che la decisione del funzionario si appiattisca sul risultato dell’istruttoria condotta con modalità algoritmiche^[74] e ciò anche per l’attitudine mostrata dall’amministrazione italiana a rifugiarsi in pratiche di “burocrazia difensiva”^[75].

Il meccanismo sopra descritto, a ben vedere, è il medesimo che la Corte di Giustizia ha stigmatizzato nella sentenza qui in esame, e che l’ha indotta a qualificare il procedimento di credit scoring alla stregua di una decisione completamente automatizzata anche nei casi in cui la decisione finale sia adottata da una persona fisica, che si limiti tuttavia a recepire i risultati del punteggio in maniera acritica, non esercitando alcun controllo umano effettivo.

Tuttavia, nell’ambito delle decisioni amministrative algoritmiche, la mancanza di un controllo umano effettivo e quindi, l’impossibilità di riferire la scelta all’organo a ciò incaricato per legge, ha delle ulteriori conseguenze, comportando sempre e irrimediabilmente l’illegittimità del provvedimento così emanato per violazione dei principi di legalità algoritmica espressi dalla giurisprudenza e oggi previsti, sia pure limitatamente alle procedure di affidamento dei contratti pubblici, dal D.lgs. n. 36/2023.

1. Secondo il Glossario della Banca di Italia per credit scoring si intende un sistema automatizzato adottato dalle banche e dagli intermediari finanziari per valutare le richieste di finanziamento della clientela (in genere per la concessione del credito al consumo). Esso si basa su sistemi automatizzati che prevedono l’applicazione di metodi o modelli statistici per valutare il rischio creditizio, e i cui risultati sono espressi in forma di giudizi sintetici, indicatori numerici o punteggi, associati all’interessato, diretti a fornire una rappresentazione, in termini predittivi o probabilistici, del suo profilo di rischio, affidabilità o puntualità nei pagamenti. ↑
2. Il nome completo della società è Schufa Holding AG, acronimo di Schutzgemeinschaft für allgemeine Kreditsicherung. Sulla rilevanza dell’attività di questa società nell’economia tedesca si confronti U. Wiedemann, Die rechtliche Stellung der Verbraucher unter Berücksichtigung der jüngsten Rechtsprechung des Europäischen Gerichtshofs, in Verbraucher und Recht, 2024, p. 175, il quale osserva come: «Sie ist in den letzten Jahrzehnten noch einmal erheblich gewachsen und umfasst mittlerweile fast alle Lebensbereiche». ↑
3. Si tratta di software che impiegano meccanismi di Machine Learning fondati su algoritmi di tipo probabilistico, che possono produrre output diversi a partire da uno stesso insieme di dati, dal momento che ad un input immes­so corrispondono più passi successivi nell’elaborazione dell’algoritmo, ognuno dei quali ha una certa probabilità di essere scelto. Nel caso del Machine Learning, è l’algoritmo che consente ai dati stessi di determinare come le informazioni contenute in input variabili siano messe insieme per prevedere il valore di un output a sua volta variabile. In pratica, il sistema è in grado da solo di apprendere correlazioni e modelli per generare predizioni o per acquisire comprensione di un determinato fenomeno: l’apprendimento avviene in maniera continuativa, in quan­to l’algoritmo cerca costantemente di migliorare le proprie performance per raggiungere un determinato obiettivo. L’algoritmo posto alla base del sistema di machine learning può essere un algoritmo supervisionato o non supervisionato: nel primo caso i dati immessi nella macchina sono già stati classificati o etichettati dallo sviluppatore del software e pertanto, quando il sistema si troverà di fronte ad un problema o un quesito cui risponderà attingendo ai dati che sono stati inseriti. Nel caso, invece, di algoritmi non supervisionati, il sistema attinge a dati che non sono stati precedentemente classificati o codificati, ma a dati grezzi ed eterogenei, senza avere alcuna guida sul loro utilizzo e quindi senza sapere quali sono i risultati attesi a seconda della scelta effettuata. In questa ipotesi è il sistema stesso che deve classificare i dati che sono in esso inseriti, apprendendo autonomamente il loro significato e il risultato cui essi portano che non è predeterminato. Sul funzionamento di questo tipo di algoritmi si confronti C. Coglianese, D. Lehr, Regulating by Robot: Administrative Decision Making in the Machine-Learning Era, in The Georgetown Law Journal, vol. 105, 2017, p. 1156. Sul ruolo della componente umana nello sviluppo, utilizzo e controllo degli algoritmi posti alla base del machine learning si confronti C. Coglianese, D. Lehr, Transparency and Algorithmic Governance, in Administrative Law Review, 2019, 15. ↑
4. Sui sistemi di social scoring si confronti il recente lavoro di G. Cerrina Feroni, Intelligenza artificiale e sistemi di “scoring” sociale. Tra distopia e realtà, in Dir. inf., 2023, p. 1. Molto interessante è l’analisi condotta sul sistema di social scoring utilizzato dal Governo Cinese, noto come il Sistema di Credito Sociale (SCS), del quale si evidenziano le ricadute concrete sulla vita delle persone ad esso sottoposte, «Per quanto riguarda i cittadini, sono già riscontrabili esempi di punizioni causate dalla violazione dei protocolli sociali: il sistema ha già negato a nove milioni di persone con “punteggi bassi” il diritto di comprare voli domestici. Il sistema risulta utilizzato anche per escludere la possibilità a genitori di iscrivere i loro figli in determinate scuole, proibire a coloro che hanno un punteggio basso di affittare camere d’albergo, di usare carte di credito, e per inserire in una black list determinati individui con l’obiettivo di precludergli l’ottenimento di lavoro. Il sistema è applicato in funzione anche di valutare le abitudini di navigazione su internet della gente (troppo tempo passato giocando ai video giochi riduce il punteggio), le abitudini riguardanti gli acquisti e una varietà di azioni personali e assolutamente innocue che non hanno alcun impatto sulla comunità» (p. 4). ↑
5. Così E. Faletti, Alcune riflessioni sull’applicabilità dell’art. 22 GDPR in materia di scoring creditizio, in Dir. inf., 2024, p. 113. ↑
6. Ciò può dipendere da errori legati ai dati che sono immessi, oppure, più spesso, ad errori nella fase di programmazione, in cui il comando giuridico si trasforma in linguaggio algoritmico. In realtà, il calcolo algoritmico su vasta scala pone sempre un problema di affidabilità e un invisibile margine di errore, il quale è ridotto attraverso approssimazioni o perdite di precisione del sistema. L’errore contenuto nell’algoritmo, prima di essere scoperto e corretto, può riprodursi per un numero potenzialmente infinito di volte con grave danno dei soggetti coinvolti. Su questi aspetti si confronti K. Citron, Technological Due Process, in Washington Law Review, 2008, p. 1261. ↑
7. E. Mostacci, L’intelligenza artificiale in ambito economico e finanziario, in DPCEonline.it, 1, 2022, p. 367, il quale evidenzia in quale modo il sistema di credit scoring possa avere effetti discriminatori verso un determinato gruppo sociale «È il caso dell’utilizzo di categorie stereotipate, come ad esempio l’appartenenza a una minoranza razziale, i cui membri provengano in genere dalle classi meno abbienti. Ora, date le premesse è evidente che ci possa essere una correlazione statisticamente significativa tra l’appartenenza alla minoranza e il maggior rischio di credito. Tuttavia, è la relazione causa effetto ad essere criticabile: non è l’appartenenza alla minoranza, ma la peggiore condizione economica a rendere più probabile il mancato adempimento alle proprie obbligazioni contrattuali». Sul punto si confronti anche U. Wiedemann, Die rechtliche Stellung der Verbraucher, cit., p. 181, il quale mette in evidenza, con tre distinti esempi, come la decisione sul merito creditizio compiuta da queste società non sia sempre fondata su rigororsi parametri scientifici, a svantaggio dei consumatori. ↑
8. Le nuove tecniche di Machine Learning sono per natura opache, delle vere e proprie black box difficilmente espugnabili. Ciò deriva anche dal fatto che gli algoritmi di apprendimento sono dinamici, si autoimplementano e migliorano sulla base dell’esperienza. Per questo non è sempre spiegabile e comprensibile perché e in quale modo l’algoritmo abbia formulato quella risposta in quel caso, sfuggendo dal paradigma epistemologico causale sul quale si fondano le decisioni umana. Oltre a questa forma intrinseca di opacità, ve ne sono altre due che si accompagnano: da un lato, il funzionamento dell’algoritmo potrebbe essere coperto dal segreto industriale, a tutela della compagnia privata che lo ha ideato e messo a disposizione di una pubblica amministrazione. Dall’altro, anche ove l’algoritmo fosse reso accessibile, il linguaggio con cui è scritto sarebbe comprensibile solo ad una stretta cerchia di esperti in grado di decifrarlo e di riprodurne il contenuto in un linguaggio accessibile a tutti. Su questi aspetti si confronti, ex multis, J. Burrell, How the machine ‘thinks’: Understanding opacity in machine learning algorithms, in Big data and society, 2016, p. 1; F. Pasquale, The Black Box Society. The Secret Algorithms That Control Money and Information, Cambridge, Massachusetts, 2015; C. Coglianese, D. Lehr, Transparency and algorithmic governance, cit., p. 4. ↑
9. In Germania ogni Land ha un proprio Garante della privacy. Nella maggior parte dei casi questo funzionario è responsabile sia per il settore pubblico che per quello privato. L’unica eccezione è rappresentata dalla Baviera, dove il responsabile statale della protezione dei dati è responsabile solo della protezione dei dati nel settore pubblico, mentre per il settore privato è responsabile l’Ufficio statale per il controllo della protezione dei dati di Ansbach (Landesamt für Datenschutzaufsicht). L’Incaricato federale per la protezione dei dati e la libertà d’informazione (BfDI), a sua volta, è responsabile di tutte le autorità federali. Anche le aziende del settore delle telecomunicazioni e delle poste rientrano nelle sue competenze. Il Commissario federale per la protezione dei dati e le 17 autorità statali formano insieme la Conferenza delle autorità federali e statali indipendenti per la protezione dei dati, che dovrebbe consentire un coordinamento reciproco. ↑
10. La norma regola in maniera puntuale, da un lato il ricorso a un tasso di probabilità di un certo comportamento futuro di una persona fisica allo scopo di decidere sulla stipulazione, sull’attuazione o sulla cessazione di un contratto con tale persona («scoring») che è consentito solo se: «1. le disposizioni della normativa sulla protezione dei dati sono state rispettate;2. i dati utilizzati per il calcolo probabilistico risultano in maniera comprovata rilevanti per il calcolo del tasso di probabilità del comportamento specifico, sulla base di un procedimento matematico-statistico scientificamente riconosciuto;

    3. per il calcolo del tasso di probabilità non sono stati utilizzati esclusivamente dati relativi all’indirizzo, e

    4. in caso di utilizzo di dati relativi all’indirizzo, la persona interessata è stata informata dell’utilizzo previsto di tali dati prima del calcolo probabilistico; l’informazione dev’essere documentata».

    Dall’altro, il secondo comma, disciplina in maniera ancora più specifica il ricorso a un tasso di probabilità calcolato da agenzie di valutazione del credito, relativo alla solvibilità e alla disponibilità a pagare di una persona fisica, laddove includa informazioni sui crediti, che è consentito «solo se sussistono le condizioni di cui al paragrafo 1 ed esclusivamente se si tratta di crediti relativi a prestazioni dovute e non adempiute, malgrado la scadenza,

    1. che sono stati accertati con sentenza definitiva o provvisoriamente esecutiva o per i quali esiste un titolo di credito ai sensi dell’articolo 794 del Zivilprozessordnung (codice di procedura civile);

    2. che sono stati accertati ai sensi dell’articolo 178 dell’Insolvenzordnung (legge in materia di procedure di insolvenza) e non sono stati contestati dal debitore in sede di verifica;

    3. che il debitore ha espressamente riconosciuto;

    4. relativamente ai quali

    a) il debitore è stato sollecitato per iscritto almeno due volte dopo la data di scadenza del credito,

    b) sono trascorse almeno quattro settimane dal primo sollecito,

    c) il debitore è stato informato previamente – ma non prima del primo sollecito – di una possibile valutazione da parte di un’agenzia di valutazione del credito, e

    d) non vi è stata contestazione da parte del debitore, oppure

    5. derivanti da un rapporto contrattuale che può essere risolto senza preavviso a causa di ritardi di pagamento e relativamente ai quali il debitore è stato previamente informato di una possibile valutazione da parte di un’agenzia di valutazione del credito.

    Resta salva la liceità del trattamento – incluso il calcolo di tassi di probabilità – di altri dati rilevanti relativi alla solvibilità ai sensi della normativa generale sulla protezione dei dati». Secondo T. Lapp, § 31 BDSG, in P. Gola, D. Heckmann (a cura di), DS-VGO-BDSG Kommentar, C.H.Beck, Monaco di Baveria, Germania, 2022, Rn. 36, la necessità di disciplinare in maniera specifica il ricorso a un tasso di probabilità relativo alla solvibilità e alla disponibilità a pagare di una persona fisica deriva dal fatto che, per calcolare questo tasso, sono impiegati dati negativi, ad esempio informazioni sulla cancellazione di un prestito o su crediti insoluti e non contestati che, secondo la disposizione qui in analisi, possono essere utilizzati solo se l’incapacità o la non volontà di pagare del soggetto interessato sia stata stabilita in modo “certo”. ↑

11. Gesetz zur Anpassung des Datenschutzrechts an die Verordnung (EU) 2016/679 und zur Umsetzung der Richtlinie (EU) 2016/680 (Datenschutz-Anpassungs- und -Umsetzungsgesetz EU – DSAnpUG-EU). Si tratta della legge, di livello federale, con la quale la Germania ha dato attuazione al GDPR (Regolamento 2016/679/UE). Nonostante il Regolamento generale sulla protezione dei dati abbia portata generale, sia obbligatorio in tutti i suoi elementi e sia direttamente applicabile in ciascuno degli Stati membri, esso contiene varie clausole cosiddette di riserva, che danno agli Stati membri un certo margine di manovra. In considerazione della concessione di tali poteri normativi, è stato approvata la Bundesdatenschutzgesetz il cui paragrafo 31, come visto alla nota precedente, contiene disposizioni dettagliate sul credit scoring. Sulle modalità di attuazione del GDPR in Germania si confronti J. Kühling, M. Martini, Die Datenschutz-Grundverordnung: Revolution oder Evolution im europäischen und deutschen Datenschutzrecht?, in Europäische Zeitschrift für Wirtschaftsrecht, 2016, pp. 448 ss. ↑
12. L’attribuzione al giudice amministrativo della giurisdizione sulle controversie contro gli atti delle autorità di controllo in materia di protezione dei dati personali, sia di livello statale sia di livello federale, è disposta dal par. 20 della BDSG che attua quanto previsto dall’art. 78 del GDPR in relazione al diritto a un ricorso giurisdizionale effettivo nei confronti dell’autorità di controllo. In Italia, invece, come noto, la tutela contro i provvedimenti assunti dal Garante per la protezione dei dati personali è affidata al giudice ordinario e segue il procedimento disciplinato dall’art. 10 del d.lgs. n. 150/2011 e ciò ai sensi dell’art. 152 del d.lgs. n. 196/2003, che attribuisce al giudice ordinario non solo «tutte le controversie che riguardano le materie oggetto dei ricorsi giurisdizionali di cui agli articoli 78 e 79 del Regolamento» ma anche «quelle comunque riguardanti l’applicazione della normativa in materia di protezione dei dati personali». L’estensione della giurisdizione del giudice ordinario a tutte le controversie riguardanti l’applicazione della normativa in materia di protezione dei dati personali ha indotto alcuni interpreti a ritenere che si tratti di un’ipotesi di giurisdizione esclusiva del giudice ordinario, per cui la materia apparterrebbe in toto a siffatto giudice, indipendentemente dalle posizioni giuridiche soggettive che possono venire in rilievo.In questo senso si confronti F. Midiri, Il diritto alla protezione dei dati personali. Regolazione e tutela, Editoriale Scientifica, Napoli, 2017, pp. 298 e ss. Ritiene condivisibile la scelta di attribuire la tutela in questa materia al giudice ordinario, trattandosi di offrire tutela a un diritto della personalità R. Giordano, La tutela amministrativa e giurisdizionale dei dati personali, in V. Cuffaro, R. D’Orazio, V. Ricciuto (a cura di), I dati personali nel diritto europeo, Giappichelli, Torino, 2019, p. 1010. ↑
13. L’art. 22 del GDPR disciplina il c.d. “principio di non esclusività algoritmica”, prevedendo che: «l’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona». Già l’enunciazione del principio generale sconta però delle criticità, legate alla difficoltà di interpretare la nozione di decisione che “incida in modo analogo significativamente sulla persona”, come, infatti, sottolineato da C. Sarra, ICT 2.0. Decisioni automatizzate e sistemi contestabili: la via antica alla vera innovazione, in C. Sarra (a cura di), Il mondo-dato. Saggi su datificazione e diritto, Cleup, Padova, 2019, p. 137. Il principio generale soffre poi di diverse eccezioni, che consentono la decisione automatizzata nel caso in cui a) sia necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento, b) sia autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato, c) si basi sul consenso esplicito dell’interessato. Secondo A. Simoncini, Profili costituzionali della decisione algoritmica, in Riv. trim. dir. pubbl., 4 2019, pp. 1172-1173 «È evidente che la portata delle eccezioni è, nei fatti, amplissima tanto che verrebbe da chiedersi se, in realtà, residui uno spazio residuo effettivo per la regola». ↑
14. L’art. 22, comma 3, del GDPR prevede che: «Nei casi di cui al paragrafo 2, lettere a) e c), il titolare del trattamento attua misure appropriate per tutelare i diritti, le libertà e gli interessi legittimi dell’interessato, almeno il diritto di ottenere l’intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione». ↑
15. Sullo strumento del rinvio pregiudiziale si confronti, ex multis, D.U. Galetta, Rinvio pregiudiziale alla Corte di Giustizia UE ed obbligo di interpretazione conforme del diritto nazionale: una rilettura nell’ottica del rapporto di cooperazione (leale) fra giudici, in Riv. it. dir. pubbl. com., 2, 2012, pp. 431 ss. In giurisprudenza si confronti Cort. giust., Grande Sezione, sentenza 6 ottobre 2021, C-561/19, Consorzio Italian Management e Catania Multiservizi SpA c. Rete Ferroviaria Italiana SpA, ECLI:EU:C:2021:799 per la quale: «occorre rammentare che il procedimento di rinvio pregiudiziale previsto dall’articolo 267 TFUE, che costituisce la chiave di volta del sistema giurisdizionale istituito dai trattati, instaura un dialogo da giudice a giudice tra la Corte e i giudici degli Stati membri che mira ad assicurare l’unità di interpretazione del diritto dell’Unione, permettendo così di garantire la coerenza, la piena efficacia e l’autonomia di tale diritto nonché, in ultima istanza, il carattere peculiare dell’ordinamento istituito dai trattati [v., in tal senso, parere 2/13 (Adesione dell’Unione alla CEDU), del 18 dicembre 2014, EU:C:2014:2454, punto 176 e giurisprudenza ivi citata, nonché sentenza del 6 marzo 2018, Achmea, C‑284/16, EU:C:2018:158, punto 37]. Infatti, il meccanismo pregiudiziale istituito da tale disposizione mira a garantire in ogni circostanza al diritto dell’Unione la stessa efficacia in tutti gli Stati membri e a prevenire così divergenze interpretative di quest’ultimo che i giudici nazionali devono applicare e tende a garantire quest’applicazione, conferendo al giudice nazionale un mezzo per eliminare le difficoltà che possa generare il dovere di dare al diritto dell’Unione piena esecuzione nella cornice dei sistemi giurisdizionali degli Stati membri. Pertanto, i giudici nazionali hanno la più ampia facoltà, se non l’obbligo, di adire la Corte qualora ritengano che una causa pendente dinanzi ad essi sollevi questioni implicanti un’interpretazione o una valutazione della validità delle norme giuridiche dell’Unione che impongano una decisione da parte loro [v., in tal senso, parere 1/09 (Accordo relativo alla creazione di un sistema unico di risoluzione delle controversie in materia di brevetti), dell’8 marzo 2011, EU:C:2011:123, punto 83 e giurisprudenza ivi citata]. Il sistema introdotto dall’articolo 267 TFUE istituisce, pertanto, una cooperazione diretta tra la Corte e i giudici nazionali, nell’ambito della quale questi ultimi partecipano strettamente alla corretta applicazione e all’interpretazione uniforme del diritto dell’Unione, nonché alla tutela dei diritti attribuiti da quest’ultimo ai singoli». ↑
16. Secondo consolidata giurisprudenza della Corte di Giustizia (Corte giust., ordinanza 13 gennaio 2010, C-292/09, Calestani, ECLI:EU:C:2010:7, p.ti 22 e 23; Corte giust., sentenza 19 aprile 2007, C-295/05, Asociación Nacional de Empresas Forestales (Asemfo), ECLI:EU:C:2007:227, punto 33, e sentenza del 31 gennaio 2008, C- 380/05, Centro Europa 7, ECLI:EU:C:2008:59, punto 54, nonché ordinanza 17 settembre 2009, causa C-181/09, Canon Kabushiki Kaisha, ECLI:EU:C:2009:565, punto 10) è indispensabile che il giudice nazionale precisi, nella stessa decisione di rinvio, il contesto di fatto e normativo della causa principale fornendo un minimo di spiegazioni sui motivi della scelta delle disposizioni comunitarie di cui chiede l’interpretazione nonché il nesso individuato tra quelle disposizioni e la normativa nazionale applicabile alla controversia principale. La Corte ha parimenti insistito sull’importanza dell’indicazione, da parte del giudice nazionale, dei motivi precisi che l’hanno indotto ad interrogarsi sull’interpretazione del diritto comunitario e a ritenere necessaria la sottoposizione di questioni pregiudiziali alla Corte (Corte giust., sentenza 6 dicembre 2005, cause riunite C-453/03, C-11/04, C-12/04 e C-194/04, ABNA e a., ECLI:EU:C:2005:741, punto 46, nonché ordinanza 13 giugno 2007, cause riunite C-72/07 e C-11/07, Blanco Pérez e Chao Gómez, ECLI:EU:C:2007:336, punto 18, e ordinanza 17 settembre 2009, cause riunite C-404/08 e C-409/08, Investitionsbank Sachsen-Anhalt, ECLI:EU:C:2009:563, punto 30). ↑
17. Secondo l’articolo 4, punto 4, del GDPR per profilazione si intende «qualsiasi forma di trattamento automatizzato di dati personali consistente nell’utilizzo di tali dati personali per valutare determinati aspetti personali relativi a una persona fisica, in particolare per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze personali, gli interessi, l’affidabilità, il comportamento, l’ubicazione o gli spostamenti di detta persona fisica». In dottrina, sulla profilazione si confronti, ex multis, E. Pellecchia, Privacy, decisioni automatizzate e algoritmi, in E. Tosi (a cura di), Privacy digitale. Riservatezza e protezione dei dati personali tra GDPR e nuovo Codice Privacy, Giuffrè, Milano, 2019, pp. 417 ss.; R. Messinetti, Trattamento dei dati per finalità di profilazione e decisioni automatizzate, in N. Zorzi Galgano (a cura di), Persona e mercato dei dati. Riflessioni sul GDPR, Wolters Kluwer, Milano, 2019, pp. 167 ss.; A. De Franceschi, sub Articolo 4, in R. D’orazio, G. Finocchiaro, O. Pollicino, G. Resta (a cura di), Codice della privacy e data protection, Giuffrè, Milano, 2021, pp. 153 ss. ↑
18. In questo senso si esprimono S. Schulz, § 22 DS-GVO, in P. Gola, D. Heckmann (a cura di), DS- GVO BDSG Kommentar, cit., Rn. 1-5; M. Martini, Art. 22, in B.P. Paal, D.A. Pauly (a cura di), Datenschutz-Grundverordnung Bundesdatenschutzgesetz: DS-GVO BDSG Kommentar, C.H.BECK, Monaco di Baveria,, Germania, 2021, Rn 1-2. Inizio moduloFine modulo ↑
19. L’art. 15, comma 1, lett. h) del GDPR prevede che l’interessato sia reso edotto dell’ esistenza di un processo decisionale automatizzato, compresa la profilazione di cui all’’articolo 22, paragrafi 1 e 4, e, almeno in tali casi, gli siano fornite informazioni significative sulla logica utilizzata, nonché l’ importanza e le conseguenze previste di tale trattamento per l’interessato. Sul diritto a ottenere informazioni specifiche nei casi di processi decisionali completamente automatizzati si confronti S. Wachter, B. Mittelstadt, L. Floridi Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation, in International Data Privacy Law, Vol. 7, no. 2, 2017, p. 78, ove si distingue tra il “diritto alla spiegazione” esercitato ex ante e quello esercitato ex post, con un esempio proprio in materia di credit scoring: «An example may help clarify how these distinctions interact. Take an automated credit scoring system. Prior to a decision being made (ex ante), the system provider can inform the data subject about the system functionality, including the general logic (such as types of data and features considered, categories in the decision tree), purpose or significance (in this case, to assign a credit score), and envisaged consequences (eg the credit score can be used by lenders to assess credit worthiness, affecting the terms of credit such as interest rate). After a decision has been made (ex post), an explanation of system functionality can still be provided to the data subject. However, the provider can also explain to the data subject the logic and individual circumstances of their specific decision, such as her credit score, the data or features that were considered in her particular case, and their weighting within the decision tree or model». ↑
20. Sulla mancanza di una riserva normativa nazionale per l’attuazione del GDPR si confronti T. Lapp, § 31 BDSG, in P. Gola, D. Heckmann (a cura di), DS-GVO BDSG Kommentar, cit., Rn. 3-5 per il quale: «Ein Regelungsspielraum des deutschen Gesetzgebers im Rahmen der DS-GVO wird teilweise verneint, da es an einer entsprechenden Öffnungsklausel fehlt. Richtig ist, dass weder die in der Gesetzesbegründung beschworene Bedeutung von Scoring und Bonitätsauskünften noch die (angebliche) allgemeine Akzeptanz der Regelungen eine Öffnungsklausel ersetzen können». Dà conto delle diverse posizioni della dottrina sul punto K. Blasek, Auskunfteiwesen und Kredit-Scoring in unruhigem Fahrwasser Ein Spagat zwischen Individualschutz und Rechtssicherheit, in ZD, 2022, p. 435. L’Autrice critica l’interpretazione del Tribunale amministrativo del § 31 BDSG, che porterebbe a una notevole incertezza giuridica (p. 436). ↑
21. Corte giust., sentenza 7 dicembre 2023, C-634/21, Schufa Holding AG, ECLI:EU:C:2023:957. ↑
22. In particolare il primo motivo di irricevibilità verteva sull’ampiezza da riconoscersi al controllo giurisdizionale sugli atti dell’autorità amministrativa competente che, secondo Schufa, sarebbe asseritamente limitato a controllare se tale autorità abbia rispettato gli obblighi ad essa incombenti in forza del GDPR, mentre, la Corte ribadisce che questo tipo di decisioni, conformemente all’articolo 78, paragrafo 1, del GDPR, sono soggette ad un controllo giurisdizionale completo (full judicial overview). La questione era già stata oggetto di un apposito rinvio pregiudiziale alla Corte di Giustizia da parte del Tribunale amministrativo di Wiesbaden nell’ambito di un’altra controversia che ha visto sempre coinvolta la società Schufa (Corte giust., sentenza 7 dicembre 2023, C-26/22 e C-64/22, Schufa Holding AG, ECLI:EU:C:2023:958). Tale sentenza riguarda due soggetti che nell’ambito di procedure di insolvenza in Germania avevano ottenuto una esdebitazione anticipata sulla base di ordinanze giudiziarie. In accordo con la disciplina di diritto tedesco in materia, la pubblicazione ufficiale su Internet di tali decisioni era stata cancellata dopo sei mesi dalla rispettiva data di adozione (§ 3, par. 1 InsoBekV). Tuttavia, tali informazioni erano ancora presenti nelle banche dati detenute dalla Schufa in quanto quest’ultima cancella le informazioni solo dopo tre anni dalla registrazione, sulla base di un codice di condotta elaborato dall’associazione che riunisce le società che forniscono informazioni commerciali in Germania, approvato dall’Autorità di controllo competente. Interrogata per l’appunto la Corte di Giustizia in merito alla legittimità della conservazione dei dati relativi alle procedure di esdebitazione da parte di Schufa per un periodo sensibilmente maggiore rispetto a quello previsto per legge nei registri pubblici a ciò dedicati la Corte precisa che: «In tali circostanze, gli interessi del settore creditizio a disporre delle informazioni su un’esdebitazione non possono giustificare un trattamento dei dati personali come quello di cui trattasi nei procedimenti principali oltre il termine di conservazione dei dati nel registro pubblico fallimentare, cosicché la conservazione di tali dati da parte di una società che fornisce informazioni commerciali non può essere fondata sull’articolo 6, paragrafo 1, primo comma, lettera f), del RGPD per quanto riguarda il periodo successivo alla cancellazione di detti dati da un registro pubblico fallimentare». Per un commento di tale sentenza si confronti M. Ahrens, Sechsmonatige Speicherung der Information über Restschuldbefreiung, in Neue Juristische Wochenschrift Spezial, 2024, pp. 85 ss. ↑
23. Corte giust., sentenza 7 dicembre 2023, C-634/21, Schufa Holding AG, cit., punto 46. ↑
24. Corte giust., sentenza 7 dicembre 2023, C-634/21, Schufa Holding AG, cit., par. 63. ↑
25. Il Bundesgerichtshof tedesco, nella sentenza del 28/01/2014, VI ZR 156/13, consultabile in https://openjur.de/u/677956.html ha affermato che il metodo di calcolo del punteggio effettuato da Schufa è protetto dal segreto industriale e di conseguenza gli interessati, pur avendo diritto ad ottenere informazioni su quali dati vengono utilizzati e qual elementi influenzino il punteggio, non hanno invece diritto ad ottenere informazioni ulteriori. In particolare, le informazioni sul metodo di calcolo comprenderebbero l’algoritmo astratto, i valori statistici, la ponderazione e l’interazione dei vari elementi considerati e informazioni sulla formazione delle classi di riferimento. ↑
26. Così infatti si legge nella bozza di legge di modifica del BDSG (Gesetzentwurf der Bundesregierung v. 7.2.2024 für ein Erstes Gesetz zur Änderung des Bundesdatenschutzgesetzes (BT-Drs.20/10859) «Der Koalitionsvertrag (Zeilen 5763 f.) sieht darüber hinaus vor: „Wir werden umgehend prüfen, wie die Transparenz beim Kredit-Scoring zugunsten der Betroffenen erhöht werden kann. Handlungsempfehlungen werden wir zeitnah umsetzen.“ Dies und das Urteil des Europäischen Gerichtshofs vom 7.12.2023 – C-634/21 „SCHUFA Holding (Scoring)“ – aufgreifend, wird § 31 durch einen neuen § 37a ersetzt». ↑
27. La lettera a) riguarda il caso in cui la sottoposizione a una decisione completamente automatizzata sia necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento, mentre l’ipotesi sub. c) legittima tale decisione in presenza del consenso esplicito dell’interessato. Con riferimento al consenso esplicito dell’interessato rispetto all’utilizzo di procedimenti algoritmici nei suoi confronti si segnala una interessante ordinanza della Corte di Cassazione (Cass. civ., sez. I, 10 ottobre 2023, n. 28358), relativa al funzionamento di un algoritmo di rating reputazionale nella quale la Corte specifica che: «ad integrare i presupposti del “libero e specifico” consenso, affinché esso sia legittimo e valido, è richiesto che l’aspirante associato sia in grado di conoscere l’algoritmo, inteso come procedimento affidabile per ottenere un certo risultato o risolvere un certo problema, che venga descritto all’utente in modo non ambiguo ed in maniera dettagliata, come capace di condurre al risultato in un tempo finito». Per un commento di questa ordinanza si confronti F. Cerea, Trattamento algoritmico dei dati a fini reputazionali tra consenso dell’interessato e controllo ex ante di conformità al GDPR e all’AI ACT, in Resp. civ. e prev., 6, 2023, p. 2005; I. Rapisarda, Autodeterminazione informativa e trattamento algoritmico dei dati personali. Il caso del rating reputazionale, in Dir. Fam. e delle Persone, 4, 2023, p. 1567. ↑
28. Così recita il primo comma del §37a: «(1) Das Recht gemäß Artikel 22 Absatz 1 der Verordnung (EU) 2016/679, keiner ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, besteht über die in Artikel 22 Absatz 2 Buchstabe a und c der Verordnung (EU) 2016/679 genannten Ausnahmen hinaus nicht, wenn zu einer natürlichen Person Wahrscheinlichkeitswerte erstellt oder verwendet werden über 1. ein bestimmtes zukünftiges Verhalten der Person zum Zweck der Entscheidung über die Begründung, Durchführung oder Beendigung eines Vertragsverhältnisses mit dieser Person oder 2. ihre Zahlungsfähig- und -willigkeit durch Auskunfteien und unter Einbeziehung von Informationen über Forderungen». ↑
29. U. Wiedemann, Die rechtliche Stellung der Verbraucher, cit., p. 181, «Da das Schufa-Scoring beide Varianten erfüllt, würde das bedeuten, dass das Scoring wie bisher weiter durchgeführt werden kann. Sollte dieser Gesetzesentwurf Wirklichkeit werden, wäre nicht nur dem Verbraucherschutz ein Bärendienst erwiesen. Art. 22 Abs. 1 DSGVO, der ja gerade der menschlichen Letztentscheidung den Vorrang vor der automatisierten Bewertung gibt, wäre in Deutschland außer Kraft gesetzt». ↑
30. La posizione della dottrina maggioritaria, con varie sfumature, è nel senso di riconoscere alle decisioni pregiudiziali della Corte capacità estensiva nei confronti di altri procedimenti, in forza di una loro dichiarata efficacia erga omnes o almeno de facto ultra partes, per la necessaria garanzia della uniforme applicazione dell’interpretazione del diritto euro-unitario , assistita dall’obbligo degli Stati membri di adottare ogni misura «atta ad assicurare l’esecuzione degli obblighi derivanti dai trattati o conseguenti agli atti delle istituzioni dell’Unione» (art. 4, TUE). Su questi aspetti si confronti G. Martinico, The interpretative rulings of the ECJ as a legal source in the EC law, in Stals Research Paper, 2008, p. 2. Più di recente si confronti l’approfondito studio di E. Cimiotta, L’ambito soggettivo di efficacia delle sentenze pregiudiziali della Corte di Giustizia dell’Unione Europea, Giappichelli, Torino, 2023. ↑
31. Il valore vincolante delle sentenze della Corte di Giustizia pronunciate all’esito di un rinvio pregiudiziale si ricava, indirettamente, anche dai criteri che la Corte stessa ha stabilito nella nota sentenza Cilfit (Corte giust. sentenza 6 ottobre 1982, 283/81, Cilfit e a., ECLI:EU:C:1982:335), ribaditi recentemente nella sentenza del 6 ottobre 2021, causa C-561/19, Consorzio Italian Management e Catania Multiservizi SpA c. Rete Ferroviaria Italiana SpA, cit., che devono essere sussistenti per esonerare il giudice di ultima istanza dall’obbligo di rinvio. In particolare ciò è possibile solo quando il giudice nazionale abbia constatato che la questione sollevata non è rilevante, o che la disposizione del diritto dell’Unione di cui trattasi è già stata oggetto d’interpretazione da parte della Corte, oppure che la corretta interpretazione del diritto dell’Unione si impone con tale evidenza da non lasciar adito a ragionevoli dubbi. Con riferimento, in particolare, al secondo requisito, la Corte aggiunge che: «In secondo luogo, occorre rammentare che l’autorità dell’interpretazione data dalla Corte in forza dell’articolo 267 TFUE può far cadere la causa dell’obbligo previsto dall’articolo 267, terzo comma, TFUE, e renderlo senza contenuto, segnatamente, qualora la questione sollevata sia materialmente identica ad altra questione, sollevata in relazione ad analoga fattispecie, che sia già stata decisa in via pregiudiziale o, a maggior ragione, nell’ambito del medesimo procedimento nazionale, o qualora una giurisprudenza consolidata della Corte risolva il punto di diritto di cui trattasi, quale che sia la natura dei procedimenti che hanno dato luogo a tale giurisprudenza, anche in mancanza di una stretta identità delle questioni controverse (v., in tal senso, sentenze del 27 marzo 1963, Da Costa e a., da 28/62 a 30/62, EU:C:1963:6, pag. 73; del 6 ottobre 1982, Cilfit e a., 283/81, EU:C:1982:335, punti 13 e 14; del 4 novembre 1997, Parfums Christian Dior, C-337/95, EU:C:1997:517, punto 29, e del 2 aprile 2009, Pedro IV Servicios, C-260/07, EU:C:2009:215, punto 36)», ribadendo tuttavia che il fatto che le disposizioni di cui si chiede l’interpretazione siano già state interpretate dalla Corte non ha l’effetto di ostacolare una nuova pronuncia da parte della stessa (Corte giust., sentenze 17 luglio 2014, cause riunite C-58/13 e C-59/13, Torresi, EU:C:2014:2088, punto 32 nonché giurisprudenza ivi citata, e sentenza 3 marzo 2020, C-323/18, Tesco-Global Áruházak, ECLI:EU:C:2020:140, punto 46). ↑
32. Sul principio di non esclusività algoritmica si confronti l’interessante la posizione di G. Gallone, Riserva di umanità e funzioni amministrative. Indagine sui limiti dell’automazione decisionale tra procedimento e processo, Wolters Kluwer, Milano, 2023, p. 119, per il quale «non risulta appagante costruire il principio in termini puramente negativi, quale mero divieto di svolgimento dell’attività amministrativa in forma totalmente automatizzata. La “non esclusività”, infatti, non dà contezza della portata positiva del principio e di come lo stesso condiziona la sostanza dell’azione amministrativa. È per evitare una lettura asfittica e restituire la giusta profondità al concetto che sembra, pertanto, preferibile impiegare l’espressione “riserva” di umanità». ↑
33. A. Simoncini, L’algoritmo incostituzionale: intelligenza artificiale e il futuro delle libertà, in Biolaw Journal, 1, 2019, p. 81: «In realtà, questo principio – codificato nella normativa europeo-nazionale – è del tutto inefficace di-fronte a quella che potremmo definire la travolgente forza pratica dell’algoritmo. Formulerei così l’azione di questa forza: una volta introdotto un sistema automatico di decisione all’interno di un processo decisionale umano, il sistema automatico tende, nel tempo, a catturare la decisione stessa. Questo accade, si badi, non per ragioni di valore scientifico, di accuratezza predittiva o di affidabilità tecnica dell’automatismo, ma eminentemente per ragioni di convenienza pratica» e ancora « In secondo luogo, però, il principio di non esclusività sembra non riconoscere l’evidente forza “pratica” di qualsiasi automatismo valutativo che, da un lato, solleva il decisore dal burden of motivation, dal peso dell’esame e della motivazione; dall’altro, gli consente di “qualificare” la propria decisione con un crisma di “scientificità” ovvero “neutralità” che oggi circonda la valutazione algoritmica e le conferisce una peculiare – quanto infondata – “autorità». ↑
34. M. Martini, § 22 DS-GVO, cit., Rn. 24, 24a; S. Schulz, § 22 DS-GVO, cit., Rn. 13. ↑
35. C. Djeffal, The Normative Potential of the European Rule on Automated Decisions: A New Reading for Art. 22 GDPR, in Zeitschrift für ausländisches öffentliches Recht und Völkerrecht, 2020, p. 863: «Concerning automated decisions, the question is rather whether this is to be extended to situations in which there is only a formal but non-essential human intervention. Several criteria are put forward to qualify decisions that are indeed taken by humans but must be classified as automated decisions: qualification and competence, actual human influence, inter alia. The normative potential of these views is to disqualify certain kinds of human involvement as insufficient. The opposite view stresses the sole human accountability even in those situations. One can reframe this issue as a question of an extension of responsibility for decisions despite the fact that certain people are nevertheless involved». ↑
36. K. Blasken, Die Rolle von Scorewerten bei automatisierten Entscheidungen. Auswirkungen des EuGH-Urteils und der geplanten BDSG-Novelle, in ZD, 2024, p. 258, in particolare p. 260. ↑
37. Così la Corte giust., sentenza 7 dicembre 2023, C-634/21, Schufa Holding AG, cit., punto 48: «Pertanto, secondo gli accertamenti di fatto del giudice del rinvio, in caso di domanda di mutuo rivolta da un consumatore auna banca, un tasso di probabilità insufficiente comporta, in quasi tutti i casi, il rifiuto di quest’ultima di concedere il prestito richiesto». ↑
38. G. Finocchiaro, Intelligenza Artificiale e protezione dei dati personali, in Giur.it., 2019, p. 1674 per la quale «Grandemente sopravvalutato è quanto disposto dal Regolamento con riguardo alle decisioni automatizzate»; A. Simoncini, L’algoritmo incostituzionale: intelligenza artificiale e il futuro delle libertà, cit., p. 80; S. Wachter, B. Mittelstadt, L. Floridi, Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation, cit., pp. 92 ss. ↑
39. A. Simoncini, L’algoritmo incostituzionale: intelligenza artificiale e il futuro delle libertà, cit., «Innanzitutto, nella sua stessa definizione legislativa è soggetto ad un numero rilevantissimo di eccezioni che hanno fatto sollevare numerosi dubbi nella dottrina più consapevole. In base al vigente diritto europeo (e nazionale), una decisione algoritmica può legittimamente incidere sui diritti della persona anche senza intervento umano: a) quando vi sia il consenso esplicito dell’interessato; b) quando sia necessaria per concludere o eseguire un contratto tra interessato e titolare del trattamento; infine c) quando sia autorizzata dal diritto dell’Unione o dello stato membro, In questi casi (eccetto il caso b) il titolare del trattamento deve adottare misure appropriate per tute-lare i diritti, le libertà e i legittimi interessi dell’interessato, quantomeno il diritto di ottenere l’intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di conte-stare la decisione. Orbene, è evidente che la portata di queste eccezioni è nei fatti amplissima, tanto che viene da chiedersi quando, in realtà, si possa applicare la regola». ↑
40. Il Regolamento in questione è stato pubblicato in Gazzetta Ufficiale dell’Unione europea il 12 luglio scorso, ed è entrato in vigore il 2 agosto. La maggior parte delle norme di tale Regolamento inizierà ad applicarsi il 2 agosto 2026. Tuttavia, i divieti dei sistemi di IA che si ritiene presentino un rischio inaccettabile si applicheranno già dopo sei mesi, mentre le norme per i cosiddetti modelli di IA per finalità generali si applicheranno dopo dodici mesi. ↑
41. Come giustamente osservano M. Macchia, A. Mascolo, Intelligenza artificiale e regolazione, in A. Pajno, F. Donati, A. Perrucci (a cura di), Intelligenza artificiale e diritto: una rivoluzione? Volume 2, Ammini­strazione, responsabilità, giurisdizione, Il Mulino, Bologna, 2022, p. 128, dall’analisi dell’allora proposta di Regolamento, presentata ancora nell’aprile 2021, emerge che «per un verso, infatti, l’Europa intende imporsi come leader nel settore delle tecnologie digitali e dell’intelligenza artificiale; per l’altro è presente nell’approccio delle istituzioni europee l’obiettivo di assicurare che lo sviluppo dell’IA non comprima il godimento dei diritti e delle libertà fondamentali riconosciute ai cittadini europei». ↑
42. La base giuridica per poter approvare un Regolamento in questo ambito è costituita dall’articolo 114 T.F.U.E. che prevede l’adozione di misure destinate ad assicurare l’instaurazione ed il funzionamento del mercato interno. Nell’Explanatory Memorandum che accompagna la proposta la Commissione specifica come l’obiettivo principale della stessa sia di assicurare il buon funzionamento del mercato interno fissando regole armonizzate, in particolare per quanto concerne lo sviluppo, l’immissione sul mercato dell’Unione e l’utilizzo di prodotti e servizi che ricorrono a tecnologie di intelligenza artificiale o forniti come sistemi di IA indipendenti (“stand-alone”). Sempre secondo la Commissione, la mancanza di armonizzazione tra gli Stati membri in questo ambito comporterebbe due problemi principali: i) una frammentazione del mercato interno su elementi essenziali concernenti in particolare i requisiti dei prodotti e dei servizi di IA, la loro commercializzazione, il loro utilizzo, la responsabilità e il controllo da parte delle autorità pubbliche; ii) la riduzione sostanziale della certezza del diritto tanto per i fornitori quanto per gli utenti dei sistemi di IA in merito alle modalità secondo cui le regole nuove e quelle esistenti si applicheranno a tali sistemi nell’Unione. ↑
43. Risoluzione del Parlamento europeo del 20 ottobre 2020 recante raccomanda­zioni alla Commissione concernenti il quadro relativo agli aspetti etici dell’Intelligenza Artificiale, della robotica e delle tecnologie correlate (2020/2012(INL)). ↑
44. Risoluzione del Parlamento europeo del 20 gennaio 2021 sull’Intelligenza Artificiale: questioni relative all’interpretazione e applicazione del diritto internazionale nella misura in cui l’UE è interessata relativamente agli impieghi civili e militari e all’autorità dello Stato al di fuori dell’ambito della giustizia penale (2020/2013(INI)). ↑
45. Gruppo di esperti ad alto livello sull’Intelligenza artificiale, Orientamenti etici per un’ IA affidabile, 8 aprile 2019. ↑
46. Come osserva G. Finocchiaro, La proposta di Regolamento sull’Intelligenza Ar­tificiale: il modello europeo basato sulla gestione del rischio, in Dir. inform., 2, 2022, p. 320 non è la prima volta che il Legislatore europeo sceglie un approccio regolatorio fondato sulla gestione del rischio, ricordando come «il caso più recente e più importante è quello costituito dal Regolamento europeo relativo alla protezione delle persone fisiche con riguardo al trattamento dei dati personali». Tuttavia secondo l’Autrice, mentre nel GDPR è il titolare del trattamento a dover valutare e gestire il rischio a seconda del tipo e delle modalità del trattamento dei dati, nell’ambito della allora Proposta sull’intelligenza artificiale è il Legi­slatore che a monte fa una valutazione del rischio e definisce come tale rischio debba essere affrontato. Per un commento critico sull’approccio “risk-based” utilizzato per l’AI Act si confronti C. Novelli, L’Artificial Intelligence Act Europeo: alcune questioni di implementazione, in Federalismi.it, 2, 2024, p. 95. ↑
47. Si confronti sul punto l’art. 5 del Regolamento che comprende i sistemi o le applicazioni di IA che manipolano il comportamento umano per eludere la libera volontà degli utenti, come i giocattoli che utilizzano l’assistenza vocale che incoraggiano comportamenti pericolosi dei minori, i sistemi che consentono il “punteggio sociale” da parte di governi o imprese e alcune applicazioni di polizia predittiva. Inoltre, sono vietati alcuni usi dei sistemi biometrici, ad esempio i sistemi di riconoscimento delle emozioni utilizzati sul luogo di lavoro e alcuni sistemi per classificare le persone o l’identificazione biometrica remota in tempo reale. ↑
48. Per tale categoria, ricavabile in via residuale, la circolazione all’interno del mercato unico è libera, salvo che non debbano essere previsti, per la loro natura, degli obblighi di trasparenza in capo al provider. Ciò avviene, ai sensi dell’art. 50, ad esempio nei casi in cui si utilizzi un sistema di interazione “artificiale” con il pubblico (chatbots) in un contesto in cui per il pubblico non sia evidente tale natura. Si confronti sul punto la lettera inviata dal Comitato europeo per la protezione dei dati personali (EDPB) in data 22 febbraio 2022, nella quale, facendo peraltro seguito al parere elaborato congiuntamente con il Garante europeo della protezione dei dati (EDPB-EDPS Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 18 June 2021, disponibile al: https://edpb.europa.eu/our-work-tools/our-documents/edpbedps-joint-opinion/edpb-edps-joint-opinion52021-proposal_en), il Comitato fa presente come anche i sistemi esclusi dall’ambito di applicazione del complesso di regole previsto dalla proposta di Regolamento, perché non qualificabili quali sistemi ad alto rischio, richiedano delle norme che disciplinino le responsabilità per il loro cattivo funzionamento. ↑
49. Si tratta dei sistemi di IA per il filtraggio dello spam e per videogiochi per i quali sono previsti unicamente codici di condotta volontari. ↑
50. L’AI Act disciplina anche la c.d. “AI generativa” costituita da modelli di IA (General Purpose Model) che possono eseguire una vasta varietà di compiti in diversi domini e che sono solitamente addestrati su enormi quantità di dati con metodi diversi. La “generalità” riguarda pertanto i compiti che tali modelli possono svolgere sulla base del medesimo addestramento e quindi la loro attitudine ad essere impiegati nei più disparati domini, compreso quello legale. La sottocategoria di GPM sotto l’attenzione negli ultimi mesi, e dagli effetti dirompenti ancora da esplorare nel campo giuridico, sono i modelli linguistici (Large Language Models), capaci di elaborare e generare testi in linguaggio naturale come ad esempio ChatGPT. In particolare il Regolamento prevede una summa divisio (Capo V), a seconda che tali modelli presentino o meno un “rischio sistemico”(Sezione 1 Capo V, articoli 51-52); solo per questi ultimi, è prevista la pubblicazione di un elenco in cui essi devono essere registrati ed obblighi per i fornitori analoghi a quelli previsti per i sistemi di AI classificati ad alto rischio (valutazione ex ante, misure dirette a mitigare i rischi anche per la cybersicurezza, notifica di eventuali incidenti). Sulla regolazione dell’IA generativa da parte dell’AI Act si confronti P. Hacker, A. Engel, M. Mauer, Regulating ChatGPT and other Large Generative AI Models, in arxiv.org, 2023; C. Novelli, F. Casolari, P. Hacker, G. Spedicato, L. Floridi, Generative AI in EU Law: Liability, Privacy, Intellectual Property, and Cybersecurity, in SSRN, 2024; M. Martini, C. Wiesehöfer, Auf dem Weg zur Regulierung von General-Purpose-AI – eine erste Bestandsaufnahme und Kritik der Regelungsentwürfe, in Neue Zeitschrift für Verwaltungsrecht, 1, 2024, p. 1. ↑
51. Il Considerando 50 individua qualifica come tali «macchine, giocattoli, ascensori, apparecchi e sistemi di protezione destinati a essere utilizzati in atmosfera potenzialmente esplosiva, apparecchiature radio, attrezzature a pressione, attrezzature per imbarcazioni da diporto, impianti a fune, apparecchi che bruciano carburanti gassosi, dispositivi medici, dispositivi medico-diagnostici in vitro, veicoli automobilistici e aeronautici». ↑
52. La classificazione dei sistemi di credit scoring quali sistemi di IA ad alto rischio deriva dalla componente assiologica presente nella valutazione del rischio compiuta dal legislatore europeo messa ben in evidenza da C. Novelli, L’Artificial Intelligence Act Europeo: alcune questioni di implementazione, cit., p. 102, per il quale: «la categoria dei sistemi a rischio alto dipende da una lista di valori cardine dell’UE, rappresentanti come ambiti di adozione dei sistemi di IA: istruzione, lavoro, uguaglianza, diritto d’asilo, stato di diritto, democrazia, e altri. Ciò non sorprende, soprattutto perché lo stesso approccio caratterizza altri atti legislativi UE adottati nell’ambito del digitale. Tuttavia, spesso l’AIA predetermina il peso di questi valori senza sottoporre la categorizzazione del rischio a una valutazione più dettagliata». ↑
53. L’art. 2 del Regolamento disegna un campo di applicazione della disciplina molto ampio che si applicherà: a) ai fornitori che immettono sul mercato o mettono in servizio sistemi di IA o immettono sul mercato modelli di IA per finalità generali nell’Unione, indipendentemente dal fatto che siano stabiliti o ubicati nell’Unione o in un paese terzo; b) ai deployer dei sistemi di IA che hanno il loro luogo di stabilimento o sono situati all’interno dell’Unione; c) ai fornitori e ai deployer di sistemi di IA che hanno il loro luogo di stabilimento o sono situati in un paese terzo, laddove l’output prodotto dal sistema di IA sia utilizzato nell’Unione; d) agli importatori e ai distributori di sistemi di IA; e) ai fabbricanti di prodotti che immettono sul mercato o mettono in servizio un sistema di IA insieme al loro prodotto e con il loro nome o marchio; f) ai rappresentanti autorizzati di fornitori, non stabiliti nell’Unione; g) alle persone interessate che si trovano nell’Unione. Inoltre il sistema distingue tra obblighi in capo ai fornitori (art. 16), agli importatori (art. 23), ai distributori (art. 24) e ai deployer (art. 26). Si confronti però G. Finocchiaro, La proposta di Regolamento sull’Intelligenza Ar­tificiale: il modello europeo basato sulla gestione del rischio,, cit., 321, che critica la scelta del Legislatore europeo di aver posto «in capo ad ogni tipo di imprenditore i medesimi obblighi, a prescindere dalle dimensioni dell’impresa e della criticità delle attività». ↑
54. Sull’importanza della qualità dei dati di cui si serve la pubblica amministrazione si confronti da ultimo E. Carloni, Qualità dei dati, big data e amministrazione pubblica, in R. Cavallo Perin (a cura di), L’amministrazione pubblica con i Big data: da Torino un dibattito sull’intelligenza artificiale, Università degli Studi di Torino, 2021, p. 118, il quale osserva come: «la qualità dei dati si pone dunque in termini nuovi rispetto ai tradizionali principi di adeguatezza conoscitiva procedimentale e come sfida centrale nel momento in cui le amministrazioni sviluppano i propri processi conoscitivi e decisionali tramite l’acquisizione diretta, ed automatica, di informazioni raccolte altrove o precedentemente: questo determina la perdita di consapevolezza e controllo sulle informazioni utilizzate, e produce la generalizzazione di un’esigenza di qualità “standard” che prima si concentrava solo su alcune specifiche informazioni contenute in determinati archivi pubblici». (p. 120). ↑
55. Le pratiche di gestione dei dati sono descritte all’art. 10 del Regolamento, il quale prevede che: «I set di dati di addestramento, convalida e prova sono pertinenti, sufficientemente rappresentativi e, nella misura del possibile, esenti da errori e completi nell’ottica della finalità prevista. Essi possiedono le proprietà statistiche appropriate anche, ove applicabile, per quanto riguarda le persone o i gruppi di persone relativamente ai quali il sistema di IA ad alto rischio è destinato a essere usato. Queste caratteristiche dei set di dati possono essere soddisfatte a livello di singoli set di dati o a livello di una combinazione degli stessi». ↑
56. Con riferimento alla declinazione dell’obbligo di trasparenza contenuto nel Regolamento osserva criticamente G. Lo Sapio, L’Artificial Intelligence Act e la prova di resistenza della legalità algoritmica, in Federalismi.it, 16, 2024, «occorre allora chiedersi se in esso vi sia la medesima idea di trasparenza che è stata affermata dalla giurisprudenza e dal legislatore italiani, o piuttosto una sua versione “praticabile”, un surrogato possibile, il massimo risultato ottenibile nel trade-off tra sviluppo tecnologico ed efficienza da esso promesso, da un lato, e i principi dello Stato di diritto democratico, dall’altro». ↑
57. Noto anche come “effet moutonnier”. Si confronti sul punto A. Garapon, J. Lassègue, La giustizia digitale. Determinismo tecnologico e libertà, Il Mulino, Bologna, 2021 (o A. Garapon, J. Lassègue, Justice digital. Révolution graphique et rupture anthropologique, PUF, Parigi, Francia, 2018). ↑
58. Così chiaramente K. Langenbucher, Die Schufa vor dem EuGH, in BKR, 2024, p. 67: «Zur teleologischen Abrundung mag auf die Erwägungsgründe (16a), (17), (37), Art. 3 Abs. 1 (44k) des EU AI Act verwiesen werden. Soweit eine KI zur Erstellung eines Kreditscores eingesetzt wird, führt dies bekanntlich künftig zur Einordnung der KI als Hochrisikosystem. Ob der Score in der Folge von einem Dritten „maßgeblich“ verwendet wird, war für den Verordnungsgeber irrelevant. Die Bedeutung eines Scores steht diesem klar vor Augen, wenn er auf dessen Verwendung für „essenzielle private und öffentliche Serviceleistungen“ hinweist und neben Kreditscores auch die Gewähr von Wohnraum, Elektrizität, Heizung/Klimaanlagen und Internet aufzählt». ↑
59. Di recente G. Gallone, Riserva di umanità e funzioni amministrative. Indagine sui limiti dell’automazione decisionale tra procedimento e processo, cit., p. 124, il quale ricorda: «Come noto, i nr. 7), 8), 9) e 10) dell’art. 4 del G.D.P.R. recanti la definizione di “titolare del trattamento”, di “responsabile del trattamento”, di “destinatario” e di “terzo” vi ricomprendono anche “l’Autorità pubblica”. Inoltre, l’art. 6, par. 1, lett e) contempla come condizione di liceità del trattamento dei dati personali, accanto al consenso dell’interessato, anche “l’esecuzione di un compito di interesse pubblico o connesso all’esercizio di pubblici poteri di cui è investito il titolare del trattamento”». ↑
60. M. Martini, D. Nink, Wenn Maschinen entscheiden …– vollautomatisierte Verwaltungsverfahren und der Persönlichkeitsschutz, in Neue Zeitschrift für Verwaltungsrecht – Extra, 10, 2017, 4. ↑
61. D.U. Galetta, J. Corvalán, Intelligenza Artificiale per un’amministrazione 4.0? Potenzialità, rischi e sfide della rivoluzione tecnologica in atto, in Federalismi.it, 3, 2019, p. 17, per i quali «ai sensi del GDPR, i trattamenti automatizzati da parte di amministrazioni pubbliche sono ammissibili sempre: purché siano basati su specifiche previsioni normative (principio di legalità) e purché rispettino il principio di proporzionalità, inteso nei termini classici di idoneità, necessarietà e proporzionalità in senso stretto del trattamento rispetto alla tutela dell’interesse pubblico in concreto perseguito dal titolare del trattamento». ↑
62. Il caso sorge nell’ambito di un piano di assunzione straordinaria del personale docente, educativo ed A.T.A. per l’anno scolastico 2016/2017, contemplato dalla l. n. 107/2015, nota per l’appunto con il nome “Buona scuola”. Per gestire al meglio le numerose richieste di mobilità pervenute, che dovevano essere vagliate sulla base di criteri particolarmente complessi, stabiliti con l’ordinanza del M.I.U.R. n. 241 dell’8 aprile 2016, il Ministero decide di avvalersi di un software prodotto dalla società privata HPE Service s.r.l., individuata in seguito a regolare procedura di evidenza pubblica. Tale algoritmo era stato programmato per combinare i punteggi relativi ai diversi profili con le preferenze espresse dai singoli docenti. L’algoritmo, nella sua applicazione concreta, aveva commesso errori clamorosi, assegnando diversi docenti a scuole localizzate in province più lontane da quella di propria residenza o quella comunque scelta con priorità in sede di partecipazione alla procedura, benché in tali province di elezione fossero disponibili svariati posti, oppure desti­nandoli a una nomina su classi di concorso ed ordine di scuola in cui non avevano mai lavorato; inoltre, pur avendo espresso nella do­manda di assunzione la preferenza per la scuola superiore di secondo grado, sono risultati destinatari di proposta di assunzione in una scuola di primo grado. Ciò ha dato luogo ad un vivace contenzioso, nel quale il giudice amministrativo ha cercato di riempire il pericoloso vuoto di regolamen­tazione riguardante l’utilizzo da parte della pubblica amministrazione di meccanismi di algoritmi che sostituiscono interamente la sequenza procedimentale, cercando di individuare i limiti a questa applicazione e soprattutto i principi e le regole che essa deve rispettare. ↑
63. È importante precisare che i principi di “legalità algoritmica” enunciati dal Consiglio di Stato nel caso “Buona scuola” riguardavano l’impiego di algoritmi c.d. “deterministici” e non i sistemi più evoluti di intelligenza artificiale. Ciò pone il nostro ordinamento ad un livello più avanzato di tutela rispetto a quello disegnato dall’AI ACT nel quale le garanzie sono circoscritte, come visto, ai sistemi ad alto rischio. Evidenzia questa circostanza G.F. Licata, Intelligenza artificiale e contratti pubblici: problemi e prospettive, in CERIDAP, 2, 2024, p. 46. ↑
64. Gli altri principi che deve rispettare l’amministrazione nell’utilizzo degli algoritmi sono, secondo il Consiglio di Stato «la piena conoscibilità a monte del modulo utilizzato e dei criteri applicati» in forza del quale «il meccanismo attraverso il quale si concretizza la decisione robotizzata (ovvero l’algoritmo) debba essere “conoscibile”, secondo una declinazione rafforzata del principio di trasparenza, che implica anche quello della piena conoscibilità di una regola espressa in un linguaggio differente da quello giuridico. Tale conoscibilità dell’algoritmo deve essere garantita in tutti gli aspetti: dai suoi autori al procedimento usato per la sua elaborazione, al meccanismo di decisione, comprensivo delle priorità assegnate nella procedura valutativa e decisionale e dei dati selezionati come rilevanti. Ciò al fine di poter verificare che i criteri, i presupposti e gli esiti del procedimento robotizzato siano conformi alle prescrizioni e alle finalità stabilite dalla legge o dalla stessa amministrazione a monte di tale procedimento e affinché siano chiare – e conseguentemente sindacabili – le modalità e le regole in base alle quali esso è stato impostato»; il principio di non discriminazione algoritmica, secondo cui «è opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, mettendo in atto misure tecniche e organizzative adeguate al fine di garantire, in particolare, che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori e al fine di garantire la sicurezza dei dati personali, secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell’interessato e che impedisca tra l’altro effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell’origine etnica, delle opinioni politiche, della religione o delle convinzioni personali, dell’appartenenza sindacale, dello status genetico, dello stato di salute o dell’orientamento sessuale, ovvero che comportano misure aventi tali effetti». ↑
65. Cons. St., 4 febbraio 2020, n. 881. ↑
66. «L’articolo 22, paragrafo 1, riconosce alla persona il diritto di non essere sottoposta a decisioni automatizzate prive di un coinvolgimento umano e che, allo stesso tempo, producano effetti giuridici o incidano in modo analogo sull’individuo. Quindi occorre sempre l’individuazione di un centro di imputazione e di responsabilità, che sia in grado di verificare la legittimità e logicità della decisione dettata dall’algoritmo». ↑
67. Utilizzando la bella espressione di G. Gallone, Riserva di umanità e funzioni amministrative. Indagine sui limiti dell’automazione decisionale tra procedimento e processo, cit. ↑
68. Sul ruolo del responsabile del procedimento nel nuovo contesto algoritmico si confronti D.U. Galetta, Digitalizzazione e diritto ad una buona amministrazione (Il procedimento amministrativo, fra diritto UE e tecnologie ICT), in R. Cavallo Perin, D.U. Galetta (a cura di), Il Diritto dell’Amministrazione Pubblica digitale, Giappichelli, Torino, 2020, p. 85. ↑
69. Come affermato nella Relazione del Consiglio di Stato allo schema del codice dei contratti pubblici del 7 dicembre 2022 disponibile in http://www.giustiziaamministrativa.it, costituisce «una disciplina di grande novità per l’ordinamento italiano perché, per la prima volta, sebbene nel solo settore dei contratti pubblici, sono individuati a livello normativo i principi da rispettare in caso di utilizzo di procedure automatizzate». ↑
70. Si tratta, come visto alla nota 64, dei principi di: a) conoscibilità e comprensibilità, per cui ogni operatore economico ha diritto a conoscere l’esistenza di processi decisionali automatizzati che lo riguardino e, in tal caso, a ricevere informazioni significative sulla logica utilizzata; b) non esclusività della decisione algoritmica, per cui comunque esiste nel processo decisionale un contributo umano capace di controllare, validare ovvero smentire la decisione automatizzata; c) non discriminazione algoritmica, per cui il titolare mette in atto misure tecniche e organizzative adeguate al fine di impedire effetti discriminatori nei confronti degli operatori economici, elaborati a livello sovranazionale e recepiti dalla nostra giurisprudenza amministrativa. Per un’analisi della disciplina si confronti G.F. Licata, Intelligenza artificiale e contratti pubblici: problemi e prospettive, cit., pp. 30 ss. ↑
71. Come osserva B. Marchetti, La garanzia dello human in the loop alla prova della decisione amministrativa algoritmica, in Biolaw Journal, 2, 2021, p. 373, «questo significa un peso potenzialmente determinante dell’IA sull’autorità chiamata ad adottare la decisione finale». Si confronti anche D.U. Galetta, Digitalizzazione, Intelligenza artificiale e Pubbliche Amministrazioni: il nuovo Codice dei contratti pubblici e le sfide che ci attendono, in Federalismi.it, 12, 2023, p. xi, che parla «della difficoltà, segnalata più volte in dottrina, che il funzionario essere umano si assuma la responsabilità di discostarsi dal risultato che gli viene proposto dalla onnipotente “macchina”. L’essere umano funzionario farà ovviamente molta fatica a discostarsi dalle risultanze dell’algoritmo; e, quindi, la decisione, pur formalmente adottata dal funzionario, sarà in realtà, nel 99% dei casi quella suggerita dal sistema di IA di supporto». ↑
72. G. Lo Sapio, L’Artificial Intelligence Act e la prova di resistenza della legalità algoritmica, cit., 278. ↑
73. Un’interessante e recente analisi dell’utilizzo dei sistemi di intelligenza artificiale da parte di alcune autorità amministrative indipendenti è stata condotta da E. Chiti, B. Marchetti, N. Rangone, Rapporto 1/2021 – L’impiego dell’intelligenza artificiale nell’attività di CONSOB, AGCOM e ARERA, in Biolaw Journal, 4, 2021, p. 214, cui segue un secondo rapporto sull’impiego dell’intelligenza artificiale nell’attività di Banca d’Italia, Ivi, p. 229. Altri esempi di utilizzo sono evidenziati da L. Parona, Poteri tecnico discrezionali e machine learning: verso nuovi paradigmi dell’azione amministrativa, in A. Pajno, F. Donati, A. Perrucci (a cura di), Intelligenza artificiale e diritto: una rivoluzione? Volume 2, Ammini­strazione, responsabilità, giurisdizione, cit., pp. 134 ss. ↑
74. Ibidem, il quale evidenzia «che gli esempi considerati mostrano come gli impieghi e le sperimentazioni attuali dell’IA assolvano prevalentemente ad una funzione strumentale rispetto all’assunzione della decisione amministrative, quantomeno laddove quest’ultima, come nelle ipotesi qui in rilievo, abbia natura tecnico-discrezionale». Tuttavia «il fatto che in tali casi l’IA non sia direttamente impiegata in funzione decisoria, essendo in queste ipotesi evidentemente lontana la sostituzione del funzionario amministrativo da parte di una macchina intelligente non vale ad escludere che essa possa influire sulla decisione finale e, in particolare, tornando agli esempi qui considerati, sull’an e sul quid del provvedimento sanzionatorio eventualmente adottato». ↑
75. G. Bottino, La burocrazia difensiva e le responsabilità degli amministratori e dei dipendenti pubblici, in An. giur. ec., 1, 2020, pp. 117 ss. Secondo l’Autore, «gli agenti pubblici, nell’assumere un atteggiamento «difensivo», optano per la scelta decisionale in grado di minimizzare sempre –in concreto –il rischio che gli effetti di quella scelta si traducano dapprima nella attivazione, a loro carico, di ciascuna responsabilità pubblica, di poi nell’affermazione di queste responsabilità e nelle relative sanzioni». ↑