Catalunya utilitza un algoritme per ajudar a decidir a quins presos concedeix la llibertat condicional

La intel·ligència artificial (IA) condiciona la vida de les persones molt més del que un s’imagina. Aquests sistemes s’utilitzen a les xarxes socials per predir el comportament humà, però també per determinar si un banc deu o no concedir un crèdit o si un pres pot obtenir la llibertat condicional. Això és el que passa a les presons de Catalunya, on un algoritme avalua la concessió de permisos penitenciaris. Tot i que aquest protocol funciona des de fa 12 anys, diversos experts adverteixen del risc que aquest mecanisme d’avaluació generi discriminacions contra la població reclusa. El 2009 el Departament de Justicia català va posar en marxa RisCanvi, un protocol que utilitza un algoritme d’anàlisi predictiva que calcula el risc de reincidència de cada pres. Els interns de les presons catalanes són entrevistats cada sis mesos. Les respostes són classificades i utilitzades per l’algoritme per determinar si hi ha un risc alt, mitjà o baix que tornin a cometre un delicte després de sortir de la presó. Aquest informe personalitzat serveix als funcionaris per ajudar-los a decidir sobre la recomanació de la llibertat condicional, però també permisos penitenciaris o el trasllat de reclusos. Tot i que el seu funcionament és poc conegut per l’opinió pública, aquesta eina està profundament implantada en el sistema penitenciari català des de fa més d’una dècada, quan es va engegar per mirar de frenar l’alta reincidència violenta dels presos. Una versió de RisCanvi amb 10 preguntes s’aplica als 7.873 presos que hi ha actualment a les presons de Catalunya per fer un cribratge i una altra de més exhaustiva de 43 preguntes s’aplica a aquells amb un alt risc de reincidència. Des del 2009, un total de 37.897 interns han sigut avaluats mitjançant aquest ‘software’, segons dades de la Generalitat. Fins a 750 professionals utilitzen diàriament aquest programa, des de psicòlegs a treballadors socials o criminòlegs. ¿Sistema efectiu o amb biaixos? La clau de tot sistema predictiu és l’efectivitat dels seus pronòstics. Encara més quan hi ha vides humanes pel mig. Les úniques dades públiques sobre el rendiment de RisCanvi –segons un un informe oficial del 2014– documenten que el sistema va encertar en la predicció d’un risc de reincidència alt o mitjà en un 77,15% dels casos i que va encertar en un 52,26% en els casos classificats de baix risc. Els falsos negatius –els presos que van reincidir sense que l’algoritme ho predigués– van ser només un 4,6% dels considerats de baix risc, mentre que els falsos positius –els que es va predir que reincidirien i no ho han fet– van ser un 42,7% dels no reincidents. El psicòleg Antonio Andrés Pueyo, un dels creadors de RisCanvi, ha assegurat en diverses ocasions que el sistema és «independent dels biaixos». «Tenim un sistema de revisió humana que ens permet corregir les prediccions de l’algoritme per treure els biaixos culturals o ètnics que pugui tenir», assegura Jordi Camps, cap del Servei de Rehabilitació de la Generalitat de Catalunya. Un equip de la Universitat Pompeu Fabra (UPF) que lidera l’investigador Carlos Castillo està estudiant les entranyes del sistema català. «De moment no hem trobat cap indici de biaix», explica, assenyalant que «funciona bé, però això no garanteix que continuï així». No obstant, altres experts apunten en la direcció oposada. «RisCanvi pot contribuir a la discriminació socioeconòmica al sobreestimar la perillositat de certs presos, que solen provenir de grups desfavorits, i contribuir que segueixin a la presó», afirma Gemma Galdón, fundadora i directora executiva d’ETICAS. Entre els paràmetres que utilitza l’algoritme per avaluar el risc de cada pres hi ha el seu historial de violència o de males conductes, però també la seva falta de recursos econòmics, d’ocupació o de recolzament familiar, addicció a les drogues, nivell d’educació o mala adaptació durant la infància. Hi ha quatre aspectes que sempre s’avaluen: edat, gènere, nacionalitat i si el pres està condemnat o pendent de judici. Es desconeix quin pes té cada un d’aquests paràmetres en l’informe final de l’algoritme. Falta de transparència Els investigadors denuncien falta de transparència en el sistema. «És preocupant que RisCanvi no sigui monitoritzat cada any i no passi per un estudi d’impacte algorítmic per saber si produeix biaixos socials», afirma Castillo. L’algoritme mai ha sigut auditat per un organisme independent i l’últim informe públic sobre el seu rendiment, del 2014, no classifica entre presos, el que impossibilita saber si les seves prediccions afecten igual depenent de nacionalitat, origen migrant o sexe. «La Generalitat va ser pionera, però es va fer en un moment en què no hi havia tants estàndards de regulació», afegeix. L’algoritme de RisCanvi no pren una decisió final automatitzada, sinó que funciona com a recurs orientatiu per als funcionaris. Això permet que el seu ús no estigui regulat. «Jurídicament és com si no existís», assenyala Alejandro Huergo, catedràtic de dret administratiu de la Universitat d’Oviedo. Tot i que considera que aquest sistema «és més objectiu que l’ull clínic del funcionari», alerta que la falta d’una regulació fa que el procés tingui «menys garanties». L’adopció de la Unió Europea d’un reglament sobre l’IA qualificaria RisCanvi com un sistema d’‘alt risc’ i obligaria a adoptar un mecanisme de supervisió. Indefensió jurídica dels presos Aquest sistema també pot ocasionar casos de certa indefensió jurídica de les persones privades de llibertat. ¿Què passa si l’algoritme penalitza un pres per la seva condició de pobresa? ¿Podria recórrer-ho? Qui concedeix els permisos són els jutges, no l’algoritme. No obstant, els problemes sorgeixen si es dona molta rellevància a les recomanacions de RisCanvi, ja que es desconeix quines variables són les que més valora el sistema i si amplifica una discriminació. «Això fa que ens sigui molt complicat impugnar l’algoritme», explica l’advocada penalista Mireia Balaguer. «Hi ha factors que poden portar a un resultat no ajustat a la realitat, en aquest cas hem d’analitzar cada cas i acreditar variables dels presos com la seva evolució positiva». Tot i així, aquesta especialista veu RisCanvi com «una bona eina orientativa per a la prevenció» i remarca que el procés té garanties, perquè el jutge fonamenta la seva decisió sobre els permisos i no té una «fe cega» en el que recomana el sistema. En relació amb l’impacte d’aquest protocol sobre els reclusos també hi ha opinions oposades. «Se senten completament sotmesos al ser permanentment jutjats sobre els seus hàbits», explica Iñaki Rivera, director de l’Observatori del Sistema Penal i els Drets Humans (OSPDH). «Se’ls fa preguntes molt intrusives que, segons el meu criteri, xoquen contra el dret a la intimitat». Camps, no obstant, creu que el sistema és clau per a la rehabilitació: «Les dades que s’extreuen són molt pràctiques per ajudar l’intern i rebaixar els seus riscos». El 2008, un any abans de l’entrada de RisCanvi, la taxa de reincidència era del 40,3%. Les últimes dades públiques, de 2014, la situen en un 30,2%. La Generalitat treballa en un altre informe amb les dades del 2018.

Catalunya utilitza un algoritme per ajudar a decidir a quins presos concedeix la llibertat condicional

Totes les presons catalanes utilitzen el sistema automatitzat RisCanvi per calcular el risc de reincidència dels presos

Els experts asseguren que el procés té garanties, però d’altres denuncien falta de transparència i possibles discriminacions

El més llegit