Recibir una ayuda social. Entrar en un proceso de selección para un puesto de trabajo. Optar a un crédito. Todas estas situaciones cotidianas están ya dominadas por los algoritmos. En la Administración Pública se usan cada vez más para la toma de decisiones que nos afectan, pero no es posible supervisar sus implicaciones, que pueden llegar a ser muy graves. Por ejemplo, las 55 mujeres que fueron asesinadas después de que sus casos se consideraran de riesgo bajo por el sistema VioGen, que utiliza un sistema de evaluación automatizado, o los cientos de jóvenes afectados por “distorsiones” en el algoritmo con el que el Distrito Único Andaluz calcula las posiciones en las listas de entrada a los grados universitarios. No es una cuestión de tecnología, sino de derechos.
Ante esta situación, las 17 organizaciones unidas en la plataforma IA Ciudadana piden al Gobierno la creación de un Registro Central de Algoritmos, cuyas características han detallado en un estudio que acaba de publicarse y que incluye 12 recomendaciones. Este registro debe ser obligatorio, diseñado en colaboración con la sociedad civil, transparente y accesible. Además, debe incluir todos los sistemas algorítmicos utilizados por la administración pública basados en reglas y patrones. De los registros de este tipo que existen en países europeos, el de Países Bajos es el más avanzado.
“No solucionaremos la crisis de la democracia ocultando sus mecanismos. Es necesario ser ambiciosos y mejorar los requisitos del Reglamento de IA de la Unión Europea, porque excluye del registro obligatorio los sistemas que considera de bajo riesgo y limita sectores críticos que van desde las fuerzas de seguridad y el control de fronteras hasta el sector financiero”, afirma Anabel Arias, responsable de derechos digitales en la Federación de Consumidores y Usuarios CECU. Tampoco ofrece información detallada, como códigos fuente y datos de entrenamiento, ni los proveedores externos, información esencial para subsanar efectos discriminatorios no deseados y reparar a las víctimas.
“La aprobación del Anteproyecto de Ley para la Gobernanza y el Buen Uso de la Inteligencia Artificial, anunciado esta semana por el Gobierno, es una gran oportunidad para crear este registro. Esperamos que se incluya en su diseño a las organizaciones de la sociedad civil”, añade David Cabo, co-director de Civio.
El papel del legislativo es también importante, por lo que IA Ciudadana pide al Parlamento la creación de una comisión parlamentaria sobre transparencia algorítmica, además de que exija al Gobierno que informe sobre este tema al menos una vez al año en la sede de la soberanía popular, entre otras demandas.
España anunció pronto planes y estrategias para reforzar la transparencia tanto en el sector público como en el privado. En 2021, el Gobierno aprobó la Carta de Derechos Digitales, convirtiéndose en el primer Estado europeo en reconocer este conjunto de protecciones para la ciudadanía en la esfera digital. También se anunció la Estrategia Nacional de Inteligencia Artificial, que en su versión de 2024 habla de una ”Inteligencia Artificial transparente, responsable y humanista”, pero sigue sin cerrarse. Tampoco se ha presentado el V Plan de Gobierno Abierto 2024-2028, que incluye la “Gobernanza Digital” como un área de reforma.
Ante la falta de acción o la obstrucción directa por parte de las administraciones, son los medios de la comunicación y la sociedad civil quienes están tomando las riendas en la lucha por la transparencia algorítmica, con investigaciones y denuncias ante los tribunales. Nuestras recomendaciones permiten precisamente a académicos, periodistas y ONG llevar a cabo su labor de fiscalización de los poderes públicos.
Así ha ocurrido con el sistema de rastreo de bajas laborales por parte de la Seguridad Social, cuestionado por una investigación en la que se aliaron una ONG y un medio de comunicación, o la demanda para que se aclare cómo el programa BOSCO concede el bono social, que ha llegado al Tribunal Supremo. Como una mancha de aceite, los riesgos se extienden a las comunidades autónomas: en Galicia una IA influirá en los procesos de búsqueda pública de empleo sin que sepamos si se la ha entrenado para evitar discriminaciones por sexo o raza.
La iniciativa regulatoria la están protagonizando las comunidades autónomas, entre las que destacan la Comunidad Valenciana y Cataluña, que han propuesto medidas para ampliar la accesibilidad a los sistemas de IA que afectan a la vida cotidiana de los ciudadanos. Al mismo tiempo, Galicia, Asturias, Extremadura o recientemente el País Vasco, han aprobado o están en proceso de aprobar regulaciones, aunque no todas proponen la creación de registros.
Más información sobre situaciones de riesgo documentadas, en este enlace.
Es una coalición de 17 organizaciones que trabajan para defender los derechos humanos en el contexto de las tecnologías digitales. Nuestro objetivo es ampliar los espacios de participación de la sociedad en la regulación y en la gobernanza de la inteligencia artificial y los algoritmos, con el fin de conseguir que estas tecnologías protejan a las personas y promuevan la justicia social. Hay 14 organizaciones participantes (Civio, Political Watch, Algorace, TAS, Eticas, LaFedeCat, Komons, Digital Fems, Institut de Drets Humans de Catalunya, Algorights, Iridia, Novact, CECU y Oxfam Intermón). Como observadoras, actúan Amnistía Internacional, Secretariado Gitano y X Net.
