El algoritmo decide, tú no puedes reclamar

El algoritmo decide, tú no puedes reclamar

  • La coalición IA Ciudadana presenta cuatro investigaciones que radiografían una cadena de protección rota en cada uno de sus eslabones

Los algoritmos ya deciden sobre nuestras vidas. Determinan si accedes al bono social de la luz, si tu currículum pasa el primer filtro de selección, si una cámara te señala como "sospechoso" en una estación de tren. No es ciencia ficción: es España, 2026.

El pasado 17 de febrero, las 19 organizaciones que formamos la coalición IA Ciudadana presentamos los resultados de cuatro investigaciones sobre el impacto de los algoritmos y la inteligencia artificial en los derechos de la ciudadanía. La conclusión es tan clara como preocupante: existe una cadena de protección que debería funcionar y que está rota en cada uno de sus eslabones.

Primer eslabón roto: no sabemos qué algoritmos se usan

El primer paso para controlar algo es saber que existe. Nuestro informe sobre registros públicos de algoritmos revela que en Países Bajos hay un registro nacional con 609 algoritmos documentados. En España, cero a nivel nacional (aunque tres comunidades autónomas se han adelantado y existen registros en la Comunidad Valenciana, Cataluña y el País Vasco).

Las administraciones públicas españolas utilizan sistemas automatizados para tomar decisiones en sanidad, educación, prestaciones sociales y seguridad. El sector privado hace lo mismo en banca, seguros y empleo. Pero no existe un registro que permita a la ciudadanía saber dónde se aplican estas tecnologías ni cómo funcionan. España fue el primer país de la UE en crear una agencia de supervisión de IA (AESIA), pero la sociedad civil fue excluida de su diseño pese a una carta firmada por más de 50 organizaciones.

Si no sabemos qué sistemas se usan, no podemos ni siquiera empezar a discutirlos.

Segundo eslabón roto: nadie evalúa las consecuencias

Antes de poner un algoritmo a funcionar, alguien debería analizar qué consecuencias puede tener sobre nuestros derechos. Es lo que la legislación europea llama "evaluaciones de impacto en derechos fundamentales". Nuestro informe sobre el artículo 27 del Reglamento de IA -liderado por la Federación de Consumidores y Usuarios, CECU- muestra que, tal como está diseñada esa obligación, corre el riesgo de convertirse en un trámite que rellena el propio implantador, sin participación de las personas afectadas y sin que nadie supervise los resultados.

Ya sabemos lo que pasa cuando eso falla. En Países Bajos, el sistema SyRI —un algoritmo de detección de fraude en ayudas sociales— discriminó durante años a madres jóvenes solteras y minorías étnicas. El escándalo provocó la dimisión del gobierno.

Tercer eslabón roto: la vigilancia biométrica avanza sin control democrático

Nuestro informe sobre vigilancia en el espacio público, elaborado junto a Lafede.cat y AlgoRace, documenta cómo se están desplegando sistemas de reconocimiento facial y de supuesta "lectura de emociones" en calles, estaciones, fronteras y contextos policiales.

Algunos datos que conviene no perder de vista. La base de datos policial española (ABIS) cuenta con más de 4 millones de registros biométricos de personas detenidas. El sistema de reconocimiento facial de la policía de Gales tuvo un 92% de falsos positivos y escaneó a medio millón de personas sin su consentimiento. Mercadona recibió una multa de 2,5 millones de euros por instalar reconocimiento facial en 40 tiendas. Hungría aprobó en 2025 una ley que prohíbe los Desfiles del Orgullo y autoriza el reconocimiento facial para identificar a los asistentes. Y la base de datos europea Eurodac, de asilo y migración, ahora incluye a niños y niñas desde los 6 años.

La legislación europea prohíbe la vigilancia biométrica masiva, pero la excepción de seguridad nacional abre la puerta a todo tipo de controles excesivos, con un claro componente racista. Y hay algo aún más inquietante: ya se usan tecnologías que analizan expresiones faciales para supuestamente detectar mentiras o estrés, pese a que la comunidad científica las considera pseudociencia. La UE ha financiado un sistema llamado iBorderCtrl que aplica estos "detectores de mentiras" a solicitantes de asilo en las fronteras europeas.

En España, no existe una normativa específica que regule el reconocimiento facial en espacios públicos, contextos policiales o fronteras desde una perspectiva de derechos.

Cuarto eslabón roto: no hay dónde reclamar

Y cuando todo lo anterior falla, ¿adónde vas? Nuestro informe jurídico ha mapeado por primera vez el laberinto de reclamaciones en España. Hay al menos tres autoridades distintas que pueden recibir una queja por daño algorítmico —la Agencia Española de Protección de Datos, la Comisión Nacional de los Mercados y la Competencia, y las autoridades de vigilancia del mercado—, cada una con lógicas y procedimientos diferentes. Y en las vías previstas por el Reglamento de IA y el Anteproyecto español de Gobernanza de la IA, quien presenta una denuncia ni siquiera adquiere automáticamente la condición de parte interesada en el procedimiento.

El sistema está más pensado para controlar el mercado que para reparar a quien sufre el daño. Los perjuicios documentados van desde la discriminación hasta la pérdida de acceso a prestaciones sociales básicas, como demuestran casos ya resueltos: la sanción a AENA por usar reconocimiento facial sin garantías, la sentencia del Tribunal Supremo que obligó al Gobierno a entregar el código fuente del sistema BOSCO (bono social eléctrico) tras la lucha de Civio, o la multa a Amazon en Cataluña por ocultar los algoritmos que medían la productividad de sus trabajadores.

Y mientras tanto, Europa quiere desregular

A todo esto se suma el ómnibus digital europeo, una propuesta de la Comisión Europea que, según más de 120 organizaciones de la sociedad civil, supone el mayor recorte de derechos digitales en la historia de la Unión. La propuesta debilita la protección de datos personales y los requisitos de protección y reclamación del Reglamento de IA antes incluso de su plena entrada en vigor. Con este paquete desregulador, la UE cede ante los intereses de los gigantes tecnológicos a costa de los derechos de la ciudadanía.

Lo que viene

Estas investigaciones no son un punto final, sino un punto de partida. Las siguientes fases del proyecto se dedicarán a diseñar, junto con la sociedad civil y las comunidades afectadas, una guía para reclamaciones que sea accesible, transversal y sensible a los daños colectivos que producen los algoritmos. Algo que hoy no existe ni en España ni en la Unión Europea.

Los algoritmos que deciden sobre nuestras vidas ya están aquí. Lo que todavía está en juego es si vamos a aceptarlo como inevitable o si vamos a exigir límites democráticos reales.

Más información sobre la coalición y acceso a los informes completos en iaciudadana.org.

Relacionados

Pistoletazo de salida de Ampliando Democracia

Pistoletazo de salida de Ampliando Democracia

La capacidad que las políticas públicas van a tener para dar respuesta audaces y transformadoras a los retos y necesidades de las sociedades actuales en un contexto tan complejo, incierto e interconectado como el del siglo XXI va a depender de un factor clave: la capacidad de nuestras democracias de encontrar nuevas y mejoradas formas de que la ciudadanía participe de forma activa en los procesos de toma de decisión.
Qué Hacen Los Diputados: Acercando el control parlamentario a la ciudadanía

Qué Hacen Los Diputados: Acercando el control parlamentario a la ciudadanía

El pasado 10 de marzo relanzamos el proyecto Qué Hacen los Diputados manteniendo el espíritu del proyecto original e incorporando todas las innovaciones de nuestras herramientas de seguimiento parlamentario como TiPi Ciudadano.Con motivo de este lanzamiento, organizamos un evento que reunió a multitud de personas relevantes.