El uso de estos sistemas algorítmicos facilita a la administración el desarrollo y automatización de los procesos, aunque también es necesario que sean transparentes, y se asegure su buen uso y funcionamiento para evitar posibles casos de discriminación.

Los diferentes estamentos dentro de las instituciones públicas españolas están cada vez más automatizados, con numerosos procesos que necesitan una infraestructura digital para facilitar y agilizar cualquier tipo de gestión. Todo ello lo regulan y dirigen sistemas algorítmicos, que si bien suponen un gran apoyo principalmente para los trabajadores del sector público, también pueden generar alguna amenaza en materia de privacidad y de sesgos discriminatorios, principalmente entre los colectivos más vulnerables. Pero además de esto, según la Ley 40/2015 del Régimen Jurídico del Sector Público, estos sistemas deberían ser auditados.

El Observatorio de Algoritmos con Impacto Social (OASI) de la Fundación Eticas recoge algoritmos que están presentes en instituciones públicas españolas para concienciar de su presencia y de los riesgos en términos de discriminación que en algunos casos puede suponer si no se realiza un ejercicio de transparencia y de análisis de uso de los mismos. Estos son 8 de esos sistemas algorítmicos utilizados por distintos organismos públicos en España.

Fuerzas del orden – VioGén, Riscanvi, TENSOR y VERIPOL 

En el caso de nuestro país, es el sector de las fuerzas del orden en el que más utilizan estos algoritmos. Es el caso de:

• El sistema VioGén que detecta el riesgo de reincidencia de agresores en casos de violencia de género. De este algoritmo se conoce cómo se diseñó y cómo funciona. Sin embargo, el el código del algoritmo sigue sin revelarse, ni qué peso tienen las diferentes preguntas del protocolo para que el algoritmo genere una puntuación de riesgo.
• Riscanvi, utilizado en Catalunya desde el año 2009, calcula la probabilidad de que un preso que esté en libertad vuelva a reincidir.
• El algoritmo TENSOR, que vigila posibles actividades terroristas en internet. Este proyecto, desarrollado a nivel europeo, tenía como objetivo crear una plataforma digital dotada de sistemas algorítmicos para que los cuerpos de seguridad de toda Europa pudieran detectar lo antes posible las actividades terroristas, la radicalización y el reclutamiento en la red. La realidad es que al tratarse de sistemas algorítmicos utilizados por las fuerzas del orden en el ámbito de la seguridad y la prevención del terrorismo, hay muy poca información pública disponible sobre la plataforma, si se está utilizando y por quién, y con qué objetivos.
• VERIPOL se encarga de detectar denuncias falsas. Para ello, utiliza el procesamiento del lenguaje natural y el aprendizaje automático para analizar una llamada y predecir la probabilidad de que la denuncia sea falsa. En este caso existe el riesgo de discriminación contra personas que no tengan el español como idioma nativo o personas con un nivel educativo bajo. Por último, otros registros de algoritmos en este ámbito son los que permiten identificar lenguaje de odio u otro tipo de amenazas en redes sociales.
• Identificación facial. En este caso, estos sistemas pueden suponer un problema para el derecho a la privacidad de las personas, así como por la elevada tasa de falsos positivos a la hora de detectar posibles personas bajo seguimiento policial o vigilancia, algo que sucede más en el caso de personas que no son de raza blanca. Esto se da principalmente porque los datos con los que se entrena a este tipo de algoritmos suelen estar sesgados.

Servicios sociales – ISSA y algoritmo BOSCO 

En cuanto a los servicios sociales, los sistemas algorítmicos están enfocados a clasificar a las personas según sus necesidades, urgencias o cualquier aspecto básico que necesiten. Aquí también existen riesgos, como por ejemplo la amenaza a la privacidad de los beneficiarios de los servicios sociales o la posibilidad de que se produzcan sesgos discriminatorios contra mujeres, inmigrantes y otros colectivos desfavorecidos. Estos son algunos de los sistemas utilizados en servicios sociales en España recogidos en OASI, el registro de la Fundación Eticas:

• ISSA, el chatbox de la Seguridad Social. En este caso, como su código no es público y no puede ser auditado, es posible que el chatbot esté ofreciendo las mismas respuestas a diferentes usuarios dependiendo de cómo se expresen. Por ese motivo, existe la posibilidad de discriminación hacia las personas cuya lengua materna no sea el español, ya que pueden recibir un peor servicio o respuestas erróneas por parte del chatbot.
• Algoritmo BOSCO, que regula el bono social para el pago de la factura de la luz. Se encarga de revisar las solicitudes del bono social y hasta decide el resultado. Debido a ciertas resoluciones controvertidas, una organización sin ánimo de lucro, Civio, solicitó al gobierno español que liberara el código de BOSCO y éste se negó. Actualmente Civio llevó al gobierno a los tribunales y el caso está en curso.

Empleo – Algoritmo SEND@ 

• Algoritmo SEND@. Éste realiza una búsqueda entre un grupo de personas que tienen un perfil semejante y se fija en aquellos que tienen mejor trayectoria profesional y en las acciones que han realizado para ofrecer recomendaciones formativas. En este caso existe un riesgo de discriminación ya que históricamente algunos grupos de personas han sido discriminados a la hora de buscar un empleo como las mujeres y las minorías sociales, el algoritmo corre el riesgo de reforzar ese tipo de discriminación, y además puede no tener en cuenta las diferencias y la diversidad entre los demandantes de empleo.
• Además el SEPE utiliza una plataforma automatizada para determinar las prestaciones por desempleo y distribuir las oportunidades de empleo y formación laboral entre los desempleados. 

Algoritmos en las administraciones extranjeras 

Fuera de nuestras fronteras existen otros sectores en los que los algoritmos regulan ciertos aspectos. Por ejemplo, en el ámbito educativo y formativo ya que les permite clasificar y ordenar a los estudiantes que aspiran a entrar en escuelas o universidades. Con ello, el centro educativo puede elegir los estudiantes que más les gusten, siendo esto discriminatorio. Por supuesto, la pandemia causada por la COVID-19 ha impulsado el uso de estos de este tipo de sistemas. Con la educación a distancia y muchos de los trabajos y clases telemáticos, los algoritmos se han utilizado para evaluar el trabajo de los estudiantes, aunque un punto controvertido se ha dado cuando éste calculaba y decidía qué nota otorgar a cada uno.

Otro sector es el de la justicia. Dada la complejidad de algunos temas, los sistemas algorítmicos facilitan la tarea concretamente en cuatro ámbitos diferentes: desde la optimización de tareas largas y complejas, hasta aconsejar a los gobiernos las medidas a tomar durante la pandemia, predecir el riesgo de reincidencia de presos si vuelven a estar en libertad o asignar determinados casos a unos jueces u a otros.

Estos análisis de uso de algoritmos están disponibles en el Observatorio de Algoritmos con Impacto Social (OASI) de la Fundación Eticas, un registro de algoritmos, de acceso público donde se pueden comprobar qué algoritmos (en España y en el mundo) ya inciden sobre nuestra vida y si están auditados o no. El objetivo es contribuir a una conversación pública informada sobre este tema y encaminar el discurso hacia la transparencia y comprensión general del funcionamiento de los algoritmos y el papel que actualmente desempeñan en la vida cotidiana, con el fin de aplicarlos considerando todos los estratos de la sociedad.

Gemma Galdón, CEO y fundadora de Eticas, recalca: “queremos que los ciudadanos sean conscientes de la presencia de los algoritmos y lo influyentes que son en nuestro día a día. Por este motivo, queremos sistemas algorítmicos justos, éticos para la sociedad y transparentes con la información que manejan y el uso que hacen de ella, sobre todo desde los servicios e instituciones públicas”.