Nace OASI, el buscador para conocer los algoritmos que gobiernos y empresas utilizan con los ciudadanos

El objetivo es dar acceso público a información sobre los algoritmos tanto gubernamentales como de empresas, y conocer quién los usa, quién los crea, qué amenazas representan y si han sido auditados, entre otras características.

Eticas Foundation, entidad sin ánimo de lucro que promueve el uso responsable de algoritmos y sistemas de Inteligencia Artificial (IA), ha creado el Observatorio de Algoritmos con Impacto Social (OASI). Este Observatorio presenta un buscador que permite saber más sobre las herramientas que toman importantes decisiones de manera automatizada sobre ciudadanos, consumidores y usuarios de todo el mundo.

Actualmente, tanto empresas como Administraciones Públicas automatizan decisiones gracias a algoritmos. Sin embargo, su desarrollo y puesta en funcionamiento no sigue controles de calidad externos ni es tan transparente como debería, dejando a la población totalmente desprotegida. Con este buscador, cualquiera podrá saber más sobre estos algoritmos: quién los ha desarrollado, quién los usa, su ámbito de aplicación, si han sido auditados, sus objetivos o su impacto social y las amenazas que representan. Eso siempre que las entidades hayan hecho públicos los datos necesarios para medir su impacto por grupos, algo que no siempre ocurre.

Por el momento, OASI recoge 57 algoritmos, pero espera superar los 100 en los próximos meses. Entre ellos, hay cuatro algoritmos de aplicación exclusiva en territorio español y una docena más de grandes compañías como Google, Facebook, Twitter, Netflix, Uber o Microsoft que también tienen impacto en nuestro país. Entre ellos se encuentran Veripol, desarrollado para detectar denuncias falsas por un inspector del Cuerpo Nacional de Policía, y RisCanvi, que ayuda a los jueces en Cataluña a calcular el riesgo de reincidencia de los presos, por ejemplo.

Entre los valores que generan mayores perjuicios están la edad, el género, la raza o la discapacidad, por ejemplo. Y es que, si bien la mayoría de los desarrolladores de estos sistemas de IA no discrimina intencionalmente, al crear a partir de su base de conocimientos única, se producen sesgos no deliberados. Que, además, se amplifican y vuelven a “enseñar” al sistema cuando no hay reparación porque, a primera vista, parece que el algoritmo está funcionando como se esperaba.

Ante la falta de transparencia sobre el funcionamiento de algunos de estos algoritmos, la Eticas Foundation, además del lanzamiento de OASI, está desarrollando un proyecto de auditorías externas. La primera que se está realizando es sobre VioGén, el algoritmo utilizado por el Ministerio del Interior para asignar riesgo a las mujeres que buscan protección tras sufrir casos de violencia machista. Eticas realizará una auditoría externa a través de ingeniería inversa y datos administrativos, entrevistas, informes o guiones de diseño para recopilar resultados a escala. Todo ello con el objetivo de detectar oportunidades de mejora en la protección de estas mujeres.

A pesar de que existen métodos de control y auditoría de algoritmos para garantizar que la tecnología respete la regulación vigente y los derechos fundamentales, la Administración y muchas compañías siguen haciendo oídos sordos a las peticiones de transparencia de ciudadanos e instituciones”, ha declarado Gemma Galdon, Fundadora de Eticas Foundation. “Además de OASI, tras varios años en los que hemos desarrollado más de una decena de auditorías para compañías como Alpha Telefónica, Naciones Unidas, Koa Health o el Banco Interamericano de Desarrollo, publicamos también una Guía de Auditoría Algorítmica para que cualquiera pueda realizarlas. El objetivo es siempre concienciar, aportar transparencia y devolver la confianza en la tecnología, que de por si no tiene por qué ser perniciosa”.

En este sentido, los algoritmos de machine learning se entrenan con grandes cantidades de datos históricos para “enseñarles” a elegir, basándose, por tanto, en decisiones pasadas. Y lo más habitual es que dichos datos no sean representativos de la realidad socioeconómica y cultural sobre la que se aplican, sino que en muchas ocasiones recogen una situación carente de justifica o equidad, que no se quiere perpetuar. De esta forma, aunque, técnicamente, el algoritmo estaría tomando decisiones “correctas” según su entrenamiento, la realidad es que sus recomendaciones o predicciones están sesgadas o discriminan.

TE PUEDE GUSTAR

EVENTOS

RECIBE NUESTRA NEWSLETTER

*Email:

*Nombre:

*Empresa:

Cargo:

Sector:
     

Please don't insert text in the box below!

ESCUCHA NUESTRO PODCAST

SÍGUENOS EN RRSS

MÁS COMENTADOS

Scroll al inicio