Investigadores del MIT descubren una técnica para mejorar la precisión de la IA

Los métodos que hacen que las predicciones de un modelo de aprendizaje automático sean más precisas en general pueden reducir la precisión para los subgrupos subrepresentados.

Para los trabajadores que utilizan modelos de aprendizaje automático para ayudarles a tomar decisiones, saber cuándo confiar en las predicciones de un modelo no siempre es una tarea fácil, sobre todo porque estos modelos suelen ser tan complejos que su funcionamiento interno sigue siendo un misterio.

Los usuarios a veces emplean una técnica, conocida como regresión selectiva, en la que el modelo estima su nivel de confianza para cada predicción y rechazará las predicciones cuando su confianza sea demasiado baja. Entonces un humano puede examinar esos casos, reunir información adicional y tomar una decisión sobre cada uno de ellos manualmente.

Pero aunque se ha demostrado que la regresión selectiva mejora el rendimiento general de un modelo, los investigadores del MIT y del laboratorio de IA MIT-IBM Watson han descubierto que la técnica puede tener el efecto contrario para los grupos de personas poco representados en un conjunto de datos. A medida que la confianza del modelo aumenta con la regresión selectiva, también aumenta su probabilidad de hacer la predicción correcta, pero esto no siempre ocurre para todos los subgrupos.

Por ejemplo, un modelo que sugiera la aprobación de préstamos puede cometer menos errores de media, pero en realidad puede hacer más predicciones erróneas para los solicitantes negros o femeninos. Una de las razones por las que esto puede ocurrir es el hecho de que la medida de confianza del modelo se entrena utilizando grupos sobrerrepresentados y puede no ser precisa para estos grupos infrarrepresentados.

Una vez identificado este problema, los investigadores del MIT desarrollaron dos algoritmos que pueden remediarlo. Utilizando conjuntos de datos del mundo real, demuestran que los algoritmos reducen las disparidades de rendimiento que habían afectado a los subgrupos marginados.

«En última instancia, se trata de ser más inteligente a la hora de elegir las muestras que se entregan a un ser humano. En lugar de limitarnos a minimizar una tasa de error amplia para el modelo, queremos asegurarnos de que se tiene en cuenta la tasa de error de los distintos grupos de forma inteligente», afirma el autor principal del MIT, Greg Wornell, profesor de ingeniería Sumitomo del Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS), que dirige el Laboratorio de Señales, Información y Algoritmos del Laboratorio de Investigación en Electrónica (RLE) y es miembro del Laboratorio de Inteligencia Artificial MIT-IBM Watson.

Junto a Wornell, participan en el artículo Abhin Shah, estudiante de postgrado de EECS, y Yuheng Bu, postdoctorado en RLE, así como Joshua Ka-Wing Lee SM ’17, ScD ’21 y Subhro Das, Rameswar Panda y Prasanna Sattigeri, miembros del personal de investigación del MIT-IBM Watson AI Lab. El trabajo se presentará este mes en la Conferencia Internacional sobre Aprendizaje Automático.

Predecir o no predecir

La regresión es una técnica que estima la relación entre una variable dependiente y las variables independientes. En el aprendizaje automático, el análisis de regresión se utiliza habitualmente para tareas de predicción, como la predicción del precio de una vivienda en función de sus características (número de habitaciones, superficie, etc.). Con la regresión selectiva, el modelo de aprendizaje automático puede tomar una de las dos opciones para cada entrada: puede hacer una predicción o abstenerse de hacerla si no tiene suficiente confianza en su decisión.

Cuando el modelo se abstiene, reduce la fracción de muestras sobre las que realiza predicciones, lo que se conoce como cobertura. Al hacer predicciones sólo sobre las entradas en las que tiene mucha confianza, el rendimiento general del modelo debería mejorar. Pero esto también puede amplificar los sesgos que existen en un conjunto de datos, que se producen cuando el modelo no tiene suficientes datos de ciertos subgrupos. Esto puede dar lugar a errores o a malas predicciones para los individuos infrarrepresentados.

Los investigadores del MIT pretenden que, a medida que la tasa de error global del modelo mejore con la regresión selectiva, el rendimiento para cada subgrupo también mejore. A esto lo llaman riesgo selectivo monotónico.

«Fue un reto dar con la noción correcta de equidad para este problema concreto. Pero al aplicar este criterio, el riesgo selectivo monotónico, podemos asegurarnos de que el rendimiento del modelo mejora realmente en todos los subgrupos cuando se reduce la cobertura», dice Shah.

TE PUEDE GUSTAR

EVENTOS

RECIBE NUESTRA NEWSLETTER

*Email:

*Nombre:

*Empresa:

Cargo:

Sector:
     

Please don't insert text in the box below!

ESCUCHA NUESTRO PODCAST

SÍGUENOS EN RRSS

MÁS COMENTADOS

Scroll al inicio