Los investigadores han creado un método para ayudar a los trabajadores a colaborar con los sistemas de inteligencia artificial.
En un ajetreado hospital, una radióloga utiliza un sistema de inteligencia artificial que le ayuda a diagnosticar enfermedades basándose en las imágenes de rayos X de los pacientes. El uso del sistema de IA puede ayudarla a realizar diagnósticos más rápidos, pero ¿cómo sabe cuándo confiar en las predicciones de la IA?
No lo sabe. En su lugar, puede confiar en su experiencia, en un nivel de confianza proporcionado por el propio sistema o en una explicación de cómo el algoritmo ha hecho su predicción -que puede parecer convincente pero aún así estar equivocada- para hacer una estimación.
Para ayudar a las personas a entender mejor cuándo confiar en un «compañero de equipo» de la IA, los investigadores del MIT crearon una técnica de incorporación que guía a los humanos para desarrollar una comprensión más precisa de las situaciones en las que una máquina hace predicciones correctas y aquellas en las que hace predicciones incorrectas.
Al mostrar a las personas cómo la IA complementa sus capacidades, la técnica de entrenamiento podría ayudar a los humanos a tomar mejores decisiones o a llegar a conclusiones más rápidamente cuando trabajen con agentes de IA.
«Proponemos una fase de enseñanza en la que introducimos gradualmente al humano en este modelo de IA para que pueda, por sí mismo, ver sus debilidades y fortalezas», dice Hussein Mozannar, estudiante de posgrado en el programa de doctorado de Sistemas Sociales y de Ingeniería dentro del Instituto de Datos, Sistemas y Sociedad (IDSS) que también es investigador del Grupo de Aprendizaje de Máquinas Clínicas del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) y del Instituto de Ingeniería y Ciencias Médicas. «Hacemos esto imitando la forma en que el humano interactuará con la IA en la práctica, pero intervenimos para darle retroalimentación para ayudarle a entender cada interacción que está haciendo con la IA».
Mozannar escribió el artículo junto con Arvind Satyanarayan, profesor adjunto de informática que dirige el Grupo de Visualización del CSAIL, y el autor principal, David Sontag, profesor asociado de ingeniería eléctrica e informática del MIT y líder del Grupo de Aprendizaje de Máquinas Clínicas. La investigación se presentará en la Association for the Advancement of Artificial Intelligence en febrero.
Modelos mentales
Este trabajo se centra en los modelos mentales que los humanos construyen sobre los demás. Si el radiólogo no está seguro de un caso, puede preguntar a un colega experto en un área determinada. A partir de su experiencia anterior y de su conocimiento de este colega, tiene un modelo mental de sus puntos fuertes y débiles que utiliza para evaluar su consejo.
Los humanos construyen el mismo tipo de modelos mentales cuando interactúan con agentes de IA, por lo que es importante que esos modelos sean precisos, afirma Mozannar. La ciencia cognitiva sugiere que los humanos toman decisiones para tareas complejas recordando interacciones y experiencias pasadas. Por eso, los investigadores diseñaron un proceso de incorporación que proporciona ejemplos representativos del trabajo conjunto del ser humano y la IA, que sirven como puntos de referencia a los que el ser humano puede recurrir en el futuro. Empezaron creando un algoritmo que puede identificar los ejemplos que mejor enseñarán al humano sobre la IA.
«En primer lugar, aprendemos los prejuicios y los puntos fuertes de un experto humano, utilizando las observaciones de sus decisiones anteriores no guiadas por la IA», afirma Mozannar. «Combinamos nuestro conocimiento sobre el ser humano con lo que sabemos sobre la IA para ver en qué casos será útil que el ser humano se apoye en la IA. Entonces obtenemos los casos en los que sabemos que el humano debe confiar en la IA y los casos similares en los que el humano no debe confiar en la IA».
Los investigadores probaron su técnica de incorporación en una tarea de respuesta a preguntas basada en pasajes: El usuario recibe un pasaje escrito y una pregunta cuya respuesta está contenida en el pasaje. A continuación, el usuario tiene que responder a la pregunta y puede pulsar un botón para «dejar que la IA responda». Sin embargo, el usuario no puede ver la respuesta de la IA por adelantado, lo que le obliga a confiar en su modelo mental de la IA. El proceso de incorporación que han desarrollado comienza mostrando estos ejemplos al usuario, que intenta hacer una predicción con la ayuda del sistema de IA. El humano puede acertar o equivocarse, y la IA puede acertar o equivocarse, pero en cualquier caso, tras resolver el ejemplo, el usuario ve la respuesta correcta y una explicación de por qué la IA eligió su predicción. Para ayudar al usuario a generalizar a partir del ejemplo, se muestran dos ejemplos contrastados que explican por qué la IA acertó o se equivocó.
