El pasado 12 de julio de 2024, se publicó en el Diario Oficial de la Unión Europea el Reglamento de Inteligencia Artificial de la Unión Europea (AI Act), que entró en vigor el 1 de agosto. Una ley que está diseñada para garantizar que la IA desarrollada y utilizada en la UE sea fiable y que proteja los derechos fundamentales de las personas. Para conocer en profundidad y hablar sobre ella, entrevistamos a Alicia de Manuel Lozano, Expert Analist in AI Strategy de NTT Data.
BigData Magazine (BdM): ¿Cuáles son los aspectos clave del nuevo reglamento de IA?
Alicia de Manuel (AdM): El AI Act tiene varios aspectos clave que son fundamentales para comprender su impacto y aplicación. Por un lado, la catalogación de los niveles de riesgo de los sistemas de IA en función de las consecuencias de su uso. Esta catalogación se divide en cuatro categorías principales: sistemas de riesgo inaceptable, de alto riesgo, de riesgo limitado y de riesgo mínimo. Cada categoría tiene una serie de características y restricciones específicas para asegurar que los sistemas de IA se utilicen de manera segura y ética.
Por otro lado, el AI Act define los requerimientos que deberán cumplir los diferentes stakeholders involucrados en el ciclo de vida de los sistemas de IA. Esto incluye desarrolladores, proveedores, usuarios y cualquier otra entidad que participe en la creación, implementación y uso de la IA. Los requerimientos abordan aspectos como la transparencia, la trazabilidad, la seguridad o la gobernanza. En última instancia, el gran peso de los requerimientos recae en aquellos sistemas que podrían afectar a los derechos fundamentales de las personas.
Además, el AI Act promueve la creación de mecanismos de supervisión y auditoría para garantizar el cumplimiento continuo de estas normativas. Y también fomenta la colaboración entre las autoridades nacionales y europeas para mantener una vigilancia efectiva sobre el desarrollo y despliegue de sistemas de IA.
En definitiva, el AI Act no solo busca regular, sino pretende fomentar la confianza de la sociedad en el uso de la IA.
BdM: ¿Con qué objetivos nace una ley que es pionera en todo el mundo?
AdM: El AI Act es la materialización del desarrollo de una IA para las personas. Sin duda, esta perspectiva europea, que se ha preocupado siempre por el desarrollo de una IA ética, que tenga en cuenta los riesgos que presenta esta tecnología, sobre todo en colectivos vulnerables y la protección de los derechos de las personas, ha conseguido convertirse en un referente global en la regulación y promoción de una inteligencia artificial segura, justa y transparente.
La normativa busca garantizar que el uso de la IA respete los derechos fundamentales de los ciudadanos, como la privacidad y la no discriminación, y asegurar que los sistemas de IA sean transparentes y responsables. Idealmente, a través de un entorno donde la innovación puede florecer sin comprometer la seguridad ni los principios éticos.
Por ello, el AI Act busca equilibrar la protección de los derechos individuales con el fomento del crecimiento económico sostenible, demostrando que es posible desarrollar y utilizar tecnologías avanzadas como la IA que beneficien a toda la sociedad.
BdM: Precisamente, que Europa sea el único sitio donde la IA esté regulada mientras en el resto del mundo siguen con “libertad”, ¿no va a mermar la capacidad de competitividad de las empresas europeas del sector?
AdM: Sin entrar en un debate de filosofía política sobre la conveniencia de mayor o menor regulación para favorecer la competitividad de nuestras empresas, tenemos que pensar que la regulación busca proteger al ciudadano. La capacidad que tiene la IA es realmente de un alcance muy grande, de forma que creemos que el desarrollo de la IA dentro de un entorno pautado y controlado lo que va a permitir es una competitividad justa y ética.
Y los usuarios cada vez van tomando más conciencia sobre el valor de los datos y la necesidad de que estén bien seleccionados y asegurados y se proteja su privacidad, de tal manera que desde nuestra perspectiva, trabajar con modelos de IA que sean “más seguros” va a ayudarnos a ganar competitividad.
Por otro lado, aunque el AI Act sea un referente sobre la regulación de una IA ética, no es un caso aislado, sino que están surgiendo nuevas propuestas de regulación, que se encuentran tanto en definición parlamentaria como aprobados que tienen el objetivo de regular la IA desde una perspectiva ética. Si el ranking mundial de PIB de este 2024 lo encabezan Estados Unidos, la UE, China y Japón; de estas regiones, la UE y China tienen sus propias regulaciones en materia de IA, mientras que Japón tiene unas guías éticas, pero está en pleno desarrollo de un marco regulatorio específico para la IA. Por otro lado, si bien es cierto que Estados Unidos no tiene una norma federal aún en proceso, los estados con más incidencia (en términos de facturación) en el campo de la IA sí disponen de una regulación específica (California, Virginia, Connecticut, etc.). Esto quiere decir que las 4 potencias han apostado por la necesidad de una regulación, evidentemente cada una desde su visión cultural, pero todas han detectado la necesidad de establecer unos límites y unos procedimientos.
En conclusión, este marco legal creo que nos hará más competitivos a medio plazo y nos aportará como ciudadanos mucha más confianza en el sistema como lo hizo en su día la aprobación del Reglamento de Protección de Datos.
BdM: ¿Cuáles son las IA más «peligrosas» a día de hoy?
AdM: Sin duda la capacidad de la IA para generar imágenes y videos muy realistas es uno de los mayores peligros a los que nos enfrentamos. En nuestra sociedad de la información, la capacidad de la IA para crear y difundir contenido falso de manera rápida y convincente puede tener graves consecuencias. No solo porque pueda erosionar la confianza pública, influir negativamente en elecciones y procesos democráticos sino hasta causar daños irreparables en la reputación de personas y organizaciones.
Además, muchos de estos deepfakes se utilizan para generar contenido pornográfico, utilizando imágenes de mujeres sin su consentimiento. Este tipo de abuso no solo constituye una grave violación de la privacidad y la dignidad de las personas afectadas, sino que perpetúa la desigualdad de género, el acoso en línea.
Es esencial desarrollar estrategias y herramientas efectivas para detectar y combatir la creación y difusión de contenido falso. Esto incluye el uso de tecnologías avanzadas de detección, la implementación de políticas y regulaciones estrictas, y la promoción de la educación y la concienciación pública sobre los peligros de las fake news y los deepfakes. Por último, es fundamental que las plataformas digitales y los medios de comunicación asuman la responsabilidad de verificar la autenticidad del contenido que difunden, y que trabajen en colaboración con gobiernos y organizaciones para establecer estándares éticos y normativos. Solo a través de un esfuerzo colectivo podemos asegurar la protección de la verdad y mantener la integridad y la confianza en la información que circula en nuestra sociedad.
BdM: ¿Qué prácticas que hasta ahora son una realidad van a estar prohibidas o consideradas de alto riesgo?
AdM: Una de las prácticas que estarán altamente e incluso prohibidas en algunos casos reguladas y que ha generado mucha controversia, es el uso de sistemas de identificación biométrica en tiempo real en espacios públicos por parte de autoridades públicas o privadas. Este tema es especialmente delicado y sujeto a estrictas condiciones y salvaguardas. Si bien se puede permitir su uso por motivos de seguridad por las fuerzas policiales, será necesario evaluar el impacto del sistema sobre los derechos fundamentales y registrar el sistema en la base de datos de la UE, con excepciones únicamente en casos de urgencia.
En nuestro sector, una tipología de sistemas que encontraremos frecuentemente en nuestros proyectos y que será clasificada como de alto riesgo son aquellos que utilizan el tratamiento automatizado de datos personales para evaluar distintos aspectos de una persona, como sus preferencias, su ubicación, entre otros. Este tipo de uso es donde más nos veremos afectados. Aunque no significa que estos sistemas quedarán prohibidos, sino que será necesario implementar una serie de medidas que nos permitan evaluar el alcance, los riesgos y las consecuencias de estos sistemas. Y finalmente esta necesidad dará lugar a nuevas oportunidades en términos de gobierno de la IA.
BdM: ¿Cómo va a ser el proceso de adaptación del reglamento?
AdM: El proceso de adaptación será complejo y jugará un papel esencial si las empresas cuentan con una estructura previa de gobierno de la IA sobre sus sistemas. Al margen de eso, la Comisión ha establecido unos márgenes de tiempo amplios para facilitar la transición hacia el cumplimiento de la normativa. Por ello, yo creo que deberíamos verlo como una oportunidad, más que como un desafío, para revisar y reforzar las prácticas de gobernanza de la IA dentro de nuestras organizaciones. Además de que debemos de tener en cuenta que la IA no puede ser una tecnología asociada solo a los equipos técnicos o a las áreas de negocio que la utilicen, sino que las consecuencias de su uso e implementación afectan a toda la organización.
BdM: ¿Qué papel jugarán las empresas en todo el proceso? ¿Se ha contacto con ellas para la elaboración del reglamento?
AdM: La aprobación de la regulación no ha estado exenta de controversia y de cuestiones que no quedan muy claras, como por ejemplo cómo van a poder los sistemas de propósito general cumplir con los requerimientos de gestión de riesgos, o cuál será el coste de ese cumplimiento.
Las empresas jugarán un papel fundamental en todo este proceso, por supuesto, ya que serán las responsables de implementar y adaptar sus operaciones a la nueva normativa. El mayor reto va a ser encontrar el equilibrio entre la seguridad y el uso sin restricciones, ya que es crucial que los sistemas sean seguros y confiables al mismo tiempo que no se limiten las capacidades y los beneficios que puedan tener.
Para cumplir con los requerimientos de gestión de riesgos, será necesario que las organizaciones inviertan tanto en tecnología como en la formación continua de su personal. Esto incluye el desarrollo de sistemas robustos de ciberseguridad, la implementación de políticas estrictas de privacidad de datos y la creación de protocolos claros para la gestión de incidentes. Además, deberán establecer procedimientos de auditoría y control interno para asegurar que se cumplen las normativas vigentes. Lógicamente esto implicará un coste, que puede ser especialmente significativo para pequeñas y medianas empresas.
Si a esto le sumamos que las empresas tendrán que trabajar estrechamente con los organismos reguladores para aportar las pruebas pertinentes, entender los requisitos y asegurar que la implementación de ciertos tipos de sistemas es segura, podemos decir que el enfoque de las empresas será clave y multifacético. Y esto requerirá una combinación entre la inversión en tecnología y en talento.
BdM: ¿Cuál es tu opinión como especialista en la materia al respecto?
AdM: Creo que es esencial comprender que la aplicación de esta ley no se podrá realizar mediante soluciones temporales o parches, sino que requerirá una estrategia de gobernanza profunda y bien estructurada. Esta situación representa una oportunidad significativa para hacer las cosas correctamente desde el principio, estableciendo límites claros y estrategias de gobierno que nos permitan a las empresas tener un mayor control y previsión de los riesgos asociados en nuestros sistemas de IA.
Para las empresas, yo creo que esta ley ofrece la posibilidad de desarrollar un marco de gobernanza robusto que no solo cumpla con las normativas, sino que también mejore nuestras capacidades de gestión de riesgos y seguridad. Esto nos permitirá operar de manera más transparente, fortaleciendo la confianza tanto de los nuestros clientes como de nuestros partners.
Además, de cara a la ciudadanía, se espera que esta ley proporcione herramientas efectivas para ejercer sus derechos frente a las decisiones tomadas por sistemas de IA. Esto incluye la posibilidad de entender cómo se utilizan los datos, impugnar decisiones automatizadas y asegurar que los derechos sean respetados en todo momento.
El AI Act no es solo un desafío, sino también una oportunidad para desarrollar tecnología de manera sostenible y ética y con ello, garantizar un equilibrio entre la innovación tecnológica y la protección de los derechos y la seguridad de todas las partes involucradas.
