Regulación de la inteligencia artificial (IA) en la Unión Europea (UE): la propuesta de la Comisión europea

El 21 de abril de 2021 la Comisión Europea publicó su propuesta de regulación de la inteligencia artificial para la UE. A continuación, presentamos los puntos más relevantes de esta propuesta con el objetivo de contribuir a la difusión y debate de las últimas novedades regulatorias en esta materia.

Mónica Lizet Morales Neira^[1] y Enrique Santamaría Echeverría^[2]

 

Objetivo y alcance

 Establecer reglas armonizadas para la puesta en el mercado o funcionamiento de sistema de IA en la UE. La propuesta propende porque el centro de la IA sea el ser humano (human centric), así como los valores, principios y derechos humanos, dentro de los que se resaltan el respeto por la dignidad humana, los derechos fundamentales y en general, el cumplimiento de la ley, de tal suerte que sea IA segura, confiable y robusta. Esta propuesta además establece prohibiciones para el desarrollo de ciertas prácticas con IA, requerimientos específicos para sistemas de IA de alto riesgo, reglas armonizadas de transparencia para sistemas de IA diseñados para interactuar con personas naturales y reglas para la supervisión y monitoreo del mercado.

Estructura

La propuesta de regulación está estructurada sistemáticamente en consideraciones iniciales y doce títulos referidos a: (I) provisiones generales; (II) prácticas prohibidas de uso de IA; (III) sistemas de IA de alto riesgo; (IV) obligaciones de transparencia aplicables a determinados sistemas de IA; (V) medidas en apoyo a la innovación; (VI) gobernanza; (VII) base de datos de la UE para sistemas autónomos de IA de alto riesgo; (VIII) monitoreo post comercialización, intercambio de información, supervisión del mercado; (IX) códigos de conducta; (X) confidencialidad y sanciones; (XI) delegación de poderes y comité; y (XII) provisiones finales.

Enfoque

Se reconoce la rapidez de la tecnología y el riesgo de que la regulación quede desactualizada, por lo que se propone en términos flexibles y ponderados que permitan que se mantenga el liderazgo en la innovación y nuevas tecnologías de la UE, que además los ciudadanos europeos se beneficien de tecnologías seguras y centradas en los valores y principios ya mencionados. Es así como sentirán confianza de adoptar y acoger las nuevas tecnologías.

Principalmente, su enfoque es de ser una regulación basada en riesgos^[3] que se limita a los requerimientos mínimos necesarios dirigidos a evitar las posibles consecuencias adversas asociadas al uso de IA y así, por una parte, pone su énfasis en sistemas de IA de alto riesgo, no sólo en su diseño o concepción sino en su puesta en el mercado, uso y post comercialización y, por otra, en la prohibición de ciertas prácticas o usos de la IA.

 Ámbito de aplicación

Aplica a proveedores -establecidos dentro o fuera de la UE- que pongan en el mercado o en funcionamiento sistemas de IA en el territorio de la UE y a los usuarios de tales sistemas. Tiene efecto extraterritorial, no sólo aplicable a la UE. Es particularmente interesante que la propuesta de regulación aplicaría a proveedores y usuarios ubicados en terceros países siempre que el output producido por el sistema sea usado en la UE.

No aplica ni a sistemas de IA desarrollados o usados con fines militares exclusivamente ni a autoridades públicas de terceros países u organizaciones internacionales que usen sistemas de IA en el marco de acuerdos internacionales de cooperación judicial o law enforcement.

¿Qué son los sistemas de IA? ¿Cuáles sistemas de IA se califican como de alto riesgo?

En términos generales, la propuesta define sistemas de inteligencia artificial como software desarrollado con una o más de las técnicas incluidas en el Anexo I de la propuesta y que, con base en una serie de objetivos definidos por humanos, puede generar resultados (outputs) como contenidos, predicciones, recomendaciones, o decisiones que influyan en el medio en el que interactúan.

En línea con el objetivo de proponer una regulación robusta, flexible y adaptable al futuro, el Anexo I incluye una lista de técnicas y enfoques modificables a medida que el estado de la técnica continúe desarrollándose. Así, el Anexo I incluye las siguientes técnicas: a. Enfoques de aprendizaje automatizado (machine learning), incluyendo, entre otros, aprendizaje profundo (deep learning); b. Enfoques de lógica o basados en en el conocimiento (knowledge-based approaches); y c. Enfoques estadísticos.

Los sistemas de IA de alto riesgo son aquellos que cumplen las siguientes dos condiciones:

1. Se pretende que el sistema de IA sea usado como un componente de seguridad de un producto, o es en sí mismo un producto regulado por la legislación armonizada de la UE incluida en el Anexo II de la propuesta.
2. El producto cuyo componente de seguridad es el sistema de IA, o el sistema de IA cuando es un producto en sí mismo, debe someterse a evaluación de conformidad por un tercero (third-party conformity assessment) con el fin de poner en el mercado o en servicio ese producto de acuerdo con la legislación armonizada de la UE incluida del Anexo II de la propuesta.

Adicionalmente se consideran como sistemas de IA de alto riesgo aquellos incluidos en el Anexo III de la propuesta. Son ejemplos de estos los sistemas de IA usados en las siguientes áreas: 1. identificación biométrica y categorización de personas naturales; 2. Operación de infraestructura crítica; 3. Educación y entrenamiento vocacional; 4. Empleo y gestión de empleados; 5. Acceso y disfrute de servicios privados esenciales o servicios públicos y sus beneficios; 6. Law enforcement; 7. Migración, asilo y gestión del control fronterizo; 8. Administración de justicia y procesos democráticos. Así, por ejemplo, las siguientes actividades y sistemas de IA son considerados de alto riesgo: la identificación biométrica remota en tiempo real de personas naturales; los sistemas de IA usados como componentes de seguridad en el manejo y operación de tráfico terrestre y el suministro de agua, gas, electricidad; aquellos usados para determinar el acceso a instituciones educativas o de entrenamiento vocacional; sistemas de IA para reclutar o seleccionar personas naturales para puestos de trabajo, o para evaluar las aplicaciones y los candidatos en el curso de entrevistas o evaluaciones; aquellos sistemas usados para el ascenso o la terminación de contratos de trabajo, para la asignación de tareas o para la evaluación del desempeño o comportamiento de las personas en este ámbito; para evaluación de solvencia o riesgo crediticio (credit score) de personas naturales; para la priorización en servicios de emergencias, como bomberos y asistencia médica etc.; entre otros.

 ¿Qué usos o prácticas de sistemas de IA están prohibidos?

En tanto la propuesta de regulación tiene un enfoque basado en el riesgo, se distingue entre la IA que crea un riesgo inaceptable, aquella con un riesgo alto y aquella con un riesgo bajo o mínimo. Las prácticas prohibidas en la propuesta de regulación incluyen a todos aquellos sistemas de IA cuyo uso es considerado inaceptable por contrariedad con los valores de la UE, como por ejemplo, cuando vulnera derechos fundamentales. Está expresamente prohibida la puesta en el mercado o en funcionamiento o uso de sistemas de inteligencia artificial:

1. Que usen técnicas subliminales más allá de la conciencia de la persona para modificar materialmente su comportamiento de tal manera que pueda causarle a esa persona o a otra un daño físico o psicológico.
2. Que exploten grupos vulnerables de personas en razón de su edad o de su situación de discapacidad física o mental, para modificar su comportamiento de tal manera que puedan causarse daño físico o mental a sí mismas o a terceras personas.
3. Por parte de autoridades públicas o en su nombre para la evaluación o clasificación de la integridad moral o confiabilidad (trustworthiness) de personas naturales durante un cierto período de tiempo con base en su comportamiento social o sus características personales o de personalidad conocidas o predecidas, cuando el puntaje social obtenido (social score) implique una o ambas de la siguientes consecuencias: (i) trato desfavorable o perjudicial de ciertas personas o grupos en contextos sociales diferentes de aquellos en los que los datos fueron inicialmente recolectados; (ii) trato desfavorable o perjudicial de ciertas personas o grupos de manera injustificada en relación con la gravedad de su comportamiento.
4. El uso de identificación biométrica remota en tiempo real (real-time) en espacios públicamente accesibles (publicly accessible spaces) con fines de law enforcement. Sin embargo, la propuesta establece algunas excepciones a esta última regla, como por ejemplo, cuando el uso es necesario para prevenir un ataque terrorista, o la búsqueda focalizada de víctimas potenciales de un crimen, como por ejemplo, niños desaparecidos. Para este último caso se desarrolla más en detalle en la propuesta la regulación de los sistemas de identificación biométrica.

¿Qué obligaciones especiales se imponen a los proveedores de sistemas de IA de alto riesgo?

 Los proveedores de sistemas de IA de alto riesgo deben cumplir con los siguientes aspectos:

1. Requerimientos para sistemas de IA de alto riesgo: Cumplir con la adopción (establecimiento, implementación, documentación y conservación) de un sistema de gestión de riesgos; garantizar criterios de calidad de los datos de entrenamiento, validación y prueba usados para el desarrollo de los sistemas de IA (incluyendo detección, monitoreo y corrección de sesgos); contar con una gobernanza y prácticas de gestión de datos apropiadas; desarrollar sistemas de IA capaces de habilitar logs automáticos durante la operación; asegurar que el operación del sistema sea lo suficientemente transparente y le permita a los usuarios interpretar los outputs y usarlos apropiadamente; garantizar que el diseño, desarrollo y uso del sistema pueda ser objeto de supervisión humana efectiva en cualquier momento; y garantizar precisión, robustez y ciberseguridad.
2. Sistema de gestión de calidad: Adoptar un sistema de gestión de calidad que garantice el cumplimiento regulatorio de la propuesta y que las políticas, procedimientos e instrucciones sean debidamente documentadas.
3. Levantamiento de documentación técnica: Documentar el sistema de forma previa a la puesta al mercado o en funcionamiento y mantener actualizada dicha documentación.
4. Evaluación de conformidad: Realizar evaluaciones de conformidad ex-ante (de manera previa a la puesta en el mercado o en funcionamiento de los sistemas de IA), a través de controles internos y documentación del cumplimiento de los requerimientos. La propuesta describe en detalle estas evaluaciones dependiendo del tipo de sistema de IA de alto riesgo de que se trate.
5. Conservación de logs generados automáticamente: La conservación de estos logs del sistema de IA en funcionamiento debe ser por el tiempo que esté bajo control del proveedor en virtud de la relación contractual con el usuario o por otra causa legal. Se indica que deberán conservarse por un periodo apropiado a la luz del propósito del sistema de IA y de las obligaciones legales que se tengan en virtud de las normas nacionales.
6. Adopción de acciones correctivas: Cuando se considere o haya razón para considerar que el sistema de IA que ha sido puesto en el mercado o en funcionamiento, no cumple con los requerimientos y no está conforme con la regulación debe tomarse de forma inmediata acciones correctivas e informar a los distribuidores, representantes autorizados, importadores, según corresponda.
7. Registro base de datos UE: El representante autorizado por el proveedor, previo a poner en el mercado o en funcionamiento el sistema de IA autónomo, deberá registrarlo en la base de datos de la UE cuando se hace referencia a sistemas autónomos y los previstos en el Anexo III. Esta base de datos será de acceso público.
8. Información y cooperación con autoridades: Informar a las autoridades nacionales competentes de los Estados miembros de la UE cuando se advierta que no se hay conformidad con la regulación o sobre acciones correctivas tomadas, entre otras. Cooperar frente a solicitudes de las autoridades para demostrar la conformidad de los sistemas de IA puestos en el mercado o en funcionamiento.

Además, la propuesta impone obligaciones a los representantes autorizados, importadores, distribuidores, usuarios o terceras partes que tengan alguna relación con sistemas de IA objeto de esta regulación.

De manera específica para ciertos sistemas de IA que pueden generar riesgos de manipulación, se imponen obligaciones especiales de transparencia, por ser sistemas que (i) interactúan con personas naturales; (ii) son usados para detectar emociones o determinar asociación con categorías (sociales) basadas en datos biométricos, o (iii) generan o manipulan contenido (como la imagen en los deep fakes), como imágenes, audio, video, por lo que se impone obligación de revelar e informar de forma clara que se estaría usando un sistema de IA. En la propuesta se desarrollan estas obligaciones y se identifican algunas finalidades en las que no resultarían aplicables tales obligaciones de transparencia.

Gobernanza

La propuesta se refiere a las autoridades competentes a nivel de la UE y de cada Estado miembro. En la UE se establece la “Junta Europea de Inteligencia Artificial” (European Artificial Intelligence Board) compuesta por representantes de los Estados Miembros y de la Comisión, cuyo propósito principal es facilitar una efectiva cooperación entre autoridades y dar asesoría y concepto de experto. A nivel nacional, los Estados Miembros designarán una o más autoridad(es) nacional(es) competente(s) y dentro de ellas la autoridad nacional de supervisión. El Supervisor Europeo de Protección de Datos (SEPD) actuará como autoridad competente para la supervisión de instituciones, agencias o entidades de la UE cuando se trate de asuntos relacionados con sistemas de IA que entren dentro de sus competencias.

Códigos de Conducta

Como suele ser usual en la manera de abordar la IA, la propuesta establece un marco para la creación de códigos de conducta que pretenden motivar a los proveedores de sistemas de IA que no se considera de alto riesgo a aplicar voluntariamente los requerimientos y obligaciones de la presente propuesta de regulación.

Análisis de impactos

Finalmente, dado el alto impacto que podría tener esta propuesta no sólo en la UE, es relevante señalar que el staff de la Comisión europea redactó un documento de trabajo que acompaña la propuesta de regulación y contiene un análisis de impacto que contempla un período de consulta de los interesados (stakeholders), así como implicaciones prácticas de quién y cómo sería afectado por la propuesta de regulación y la interacción de esta regulación con otras normas de la UE.

 

^[1] Abogada, LLM en Propiedad  Intelectual, Derecho de Información y Tecnología. Docente Universidad Externado de Colombia y Abogada líder del Banco de la República. Contacto: monica.morales@uexternado.edu.co; Twitter: @MonicaMoralesN.

^[2] Abogado, LLM en Derecho Privado Comparado e Internacional, PhD. Docente-Investigador Centro de Estudios sobre Genética y Derecho. Universidad Externado de Colombia. Contacto: orlando.santamaria@uexternado.edu.co

^[3] https://www.oecd.org/gov/regulatory-policy/48658862.pdf