Los planes del Gobierno para la supervisión de la inteligencia artificial excluyen a la sociedad civil
La futura Agencia de Supervisión de la Inteligencia
Artificial (AESIA) no empezará a funcionar antes de otoño. El Ejecutivo, que actualmente
discute sobre los recursos que le asignará, planea moldear su operativa de la
mano del sector privado.
El Gobierno español quiere actuar como avanzadilla en la regulación de la Inteligencia Artificial (IA) en Europa. “No queremos ser testigo, sino protagonistas de los grandes cambios digitales”, dijo en una reciente entrevista Carme Artigas, secretaria de estado de digitalización y figura clave en estas aspiraciones. En los próximos meses bajo su batuta abrirá la primera agencia nacional en el continente creada para supervisar y controlar estas tecnologías, bajo las siglas de AESIA (Agencia Española de Supervisión de la IA).
El borrador
del reglamento europeo (conocido como AI Act), actualmente en
discusión en Bruselas, exige que los Estados miembros designen autoridades
nacionales para vigilar su cumplimiento. La mayoría de países todavía no han
explicado cómo lo van a hacer. Pero España ya ha detallado que creará una
entidad independiente del Gobierno, encargada de supervisar algoritmos tanto
del sector privado como público.
La capacidad de la AESIA para vetar el uso de sistemas
potencialmente dañinos para las personas estará muy ligada a la versión final
de la norma que se apruebe en Bruselas. También su potestad para imponer
sanciones económicas a empresas o administraciones que se salten la
normativa.
Por otro lado, los recursos y el funcionamiento interno de
la agencia están ahora mismo en discusión dentro del Gobierno. Pero la
documentación oficial disponible y las fuentes consultadas para este artículo
permiten dibujar ya cuáles serán las prioridades y líneas maestras de este
organismo.
Testear la normativa europea
El pasado verano Artigas y el comisario europeo de Mercado
Interior y Servicios, Thierry Breton, presentaron un sandbox regulatorio —o
entorno de pruebas controlado— para que empresas españolas testeen de primera
mano la nueva normativa.
El objetivo del Gobierno español con este testeo es doble.
Primero, identificar “mejores prácticas” entre las empresas participantes sobre
cómo implementar la regulación europea. Algunas de ellas se recogerán luego en
una guía que España se ha comprometido a presentar durante su presidencia del
Consejo Europeo en el segundo semestre de este año).
Y segundo, definir la manera en que trabajará la AESIA y cuál
será su relación con los actores privados del mercado español. Así se desprende
de una
licitación pública publicada hace unas semanas y de las explicaciones
ofrecidas desde el Gobierno para este artículo.
“Se da la vuelta a la lógica normativa. Normalmente tú
desarrollabas, escribías la ley y veías las consecuencias. Y en base a eso
podías hacer las modificaciones legales pertinentes. En este caso es al revés:
participan empresas con sistemas de IA más avanzados y se van viendo casos de
uso y dónde se pueden producir determinadas discriminaciones. En base a eso, se
intentarán minimizar los sesgos de los sistemas”, señala en conversación por
videollamada Carlos Ruiz de Toledo, asesor del ministerio.
En los últimos meses un proveedor externo al Gobierno,
formado por la consultora Deloitte y la asociación OdiseIA, ha redactado varias guías y
manuales para explicar de manera práctica a las empresas cómo implementar los
requisitos de la normativa. Estas guías incluyen autoevaluaciones de
conformidad —es decir, listas de preguntas específicas relacionadas con la
nueva ley— y están centradas en los casos de uso considerados de alto riesgo
por el AI Act.
Entre marzo y abril de este año —cinco meses después
respecto a los planes iniciales del Gobierno— este entorno de pruebas se abrirá
a empresas que quieran participar de forma voluntaria, explica por correo
electrónico Miguel Valle del Olmo, alto cargo del equipo de Artigas.
Un sello nacional y automatización de la supervisión
En esa licitación se detallan también los planes del
Gobierno para los primeros pasos de la agencia. La empresa adjudicataria (el
contrato se divide en dos lotes) tendrá entre otras funciones que actualizar y
redactar las guías finales del sandbox, pero también “definir los
procesos internos” de funcionamiento de la agencia y los perfiles profesionales
necesarios para su puesta en marcha.
Entre estos planes está la creación de un sello nacional de
IA. Es decir un certificado que acredite que los sistemas desplegados en el
país cumplen con los requisitos exigidos por Europa. Este sello será de
carácter voluntario, al menos hasta la entrada en vigor definitiva del
reglamento europeo. Desde el Gobierno no aclaran cómo van a incentivar que las
empresas pasen por este reconocimiento. Pero deslizan la posibilidad de
vincular el acceso a los fondos de financiación europeos a este sello de
calidad.
Otra de las ideas de Artigas es automatizar todo lo posible
el trabajo de supervisión de la agencia. Para ello se desarrollará una
herramienta web a la que tendrá acceso tanto el personal de la AESIA como las
empresas que usen sistemas de IA de alto riesgo. En ella las empresas podrán
auto-evaluar la conformidad de sus sistemas con el reglamento; así como hacer
un seguimiento una vez han sido desplegados en el mercado. La herramienta,
según la documentación oficial consultada, también incluirá un análisis del
código y los datasets de los sistemas.
Dentro del consejo asesor de la IA del Gobierno se ha
discutido en los últimos meses la automatización, al menos parcial, de las
auditorías de algoritmos desde la AESIA, señala Amparo Alonso Betanzos, miembro
de este consejo. Aunque esta investigadora, como otras voces, alerta de las
limitaciones que tiene realizar un análisis automatizado a sistemas de
IA.
“Automatizar ciertas cosas es bastante complejo. Habrá
partes que sí se podrán medir de forma automática: los datos que se recogen,
las variables usadas, etc. Pero por ejemplo la interfaz con humanos es más
complicada”, señala.
Recursos todavía en el aire
Como cualquier agencia pública de nueva creación, la AESIA
necesita recursos económicos y humanos suficientes para empezar a operar. Su
dotación presupuestaria es precisamente el principal motivo hoy de disputa
entre este departamento y otros ministerios del Gobierno.
Inicialmente se difundió que la agencia contaría con cinco
millones de euros. Ruiz de Toledo asegura que la intención es aumentar este
presupuesto antes de su puesta en marcha, pero aclara que esto dependerá del
Ministerio de Hacienda. Y apunta que una de las opciones para aumentar estos
recursos es que las futuras sanciones económicas de la agencia a empresas o
administraciones vayan a parar a su propio presupuesto.
Una parte importante del dinero finalmente designado será
para pagar las nóminas de la plantilla de la agencia. El Gobierno estimó en
otoño una plantilla de 40 trabajadores, todos ellos funcionarios del Estado de
perfiles técnicos, administrativos y jurídicos. La ausencia de otro tipo de
perfiles ha despertado suspicacias entre investigadores y entidades en defensa
de la justicia algorítmica.
“Sin perfiles humanistas o sociales en esta plantilla, ¿cómo
vas a observar el impacto social de los sistemas de IA?”, se pregunta Judith
Membrives, activista por los derechos digitales y miembro del colectivo Algorights. Ruiz De Toledo no descarta que en
los próximos meses se pueda abrir la plantilla a profesionales o colaboradores
externos, aunque reconoce las dificultades para justificar su inclusión en un
organismo como este.
Los recursos económicos y humanos de la AESIA, claves para
definir su capacidad de supervisión real, se incluirán en unos estatutos
internos que deberían estar listos antes del verano. La previsión más optimista
del equipo de Artigas es tener toda la documentación en junio y dar al Gobierno
tiempo para tramitar las leyes pertinentes en verano. Así, la agencia echaría
andar, si nada se tuerce por el camino, el próximo otoño.
A nivel oficial el Gobierno solo ha anunciado por ahora que
la sede física de la agencia estará en A Coruña, después de un concurso entre
varias candidatas. Una asignación que ha levantado una gran polvareda política
en Granada, una de las sedes candidatas, que ha criticado al Ejecutivo central
por falta de transparencia y un supuesto trato de favor hacia la ciudad
gallega.
Impacto social de la IA
La capacidad de la nueva normativa europea y de las agencias
de supervisión nacionales para detectar (y prevenir) el impacto social negativo
de los sistemas de IA es una de las grandes preguntas hoy en el aire.
Ya en 2020 el Gobierno español incluyó en la Estrategia
Nacional de Inteligencia Artificial (ENIA) la creación de un
observatorio público de impacto social algorítmico. Más de dos años después
nada se sabe de esta entidad. Ahora, bajo el paraguas de la nueva normativa
europea, el Ejecutivo plantea un plan en teoría más ambicioso para proteger a
la ciudadanía de los efectos perniciosos de estas tecnologías.
En los contratos publicados, el Gobierno incluye la creación
de un “plan nacional de protección de colectivos vulnerables de IA” con varias
acciones. Entre ellas un estudio de las implicaciones y riesgos de la IA por
colectivos y ámbitos y la redacción de manuales de buenas prácticas para
sistemas de IA en las administraciones públicas -los cuales habría que aplicar
a algoritmos en uso desde hace años en España como RisCanvi (usado en el
sistema penitenciario catalán), Veripol (un algoritmo para la detección de
denuncias falsas en la Policía) o VioGén (un sistema automatizado integrado en los
protocolos contra la violencia machista).
Asimismo se especifica la creación de un “laboratorio de
observación de riesgos” que realizará “auditorías informales” sobre sistemas
considerados de riesgo. Este plan de trabajo se realizará entre empresas externas
y el equipo de Artigas, aclara Miguel Valle del Olmo. Y sus resultados se
entregarán a la propia AESIA, señala.
Rol de la sociedad civil
Estos planes sobre el papel contrastan con el rol que el
Gobierno español está dejando hasta ahora a la sociedad civil. En España en los
últimos años han proliferado entidades de defensa de los derechos
humanos en el ámbito digital y de la IA: organizaciones como la Fundación
Civio, que ha llevado a los tribunales al Gobierno a causa de un software usado
para la asignación del bono social eléctrico; el colectivo Algorights y el Observatorio de
Trabajo, Algoritmo y Sociedad (TAS), de defensa de los derechos de los
trabajadores de plataformas.
Estas y otro medio centenar de organizaciones sociales
reclamaron en septiembre pasado al Gobierno a través de una carta pública poder participar en el
diseño y en la estrategia de la nueva agencia supervisora. Semanas después
Carme Artigas recibió a varios representantes para escuchar sus
peticiones.
Varias personas participantes en este encuentro señalan que,
más allá de las buenas palabras, Artigas descartó su inclusión en el proceso de
diseño de la agencia. De hecho, cuatro meses después de esta reunión el
Gobierno no ha contactado de nuevo con ellas.
Albert Sabater, investigador y director del observatorio de
ética en IA de Cataluña (OEIAC), reclama la necesidad de aumentar el peso de la
sociedad civil en estos procesos. “La ciudadanía no solo se va a posicionar
cuando exista algo malo [con la IA]. Quiere ser escuchada para que estos
procesos sean diseñados de forma que, además de la parte más mecánica, se tenga
también en cuenta su impacto en la sociedad”. “Estamos asistiendo a un proceso
disruptivo en el cual deben participar muchos más actores, de eso no hay duda,
sino será demasiado tarde”, añade.
Otro elemento llamativo de este proyecto es cómo se está
licitando externamente el diseño y desarrollo de varios de los planes y
acciones de la futura agencia. David Cabo, co-director de la Fundación Civio,
especula con que el Gobierno esté apurado en los plazos y trate así de llegar a
tiempo para arrancar con la agencia este año.
“El diseño de la agencia debería estar en manos públicas. Si
quieres que la agencia acumule conocimiento para vigilar a los demás, si
empiezas licitando en vez de contratando a los funcionarios, ese conocimiento
no se va a quedar dentro de la agencia”, advierte.
No hay comentarios:
Publicar un comentario