La Justicia de la Ciudad Autónoma de Buenos Aires mantiene la suspensión del uso del Sistema de Reconocimiento Facial para Prófugos (SRFP) luego de una audiencia con especialistas y representantes del Ministerio de Seguridad bonaerense determinó que Aún no hay acuerdo sobre cómo auditar esta tecnología. Se trata de una inteligencia artificial que, para muchos expertos, tiene problemas que han provocado detenciones erróneas y está cuestionada en términos de privacidad y garantías en varios países.

El sistema, implementado para detectar e identificar prófugos de la Justicia y delincuentes en 2019, demostró sus falencias cuando un ciudadano pasó casi una semana en prisión porque fue confundido con un delincuente que tenía el mismo nombre, Guillermo Ibarrola. A finales del año pasado, el tema volvió a estar en la agenda, esta vez a nivel nacional, cuando el Gobierno de Javier Milei se propuso implementar esta tecnología para identificar a los manifestantes y penalizarlos con el retiro de los planes sociales.

A partir de un pedido de acceso a información pública realizado en 2019 por el Observatorio de Derecho Informático de Argentina (ODIA), y luego una acción de tutela, también se impulsaron una serie de procesos legales por parte de la Centro de Estudios Jurídicos y Sociales (CELS) y el Fundación Vía Libre lo que llevó a suspender el uso del reconocimiento facial en territorio bonaerense, desarrollado por la empresa de software Danaide SA

Hace dos semanas, en una audiencia se intentó definir cómo se iba a auditar el sistema, sin llegar a un acuerdo, pasando a una sala intermedia y tomando la decisión de mantener su bloque. Aquí, qué implica el sistema, qué riesgos representa y Qué explica el Gobierno porteño para justificar su reactivación.

La tecnología de reconocimiento facial se basa en verificar la identidad de una persona en función de sus rasgos faciales. Para ello se analizan características únicas como la forma de la nariz, la distancia de los ojos o la forma de los pómulos.

“Se entiende por reconocimiento facial aquella tecnología que permite la identificación o verificación, mediante un proceso automatizado, de una persona a través de una imagen, vídeo o cualquier elemento audiovisual de su rostro”, explicó a Clarín María Luján Gallego, abogada y especialista en Protección de Datos del Estudio Brons & Salas.

Tiene diversos usos, desde algunos cotidianos como aplicaciones como Mercado Pago, donde el objetivo es validar una identidad (en el caso de estas aplicaciones, como medidas de seguridad más robustas que una contraseña o PIN). A nivel estatal su uso tiene que ver con “prevenir la comisión de delitos, verificar si una persona tiene antecedentes penales o verificar, cuando se comete un delito, si la persona o grupo de personas ha tenido influencia en el hecho de que se trate”, añade Gallego. En los accesos a los estadios, por ejemplo, se utiliza un tipo de sistema llamado Safe Grandstand 2.0 y que tiene como objetivo impedir el ingreso de personas con antecedentes penales.

Clarín consultó al Gobierno de la Ciudad sobre cómo funciona esta tecnología SRFP en suelo bonaerense. “La tecnología utilizada para el reconocimiento facial que analiza imágenes de una base de datos pública denominada CONARC (Consulta Nacional de Rebeliones y Capturas) es administrada por el Ministerio de Justicia y Derechos Humanos de la Nación, o por orden directa de una autoridad judicial competente. . Esta base se actualiza diariamente y contiene registros de personas mayores de edad que están siendo buscadas por la justicia”, explicaron.

El uso, argumentan, se justifica en gran medida por los resultados: “Al momento de ser suspendido, el Sistema de Reconocimiento Facial de Fugitivos había logrado detectar, circulando libremente por la Ciudad Autónoma de Buenos Aires, 1.743 prófugos – a nivel nacional de aproximadamente 40 mil, incluidos los imputados por homicidio, robo y distintos tipos de abuso sexual, entre otros delitos”.

Según explican, “recién al detectar una coincidencia con el CONARC, el Observatorio Urbano emite una alerta, generando una carta de servicio y notificando al personal policial para que intervenga. Además, cabe señalar que el sistema se rige por la legislación que regula el Sistema Integral de Seguridad Pública de la Ciudad y está sujeto a auditorías por parte de la Defensoría del Pueblo», agregaron, además de que una comisión de la Legislatura también forma parte del proceso de control del sistema.

Esta auditoría es el punto de desacuerdo entre estas tres organizaciones de la sociedad civil que impide que el sistema se utilice hoy: “El uso de esta tecnología sin el marco regulatorio adecuado podría llevar a violar o vulnerar derechos muy personales de los ciudadanoscomo la privacidad, la igualdad o la discriminación”, advirtió Gallego.

La situación del ciudadano detenido por un error del sistema en Bahía Blanca sirve como caso de prueba de que esta tecnología puede funcionar mal, llevando a la privación de libertad de un ciudadano inocente, o que el sistema puede tener sesgos que perjudican a la población. El punto de las organizaciones que se oponen tiene que ver con esto: auditarlo para saber exactamente cómo funciona este software y cómo se fabrica.

En una verdadera odisea, Federico Ibarrola regresaba de Tigre y al llegar a la estación de trenes de Retiro la policía lo capturó, luego de que el sistema de reconocimiento facial del gobierno de la ciudad de Buenos Aires lo identificara como prófugo de un violento robo cometido en Bahía Blanca hace tres años. atrás. “En lugar de subir los datos de Guillermo Federico Ibarrola que había sido identificado como sospechoso por un testigo, se subieron los de este hombre que es homónimo”, habían explicado en ese momento fuentes judiciales.

“Se debe realizar un estudio detallado con la intervención de todos los sectores que puedan estar involucrados para proteger los derechos de todas las partes que estarán involucradas en la implementación del sistema en cuestión. Evaluar riesgos, beneficios e implicaciones de su implementación, implementar los medios necesarios para que la población conozca esta nueva herramienta a utilizar. No se deben perder de vista los derechos individuales de los ciudadanos, aquellos que no pueden ser violados por el Estado”, advierte Gallego.

Por este tipo de casos, la jueza de lo Contencioso Administrativo de la Ciudad de Buenos Aires, Elena Liberatori, declaró la inconstitucionalidad del funcionamiento del SRFP implementado por el Gobierno porteño en septiembre de 2022, algo confirmado por la Sala I de la Cámara de Apelaciones , que envió todo a primera instancia para insistir en su auditoría Descartar prejuicios raciales, étnicos o de género.

En ese contexto, la audiencia de hace dos semanas tuvo a las dos partes enfrentadas: el Gobierno porteño pidiendo que se reactive el sistema por un lado, y las entidades de la sociedad civil ODIA, Vía Libre y CELS por el otro.

Desde el Ministerio de Seguridad de la Ciudad aseguraron a este medio que están «a disposición del juez Liberatori desde el primer día, trabajando para responder a cada una de las medidas de prueba que solicitó el médico», entre ellas, «poner a disposición el software». , informar a la ciudadanía y a la sociedad civil del Sistema, colaborar con las pericias técnicas que realizarán los expertos de la Facultad de Ciencias Exactas de la UBA y generar un plan de trabajo que incluya todos los aspectos ciudadanos, judiciales, legislativos y de control que permita el sistema. para ser utilizado para tener una Ciudad más segura”.

“El Ministerio de Seguridad bonaerense dijo que estaban disponibles para todas las auditorías, por lo que pidieron activar el sistema y auditarlo en funcionamiento. Eso no logró, o sea, el sistema está apagado y no lo pueden volver a encender”, explicó Beatriz Busaniche, presidenta de la Fundación Vía Libre, quien participó de la audiencia.

«Hay una sentencia de la Sala que es firme, que prohíbe el uso del sistema de reconocimiento facial hasta que se cumplan las especificaciones legales de los mecanismos de ‘control’». [control]. El gran problema es quién hace la auditoría y cómo”, añadió Busaniche.

El enfrentamiento entre las partes hace que hasta que no se realice una auditoría del software utilizado y de su implementación, el sistema quedará sin uso. “El juez Liberatori no aceptó ordenar la reimplementación del sistema mediante una simple auditoría de caja negra, que entendemos sería insuficiente”, explicó a Clarín Tomás Pomar, presidente de ODIA, entidad que inició los reclamos en 2019.

Una auditoría de caja negra es una prueba de concepto para la cual, sin revelar los elementos informáticos del sistema, se realizan diferentes pruebas. “Es decir, no te dejan ‘ver’ cómo funciona pero sí te permiten probar que funciona. Para nosotros, esto puede ser un estándar en el mercado, pero no es capaz para tecnologías críticas utilizadas por el Estado”, critica Pomar.

“Celebramos la decisión de la Justicia de elevar el nivel de auditoría requerido para esta tecnología crítica, también celebramos la solicitud de un plan de acción donde la conjuntos de datos y el modelo de entrenamiento [de la IA] y creemos que es positivo que siga desconectado”, concluyó el abogado especialista en privacidad y derechos de los ciudadanos.

“El debate político sobre el tema en Argentina es paupérrimo; se basa en el hecho de que cualquier tecnología es necesariamente positiva y útil sin evaluar su impacto en consecuencia. Afortunadamente, la sociedad civil actuó a tiempo y la justicia estuvo a la altura de las circunstancias, poniendo límites para defender no sólo el derecho a la libre circulación, sino con una nota importante en relación a las compras públicas que realiza el Estado y la obligación de transparencia de lo que hace con nuestros datos biométricos”, añadió Busaniche.

En este sentido, caracterizó la ratificación del bloqueo del sistema como «estratégico a nivel internacional e histórico. Demuestra que más allá del debate parlamentario sobre iniciativas de este tipo, se puede y se debe exigir el cumplimiento de medidas para proteger los derechos contra la integración acrítica de tecnologías de alto riesgo”.

La Defensoría del Pueblo insiste con una auditoría que, al menos hasta febrero de este año, no cumplió con los requisitos que solicita la Justicia.

Luego del cuarto intermedio, las partes acordaron reunirse para desarrollar un plan que incluya un marco institucional, un presupuesto y un plan metodológico claro para una auditoría real del sistema. Hasta el momento las partes no han avanzado en esta línea y el sistema de reconocimiento facial permanecerá suspendido hasta Se presenta a la Justicia una nueva propuesta para auditarlo.