Ante el evidente uso de herramientas de inteligencia artificial por parte del Sector Público, proponemos se implemente una evaluación de impacto en los derecho humanos antes de adquirir este tipo de tecnología

El pasado 5 de junio de 2019, medios de comunicación reportaron que la empresa de logística y seguridad Thales ganó una licitación en la Ciudad de México como parte de un proyecto de modernización de la ”red de cámaras de video de la Ciudad de México denominado Ciudad Segura”. De acuerdo con el mismo reporte periodístico, el Centro de Comando, Control, Cómputo, Comunicaciones y Contacto Ciudadano de la Ciudad de México, conocido como C5 opera y monitorea más de 15,000 cámaras de vigilancia en la Ciudad y las 6,000 cámaras en el Metro de la Ciudad. Gracias a este servicio será posible “no solo vigilar y seguir la huella de algún criminal, sino que podremos prevenir delitos a través de sistemas de videovigilancia que usan inteligencia artificial con el fin de prevenir y evitar que algún delincuente culmine un delito”.

Igualmente, la Ciudad de México acaba de anunciar que arrendó 1,866 patrullas con sistema de videovigilancia interior y exterior así como reconocimiento facial, geolocalización y capacidad de lectura de placas para identificar autos robados, sin embargo, poco se sabe sobre la calidad de ambos servicios de videovigilancia-

De la misma forma, el pasado 21 de mayo, en una entrevista televisiva, el Titular de la Unidad de Inteligencia Financiera de la Secretaría de Hacienda, Dr. Santiago Nieto hizo referencia a que la Unidad de Inteligencia Financiera hace uso de “algoritmos que matemáticos y economistas introducen al sistema y nos permite obtener información de casos desde una perspectiva neutral, por qué es lo que dice la computadora” para garantizar la imparcialidad de las investigaciones que lidera.

Es importante destacar que el uso que el titular de la Unidad de Inteligencia Financiera hace el término “algoritmo” permite imaginar que se refiere a sistemas de inteligencia artificial y aprendizaje automático (Machine Learning), que aunque técnicamente diferentes, se refieren al mismo resultado, programas computacionales que aprenden al ser entrenados con “datos de entrenamiento”. En el resto de este texto nos referiremos a estos programas por su nombre más genérico, inteligencia artificial.

En el caso de la Ciudad de México, los sistema contratados por el Gobierno nos lleva a pensar en los sistemas de policía predictiva, es decir, al uso de algoritmos y análisis de datos y patrones de comportamiento para predecir momentos y lugares de alto riesgo de actividad criminal. Alrededor del mundo, los sistemas de policía predictiva se encuentran en el centro de una de las controversias más relevantes cuando se trata de tecnología y políticas públicas, pues a pesar de la promesa de reducir los índices de criminalidad, estos sistemas enfrentan importantes críticas éticas, pues existe preocupación de que los algoritmos se alimenten y entrenen con datos sesgados que “reflejen y refuercen actitudes sobre qué áreas son “buenas” o “malas”: si el software predice que un área de la ciudad es “mala”, se enviarán más policías al área y se darán más arrestos, lo cual no necesariamente implica que en otras áreas de la ciudad no se comentan el mismo número de crímenes.

En el caso de la patrullas con capacidad de reconocimiento facial, nos remonta a reportes como el reciente descubrimiento de que, de acuerdo con una investigación independiente, el sistema de reconocimiento facial utilizado por la Policía Metropolitana de Londres identifica incorrectamente a 4 de cada 5 sospechosos o el hecho de que un producto de reconocimiento facial de Amazon no es capaz de reconocer a figuras públicas como Congresistas de los Estados Unidos y tiene marcados sesgos raciales, dificultando el reconocimiento facial de personas pertenecientes a minorías de color. En el contexto mexicano, nos preocupa el lamentable estado del sistema de procuración de justicia y en combinación con este tipo tecnologías.

Frente al uso de “algoritmos” que difunde la Unidad de Inteligencia Financiera para garantizar la neutralidad de sus investigaciones, preocupa que el titular de la misma no reconozca que ya existen amplias evidencias de que los algoritmos tienen sesgos y no son neutrales. Existe ya un cuerpo sólido de evidencia que prueba que los algoritmos supuestamente neutros tienen sesgos desde su origen. La evidencia apunta a que, de manera no intencional, la programación o los datos que se usan para “entrenar” los algoritmos pueden reflejar sesgos sociológicos sobre raza, género o clase y que incluso con las mejores intenciones de que los resultados sean neutrales, reducir o eliminar el sesgo es complicado. Es decir, la Unidad de Inteligencia Financiera retoma el mito de que los algoritmos, al ser “matemáticas” son neutrales y no se equivocan.

Ahora, ¿Qué tiene que ver el sistema de policía predictiva o los algoritmos para perseguir lavado de dinero con nuestra privacidad o más aún, con la protección de nuestros derechos humanos? Todo. El uso desmedido y no controlado de la inteligencia artificial, va en detrimento de nuestros derechos y libertades. Así, por ejemplo, sin la debida supervisión, los sistemas de policía predictiva podrían estar invadiendo nuestra esfera personal al registrar nuestros movimientos por la calle o el transporte público o incurriendo en actos deliberados de discriminación basada en perfiles personalizados; en el caso de los usos en el combate al lavado de dinero y otras tareas de fiscalización, ¿cómo sabemos que no se van a utilizar para otro tipo de persecuciones? y ¿el tipo de tratamiento de los datos personales que hace el “algoritmo” va de acuerdo con la finalidad con la que se recabaron los datos?

Estas evidencias periodísticas dejan en claro que tanto

el Gobierno Federal como el de la Ciudad de México comienzan a incorporarse al emergente proceso de adopción del uso de tecnologías de inteligencia artificial, machine learning o simplemente el uso de “algoritmos”, como apoyo para cumplir las tareas de gobierno y así, mejorar la capacidad de respuesta ante las necesidades y expectativas crecientes de su población.

El uso de la tecnología de punta en el desarrollo de funciones públicas no es malo, al contrario, es deseable, pero sin los controles adecuados puede prestarse a abusos, desvío de propósito y vulneración de derechos, como lo demostró el caso de Gobierno Espía. Esto nos ha llevado a preguntarnos ¿existen reglas a las cuales se deba ceñir la autoridad al utilizar tecnologías como inteligencia artificial, machine learning o algoritmos?

Para dar respuesta a esta pregunta, hicimos uso de nuestro derecho de acceso a la información, solicitando a diferentes entidades públicas en el orden federal y en la Ciudad de México, que compartieran con nosotros la normatividad que rige el uso de tecnologías de inteligencia artificial o machine learning en el desempeño de sus funciones.

Le preguntamos a 17 sujetos obligados, 6 del Gobierno de la Ciudad de México, 2 Organismos Constitucionales Autónomos, 2 Empresas Productivas del Estado y 7 dependencias federales. En nuestra solicitud pedimos

“…copia del documento o cualquier instrumento normativo en el cual se establezca alguna estrategia de uso de inteligencia artificial o machine learning en cualquier unidad administrativa de los sujetos obligados.”

Tras los plazos establecidos por la ley, recibimos 17 respuestas, sin embargo, consideramos que dos -las entregadas por la Secretaría de Hacienda y la Oficina de la Presidencia- debieron dar una respuesta diferente a la inexistencia de información y por ello, interpusimos un Recurso de Revisión ante el Instituto Nacional de Transparencia, Acceso a la Información y Protección de datos Personales (INAI).

En conclusión, las autoridades mexicanas nos dijeron que NO tienen un marco jurídico o ético bajo el cual operar cuando se trata de utilizar la inteligencia artificial en el desarrollo de sus funciones.

Esto es problemático y preocupante, pues las anécdotas periodísticas antes referidas indican que ya se están contratando y utilizando servicios de inteligencia artificial y machine learning, y cómo muchas tecnologías, pueden prestarse a abusos que vulneren los derechos de las personas.

Desde SonTusDatos, ya hemos llamado antes a pensar en cómo vamos a orientar la inteligencia artificial en México, pero esta investigación hace aún más patente la urgencia. La Administración del Gobierno anterior (2012-2018) emprendió algunos esfuerzos para generar marcos de actuación y aplicación. Para empezar, en la Política TIC de dicha Administración (Acuerdo por el que se modifican las políticas y disposiciones para la Estrategia Digital Nacional, en materia de Tecnologías de la Información y Comunicaciones, y en la de Seguridad de la Información, así como el Manual Administrativo de Aplicación General en dichas materias), se reconoció que tecnologías como la Inteligencia Artificial y el Internet de las Cosas pueden ayudar a acelerar el proceso de transformación digital y generar beneficios para la población, lo que hace necesario incorporarlas en las tareas de gobierno y prestación de servicios.

Además, se dieron pasos con la Estrategia de Inteligencia Artificial de México 2018, lacreación de la Subcomisión de Inteligencia Artificial dentro de la Comisión Intersecretarial para el Desarrollo del Gobierno Electrónico y la puesta a consulta de los Principios Generales para el desarrollo y uso de sistemas basados en Inteligencia Artificial en la Administración Pública Federal. Pese a estos avances, los esfuerzos anteriores no se concretaron en un documento único que oriente el uso correcto de la inteligencia artificial en el sector público.

Desde el Gobierno de la Ciudad de México, en el Laboratorio para la Ciudad se realizaron diversos esfuerzos sobre Inteligencia Artificial y gobernanza, sin embargo -de acuerdo con las solicitudes de información que realizamos, no derivaron en instrumentos normativos que regulen los alcances de los usos de la IA en la Ciudad. La actual administración tampoco ha dado muestras de avanzar en el tema de promover un marco regulatorio.

De acuerdo con los alcances de esta investigación, también llama la atención que en el Gobierno de la Ciudad de México, la nueva Administración ha hecho énfasis en la innovación y el uso de la tecnología en las tareas de gobierno con la creación de la Agencia Digital de Innovación Pública, pero ni ésta ni ninguna de las otras dependencias ante las cuales presentamos solicitudes de información pública, según nos informaron, cuenta con una estrategia ni ningún documento normativo para el uso de la IA o alguna de las tecnologías asociadas.

Estas omisiones normativas en ambos órdenes de gobierno son preocupantes, porque si bien son conocidas las bondades que acarrea el uso de estas tecnologías en temas de prestación de servicios y de salud, por mencionar algunos, pueden utilizarse para fines y usos ilícitos en forma deliberado, o también la deficiente programación de los algoritmos o la carencia de datos claros, suficientes y objetivos para alimentar éstos, es capaz de generar sesgos en los resultados, que vulneren de forma significativa los derechos humanos.

Por ello, ante la tendencia imparable de adopción y apropiación de la IA en el apoyo de las funciones públicas en nuestro país -en donde se ha privilegiado la adquisición y uso de tecnología desarrollada por terceros, más que seguir una política de desarrollo tecnológico y de infraestructura que a futuro nos permita optar por opciones desarrolladas localmente-, es urgente definir un marco normativo que asegure el respeto y garantía de los derechos fundamentales.

Los principios que orientan la decisión de los órganos públicos en la adquisición de bienes y servicios están establecidos en el artículo 134 de la Constitución Federal; así, cuando se trata de un proceso de licitación pública, éstos se refieren a precio, calidad, financiamiento, oportunidad y demás circunstancias pertinentes. Este artículo es aplicable en forma extensiva a todas las instancias públicas y órdenes de gobierno existentes en nuestro país, y por ello sienta las reglas y bases aplicables a la administración de los recursos públicos.

Si bien la licitación pública debe ser el procedimiento principal a través del cual el sector público adquieren bienes y/o servicios, la propia Constitución permite excepciones a dicho procedimiento, y en su caso, los principios aplicables difieren y ahora son los de economía, eficacia, eficiencia, imparcialidad y honradez.

En suma, observamos del texto Constitucional que los principios están orientados para que la adquisición de los bienes y servicios se decida en base al pago del menor precio posible, al igual que se ofrezca la mejor calidad, es decir, valor del bien o servicio, juzgando asimismo del proveedor su experiencia, infraestructura, profesionalismo, ética, honradez, eficacia, capacidad técnica, que determinen la probidad y probabilidad real del cumplimiento en tiempo y forma los productos o servicios requeridos.

Pero estos no son los únicos principios que orientan la adquisición de bienes y/o servicios por parte de los órganos públicos, sino que la ley reglamentaria del artículo Constitucional citado, aplicable solamente al orden federal, suma, además, los de crecimiento económico, generación de empleo, eficiencia energética, uso responsable del agua, optimización y uso sustentable de los recursos.

En fin, apreciamos que existe un interés legítimo de que los órganos públicos tomen decisiones basados en precio y valor del bien y/o servicio, pero que también cumplan con determinadas condiciones ya no solo de índole económico sino también, que impacten en forma benéfica en el desarrollo del país y la protección del medio ambiente.

Estos hechos sumados a la necesidad de que la adquisición de tecnología sobre IA sea respetuosa de los derechos de las personas, y que igualmente sea eficaz en el apoyo a la función pública encomendada, permiten considerar legítimamente incorporar como principio constitucional en materia de adquisiciones por parte del Estado, el respeto a los derechos fundamentales y la evaluación de impacto que debe desarrollarse para cumplir con dicha encomienda.

En este sentido, la decisión para adquirir bienes y/o servicios por parte del Estado, cuando se trate de IA, ya sea a través de una licitación pública o un de procedimiento diferente, debe considerar lo siguiente:

Cuando su uso signifique una invasión o probable vulneración a los derechos humanos, deberá analizarse la legitimidad, necesidad y proporcionalidad de la medida, mediante una prueba de interés público.

Tendrán que identificarse los riesgos que el uso de la IA puede ocasionar en los derechos humanos, y prever medidas de mitigación.

Deberá determinarse si es posible que exista una medida menos lesiva a los derechos humanos y en su caso, usarse

Un ente público o privado profesional tendrá que llevar a cabo el análisis sobre el desarrollo de los algoritmos, en el que se documente con claridad su uso, diseño y datos utilizados para su entrenamiento, y que seamos capaces de tener un alto grado de certeza que éstos se comportarán de manera fiable, predecible y adecuada en el apoyo de la función pública.

Deberá desarrollarse un análisis de riesgos sobre el probable uso ilícito y deliberado de la utilización de dicha tecnología, e instrumentarse protocolos de uso y resguardo de la misma.

En conclusión, los efectos del uso de la IA ya forman parte del día a día de muchos de nosotros, pero aún queda tiempo para que la automatización ayude al desarrollo y no meramente replique la vulnerabilidad, impunidad, desigualdad y la exclusión en nuestras sociedades, por ello es obligado establecer principios y medidas para que ello no suceda, como lo es nuestra propuesta de incorporar en la Constitución, el principio de respeto a los derechos humanos y una evaluación de impacto.

Puedes conocer las respuestas que recibimos a las solicitudes de acceso a la información aquí.