Las máquinas no solo obedecen, también aprenden (y pueden aprender muy mal)
El campo de la IA es gigante y dentro de esa combinación de algoritmos está el Machine Learning (ML), o aprendizaje de máquinas o automático. Un sistema que hoy es ampliamente utilizado y que consiste básicamente en que las computadoras aprendan. En otras palabras, el desempeño de las máquinas mejora con la experiencia. Por ejemplo, Netflix, utiliza ML para recomendar de forma personalizada a los usuarios qué ver, y estas recomendaciones se ajustan a partir de los datos que se entregan. Estos datos pueden ser explícitos, como darle like a una cierta película o serie, o, en su gran mayoría, implícitos, como pausar cierta serie después de 10 minutos o mirar una película en dos días. Toda esta información que le entregamos a Netflix, en conjunto con la de todos los demás usuarios, es el dataset, o conjunto de datos, que utiliza su sistema de recomendación para mejorar constantemente.
Sobre estos procesos existen diversos casos concretos que muestran cómo el uso de IA para automatizar procesos replica sesgos de género. Por ejemplo, el año 2014 Amazon comenzó a desarrollar un programa que, utilizando Machine Learning, permitía revisar y evaluar automáticamente cientos de currículums. Este sistema aprendía de los currículums recibidos en los últimos 10 años y el desempeño de las personas contratadas en ese rango de tiempo. El 2015 la compañía se dió cuenta que este nuevo sistema ponderaba de peor manera a las mujeres para puestos de desarrollo de software u otras labores técnicas. Un reflejo del histórico dominio masculino en la industria tecnológica. A pesar de los esfuerzos, Amazon no pudo revertir este aprendizaje y desechó el programa.
Por otra parte, Joy Buolamwini y Timnit Gebru, investigadores del MIT, evaluaron los software de reconocimiento facial de IBM, Microsoft y Face++, encontrando que todas las compañías tenían mejor performance en reconocer rostros de hombres que de mujeres, y en rostros de personas de piel clara versus en personas de piel oscura. Al analizar los sub-grupos, el reconocimiento facial de mujeres negras fue el que tuvo mayor tasa de error en las tres compañías: un 31% de error en promedio. Este resultado se contrapone con el error de menos de un 1% para hombres blancos.
Estas tasas de error son críticas. Esta tecnología es la que hoy es utilizada por gobiernos para la detección de tendencias criminales. Y bien sabemos que ésta pueden usarse para generar un informe de probabilidades de reincidencia o influir en las sentencias de las personas.
Ejemplos como estos dan cuenta del rol que tiene el uso de la Inteligencia Artificial en la creación de sistemas automatizados. El hecho de que dichos sistemas sean entrenados con un conjunto de datos generados por personas, y la experiencia de éstas, implica que los sistemas aprenderán y mantendrán la subjetividad que puede venir con ellas. Lo que significa, que los sesgos existentes en el mundo offline son traspasados al online. En este sentido, se hace necesario promover estrategias que garanticen que la adopción de nuevas tecnologías en escala masiva detengan la creación de más desigualdades de género, de raza, entre muchas otras.
Esta realidad asusta y se convierte en un escenario crítico cuando pensamos que ésta será, y está siendo, la tecnología que impulsarán los Estados y que influirá directamente en las libertades y los derechos civiles de las personas. Muy probablemente determinará becas, subsidios de vivienda, permisos de migración y tendrá un rol clave en la seguridad ciudadana.
