¿Puede un algoritmo ser racista?

Cuando las decisiones importantes las toma un trozo de código.

Los algoritmos rigen nuestras vidas digitales. Están en nuestras líneas de tiempo de Twitter, de Facebook y de Instagram, en nuestras búsquedas en Google y en la interpretación de datos masivos por parte de gobiernos y empresas. La recolección y utlización de grandes cantidades de datos (lo que conocemos como big data) puede perpetuar y exacerbar los patrones sociales ya existentes de racismo y discriminación.

Big data es la tecnología que utilizan las compañías para recomendarte películas, productos que posiblemente quieras comprar, y usuarios nuevos a seguir, basándose en tus preferencias anteriores. Sin embargo, estos datos también tienen aplicaciones más amplias y de mayor utilidad, como predecir brotes de ciertas enfermedades basándose en los patrones de búsqueda de determinados síntomas, una capacidad que permite a las instituciones pertinentes responder a una epidemia con mayor efectividad y rapidez.

Sin embargo, la aplicación y el uso de big data no es imparcial. De acuerdo con un estudio llevado a cabo por la profesora de Harvard Latanya Sweeney, al analizar 120.000 anuncios de Internet (de los que se muestran como parte de tus resultados de búsqueda) se encontraron incidencias reiteradas de sesgos raciales. Esto significa, por ejemplo, que al hacer una búsqueda en Google de un nombre que estaba "asociado racialmente" con la comunidad afroamericana, los resultados tenían una probabilidad mucho más alta de verse acompañados por un anuncio que sugería que la persona tenía antecedentes criminales, independientemente de que éste fuera el caso o no. ¿El resultado de esto? Un trozo de código que replica los comportamientos discriminatorios de la sociedad en la cual funciona: un algoritmo racista.

Este sesgo, como consecuencia, afectaba las posibilidades de que una persona fuera contratada, por ejemplo, si su potencial empleador buscaba su nombre en la herramienta y concluía que la persona podía tener antecedentes. En un caso como éste, la mera duda puede ser suficiente para incidir en la decisión.

By Kippelboy (Own work) [CC BY 3.0 (http://ift.tt/HdA8Wl)], via Wikimedia Commons

Sin embargo, por lo general funcionamos bajo la creencia de que un algoritmo (una pieza de código, al fin y al cabo) no puede tener prejuicios, ya que analiza todos los datos siguiendo el mismo patrón. Pero el origen del prejuicio no necesariamente se encuentra en el propio algoritmo, sino en los modelos empleados para procesar cantidades masivas de datos y en la naturaleza adaptativa de los algoritmos. Si un algoritmo es capaz de aprender, inevitablemente podrá aprender de los sesgos sociales que observa.

De este modo, los algoritmos terminan perpetuando estos sesgos. Por ejemplo, un estudio hecho por Facebook verificó que el algoritmo de su feed de noticias suprime la cantidad de artículos capaces de originar desacuerdos que una persona puede observar en su línea de tiempo. Esto significa que aunque tus amigos compartan contenido con el que estás (potencialmente) en desacuerdo, el algoritmo no te los mostrará.

El profesor Álvaro Bedoya, del Centro para la Privacidad y Tecnología de la Universidad de Georgetown, lo explica con un ejemplo: imagina un programa de reclutamiento que utiliza un algoritmo escrito para ayudar a las compañías a seleccionar posibles empleados. Si quienes están a cargo del proceso de selección sólo contratan a personas jóvenes, el algoritmo aprenderá a dejar por fuera a las personas mayores la próxima vez.

Según los investigadores dedicados al tema, la perpetuación de los sesgos y la discriminación por parte de los algoritmos no es inevitable, y la solución podría encontrarse en la apertura. Exigir transparencia en los algoritmos, en particular en aquellos que se encuentran en la base de sistemas esenciales como la educación pública y el sistema de justicia, podría ser la clave para permitirnos entender sus sesgos y contrarrestarlos. Por otra parte, es necesario que exista una regulación efectiva con respecto al uso y manejo de datos personales.

El enorme potencial de Internet, que a menudo es traída a colación como la gran herramienta para la igualdad, es en realidad una enorme herramienta que puede ser utilizada para los más diversos fines, incluyendo la lucha por la libertad y la democracia, pero también la vigilancia masiva o perpetuar la desigualdad. Comprender estos problemas puede ser la clave que necesitamos para construir un Internet abierto, libre y democrático que responda a nuestros ideales y sea una herramienta para el crecimiento intelectual, tecnológico y social de la humanidad.

plagiado de: http://ift.tt/1p8ptbd