Por Aimee Rawlins
No es ninguna sorpresa que la desigualdad en Estados Unidos vaya en aumento. Pero lo que quizás no sabías es que las matemáticas tienen parte de la culpa.
En un nuevo libro Weapons of Math Destruction, Cathy O’Neil detalla todas las formas en que las matemáticas esencialmente están siendo utilizadas para el mal (mis palabras, no suyas).
En ámbitos como la publicidad selectiva, los seguros, la educación y la creación de políticas, O’Neil analiza cómo los algoritmos y las prácticas de big data (grandes volúmenes de datos) se enfocan en los pobres, lo que refuerza el racismo y amplía la desigualdad.
Estas “armas de destrucción matemática”, como ella las llama, tienen tres características principales: son opacas, escalables e injustas.
¿Te han rechazado en un empleo debido a un test de personalidad? Qué mal: el algoritmo dijo que no eres el candidato adecuado. ¿Te cobraron una tasa más alta por un préstamo? Bueno, las personas en tu código postal tienden a ser prestatarios de mayor riesgo. ¿Recibiste una sentencia de prisión más dura? Esta es la causa: tus amigos y familiares tienen antecedentes penales también, así que es muy probable que reincidas. (Alerta de spoiler: La gente en el extremo receptor de estos mensajes realmente ni obtiene una explicación).
Los modelos de los que O’Neil escribe utilizan sustitutos para lo que realmente están tratando de medir. La policía analiza los códigos postales para desplegar agentes, los empleadores utilizan puntuaciones de crédito para medir la responsabilidad, los que prestan sobre los salarios evaluar la gramática para determinar la solvencia. Sin embargo, los códigos postales también son un sustituto de ‘raza’, las puntuaciones de crédito de ‘riqueza’, y la gramática deficiente de ‘inmigrante’.
O’Neil, quien tiene un doctorado en Matemáticas por la Universidad de Harvard, ha trabajado en el mundo académico, también en un fondo de cobertura durante la crisis financiera y como científica de datos en una startup. Fue allí —en conjunción con el trabajo que estaba haciendo con Occupy Wall Street— que quedó desilusionada por la forma en que las personas estaban usando los datos.
“Me preocupó la separación entre los modelos técnicos y las personas reales, y las repercusiones morales de esa separación”, escribe O’Neill.
Comenzó a bloguear —en mathbabe.org— acerca de sus frustraciones, lo cual eventualmente se convirtió en Weapons of Math Destruction.
Una de las secciones más atractivas del libro es sobre los “modelos de reincidencia”. Durante años, la sentencia penal era inconsistente y sesgada contra las minorías. Así que algunos estados de Estados Unidos comenzaron a utilizar los modelos de reincidencia para guiar las sentencias. Estos consideran aspectos como condenas anteriores, el sitio de residencia, consumo de drogas y alcohol, encuentros previos con la policía y antecedentes penales de amigos y familiares.
Estas puntuaciones se utilizan para determinar la sentencia.
“Esto es injusto”, escribe O’Neil. “De hecho, si un fiscal tratara de manchar a un acusado al mencionar los antecedentes penales de su hermano o la alta tasa de criminalidad en su vecindario, cualquier abogado de defensa decente rugiría: ‘¡Protesto, su Señoría!’”.
Pero en este caso, es poco probable que la persona conozca la combinación de factores que influyeron en su sentencia; y no tiene absolutamente ningún recurso para impugnarlos.
O considera el hecho de que casi la mitad de los empleadores estadounidenses piden a sus potenciales empleados su historial crediticio, lo que equivale a equiparar una buena puntuación de crédito con responsabilidad o fiabilidad.
Esto “crea un ciclo de pobreza peligroso”, escribe O’Neil. “Si no puedes conseguir un trabajo debido a tu historial crediticio, es probable que el registro empeore, lo cuál le hará aún más difícil trabajar”.
Este ciclo se extiende a lo largo de líneas raciales, sostiene, considerando la brecha de riqueza entre las familias blancas y negras. Esto significa que los afroamericanos tienen menos de colchón al cual recurrir y son más propensos a ver caídas en su crédito.
No obstante, los empleadores ven un informe de crédito como datos abundantes y superiores al juicio humano, sin cuestionar los supuestos sobre los cuales se calcularon.
En el vacío, estos modelos son bastante malos, pero O’Neil enfatiza: “Se están alimentando uno del otro”. La educación, las perspectivas de empleo, la deuda y el encarcelamiento están interconectados, y la manera en que se utilizan las técnicas de big data los inclina más a permanecer de ese modo.
“Los pobres son más propensos a tener mal crédito y a vivir en barrios de alta criminalidad, rodeados de otras personas pobres”, escribe. “Una vez que… las armas de destrucción matemática digieren esos datos, los colman de préstamos de alto riesgo o de escuelas de paga. Envía más policías a arrestarlos y cuando están condenados los condena a penas más graves”.
A su vez, un nuevo conjunto de armas de destrucción matemática utiliza estos datos para cobrar tasas más altas para hipotecas, préstamos y seguros.
Así que, como ves, es fácil desanimarse.
Sin embargo O’Neil tiene esperanzas, porque la gente está empezando a prestar atención. Hay una creciente comunidad de abogados, sociólogos y estadísticos comprometidos con la búsqueda de lugares donde los datos sean utilizados para perjudicar y averiguar cómo solucionarlo.
Ella es optimista de que leyes como la HIPAA y la Americans with Disabilities Act (Ley de Estadounidenses con Discapacidades) serán modernizadas para cubrir y proteger más de sus datos personales, de que los reguladores como la Ofinica para la Protección Financiera del Consumidor (CFPB, por sus siglas en inglés) y la Comisión Federal de Comercio (FTC, por sus siglas en inglés) aumentarán su revisión de los procesos, y que habrán requisitos de transparencia estandarizados.
Y además está el hecho de que estos modelos de hecho tienen mucho potencial.
Imagínate si se utilizaran los modelos de reincidencia para proporcionar a los internos en situación de riesgo asesoramiento y capacitación laboral mientras están en prisión. O si la policía duplicara los patrullajes a pie en los códigos postales de alta criminalidad, trabajando para construir relaciones con la comunidad en lugar de detener a personas por delitos menores.
Puedes notar que hay un elemento humano en estas soluciones. Porque, en realidad, esa es la clave. Los algoritmos pueden informar, iluminar y complementar nuestras decisiones y políticas. Pero para obtener resultados no-malvados, los humanos y los datos realmente tienen que trabajar juntos.
“Los procesos de big data codifican el pasado”, escribe O’Neil. “No inventan el futuro. Para ello es necesaria una imaginación moral, y eso es algo que solo los seres humanos pueden proporcionar
