Algoritmos y discriminación sexista
Segregación: Un estudio de Télécom ParisTech muestra los sesgos de los algoritmos que pueden llevar a tratos desiguales y da pistas para limitarlos.
Feria de programaciíon en Nueva Zelanda. FOTO: Kristina D.C. Hoeppner
Ya se trate de herramientas de ayuda a la hora de decidir una carrera universitaria como Parcoursup, de recomendaciones de vídeos, de Netflix a Youtube, o de calcular el riesgo para dar un crédito, los algoritmos toman decisiones que pueden ser discriminatorias.
Los ejemplos son legión. El algoritmo de Amazon que analizaba los currículum vítae atribuía con frecuencia malas notas a mujeres, quienes, sin embargo, estaban cualificadas para ocupar los puestos a cubrir. El utilizado por la justicia estadounidense para prevenir la probabilidad de reincidencia de una persona inculpada sobrevaloraba la de los afroamericanos e infravaloraba la de los blancos.
La tecnología no es por naturaleza sexista o racista, se trata de sesgos debidos al modo en que se conciben los algoritmos o los datos sobre los que se basan, subrayan los autores de un estudio de la escuela de ingenieros Télécom ParisTech.
“La tecnología nos da cantidades importantes de datos a escaso coste, pero generalmente nos informa mucho menos sobre las condiciones en las que se han recogido”, observan. Antes de la era digital, los datos se adquirían a través de encuestas a una muestra representativa. Ahora, a partir de los datos disponibles se imagina una utilización y un análisis.
Este factor explica, en parte, el sexismo del algoritmo de Amazon. Para calificar a los candidatos y candidatas se basaba en los datos de la empresa y, “como los hombres eran una aplastante mayoría de los cuadros contratados en el pasado, el algoritmo no daba ninguna posibilidad a las candidatas, aunque estuvieran cualificadas”. Se trataba de un sesgo en la masa de datos sobre la que se basaba el algoritmo que desembocó en práctica discriminatoria.
Y los datos a partir de los que se desarrollan los algoritmos han pasado a ser fundamentales tras el desarrollo del aprendizaje automático a través de la máquina denominada machine learning o deep learning, cuando la masa de datos es importante. Se trata de una técnica de aprendizaje que permite que las máquinas elaboren ellas mismas los algoritmos.
Los sesgos pueden ser cognitivos, cuando los que han concebido los algoritmos introducen involuntariamente sus propios estereotipos; estadísticos, si se omite una variable en la base de datos, y económicos, cuando por una razón de precio se toma una decisión discriminatoria. Los autores ponen como ejemplo un algoritmo que propone anuncios publicitarios para la promoción de empleos en un sector tecnológico: como llegar al segmento publicitario de las mujeres es más caro, ese algoritmo adopta de hecho una práctica discriminatoria.
Los autores del estudio plantean que hay que añadir o retirar datos cuando, por ejemplo, falta una categoría de población o cuando otra está representada en exceso.
‘PERSONA DIGITAL’
También abogan por que se instauren criterios de equidad en los algoritmos mediante, sobre todo, la protección de una serie de atributos (género, orientación sexual, etc.) que no podrán ser objeto de discriminación. Insisten en una necesaria transparencia y en el hecho de “auditar” los algoritmos para evaluar su funcionamiento. También proponen que las decisiones que tomen los algoritmos vayan unidas a una responsabilidad jurídica mediante la creación de la figura de “persona digital”.
Desde un punto de vista más general, los autores militan a favor de una regulación de esos instrumentos, pues tienden a inmiscuirse en la mayoría de los aspectos de la vida cotidiana. El ejemplo más reciente es el de las contribuciones de los ciudadanos franceses al gran debate nacional, recientemente celebrado a iniciativa del Gobierno, y que han sido analizadas por una empresa mediante un algoritmo.
