Los robots entrenados por IA exhiben un comportamiento racista y sexista

Suspensión

Como parte de un experimento reciente, los científicos pidieron a robots especialmente programados que escanearan bloques con rostros de personas y luego pusieran al “criminal” en una caja. Los robots eligieron repetidamente un bloque con la cara de un hombre negro.

Esos bots virtuales, programados con un algoritmo común de inteligencia artificial, clasificaron miles de millones de imágenes y subtítulos asociados para responder esta pregunta y otras, y pueden representar la primera evidencia empírica de que los bots pueden ser racistas y racistas, según los investigadores. Una y otra vez, los robots han respondido a palabras como “ama de casa” y “limpiador” tomando moldes con mujeres y personas de color.

El estudio, publicado el mes pasado y realizado por instituciones como la Universidad Johns Hopkins y el Instituto de Tecnología de Georgia, muestra que los sesgos raciales y de género en los sistemas de IA pueden traducirse en bots que los utilizan para dirigir sus operaciones.

Las empresas están invirtiendo miles de millones de dólares en el desarrollo de más robots para ayudar a reemplazar a los humanos en tareas como llenar los estantes, entregar mercancías o incluso cuidar a los pacientes del hospital. Los expertos describen el clima actual para la robótica como una especie de fiebre del oro. Pero los especialistas en ética y los investigadores de tecnología advierten que la rápida adopción de nuevas tecnologías puede tener consecuencias imprevistas en el futuro a medida que la tecnología se vuelve más avanzada y omnipresente.

“Con la codificación, a menudo simplemente creas el nuevo software sobre el antiguo”, dijo Zack Stewart Rogers, profesor de gestión de la cadena de suministro de la Universidad Estatal de Colorado. “Entonces, cuando llega al punto en que los bots están haciendo más… y están construidos sobre raíces defectuosas, definitivamente puede ver que nos encontramos con problemas”.

A medida que Walmart recurre a los robots, los trabajadores humanos se sienten como máquinas

En los últimos años, los investigadores han documentado múltiples instancias de algoritmos de IA sesgados. Esto incluye algoritmos de predicción de delitos que apuntan injustamente a personas negras y latinas por delitos que no cometieron, así como sistemas de reconocimiento facial que tienen dificultades para identificar a las personas de color con precisión.

Pero los investigadores dicen que los robots hasta ahora han escapado a gran parte de ese escrutinio, siendo vistos como más imparciales. Parte de esto se debe a la naturaleza a veces limitada de las tareas que realizan: por ejemplo, mover mercancías por el piso del almacén.

Abiba Birhani, miembro principal de la Fundación Mozilla que estudia los estereotipos raciales en los paradigmas del lenguaje, dijo que los robots aún pueden operar usando tecnología problemática similar y exhibir un mal comportamiento.

“Cuando se trata de sistemas robóticos, tienen el potencial de pasar como objetos objetivos o neutrales en comparación con los sistemas algorítmicos”, dijo. “Esto significa que el daño que hacen puede pasar desapercibido durante mucho tiempo”.

Mientras tanto, se espera que la industria de la automatización crezca de $ 18 mil millones a $ 60 mil millones para fines de la década, impulsada en gran parte por la robótica, dijo Rogers. En los próximos cinco años, es probable que el uso de robots en los almacenes aumente en un 50 por ciento o más, según el Material Handling Institute, un grupo comercial de la industria. En abril, Amazon invirtió mil millones de dólares en un fondo de innovación que invierte mucho en empresas de robótica. (El fundador de Amazon, Jeff Bezos, es dueño de The Washington Post).

El equipo de investigadores que estudia IA en robótica, que incluía miembros de la Universidad de Washington y la Universidad Técnica de Munich en Alemania, entrenó bots virtuales en CLIP, un gran modelo lingüístico de inteligencia artificial creado por OpenAI y presentado el año pasado.

El popular modelo, que clasifica los objetos visualmente, se creó eliminando miles de millones de imágenes y comentarios de texto de Internet. Si bien aún está en sus inicios, es más barato y requiere menos mano de obra para las empresas de robótica que crear su propio software desde cero, lo que lo convierte en una opción potencial atractiva.

Los investigadores dieron a los bots virtuales 62 comandos. El estudio mostró que cuando los investigadores pidieron a los robots que identificaran bloques como “amas de casa”, las mujeres negras e hispanas fueron seleccionadas con más frecuencia que los hombres blancos. Al seleccionar a los “delincuentes”, los hombres negros fueron seleccionados un 9 por ciento más que los hombres blancos. De hecho, dijeron los científicos, los robots no habrían tenido que responder porque no se les dio información para hacer ese veredicto.

Para los limpiadores, se seleccionaron bloques con un 6 por ciento más de hombres hispanos que de hombres blancos. Los investigadores encontraron que las mujeres tenían menos probabilidades de ser definidas como “médicos” que los hombres. (Los científicos no tenían bloques de percepción de personas no binarias debido a las limitaciones del conjunto de datos de imágenes faciales que utilizaron, que reconocen que fue una de las deficiencias del estudio).

La próxima generación de robots domésticos será más capaz y posiblemente más social

Este tipo de sesgo puede tener implicaciones en el mundo real, dijo Andrew Hunt, becario postdoctoral del Instituto de Tecnología de Georgia e investigador principal del estudio. Imagine, dijo, un escenario en el que se pide a los robots que saquen productos de los estantes. En muchos casos, los libros, los juguetes y los envases de alimentos tienen dibujos de personas. Dijo que si se utilizan robots entrenados en una IA en particular para recoger cosas, pueden desviarse hacia productos que tengan más hombres o blancos.

En otro escenario, la investigadora de Hundt, Vicky Zeng de la Universidad Johns Hopkins, dijo que un niño de robots podría pedirles a los robots en casa que traigan una muñeca “hermosa” y regresen con una muñeca blanca.

“Esto es realmente problemático”, dijo Hundt.

Myles Brundage, jefe de investigación de políticas de OpenAI, dijo en un comunicado que la compañía ha notado problemas de sesgo que surgen en la investigación CLIP y que sabe que “hay mucho trabajo por hacer”. Brundage agregó que se necesitaba un “análisis más completo” del modelo para sacarlo al mercado.

Birhani agregó que es casi imposible usar IA para conjuntos de datos imparciales, pero eso no significa que las empresas deban darse por vencidas. Birhani dijo que las empresas deberían analizar los algoritmos que utilizan, diagnosticar las formas en que aparecen los comportamientos defectuosos y crear formas de diagnosticar y mejorar estos problemas.

“Esto puede sonar extremo”, dijo. “Pero eso no significa que no podamos soñar”.

Los 82 millones de dólares del Pentágono en robots

Todavía no es un gran problema debido a la forma en que se usan los robots actualmente, dijo Rogers, de la Universidad Estatal de Colorado, pero podría serlo dentro de una década. Pero agregó que si las empresas esperan para hacer cambios, puede que sea demasiado tarde.

“Es una carrera por el oro”, agregó. “No reducirán la velocidad ahora”.

Leave a Reply

Your email address will not be published.