El accidente de una mujer identificado erróneamente como un ladrón Del sistema de reconocimiento facial de un supermercado de Nueva Zelanda no me sorprende. cuando la cadena Productos alimenticios Isla Norte Aunque anunció su intención de probar esta tecnología para combatir el crimen en las tiendas, los expertos en tecnología y privacidad han expresado muchos temores. En particular, se destacó el riesgo de discriminación contra las mujeres maoríes y de color. Miedos muy acertados, y necesaria reflexión.
El contexto de uso de los supermercados: más allá de los algoritmos
El reconocimiento facial automatizado a menudo se analiza en términos abstractos, como coincidencia de patrones algorítmicos puros, con énfasis en la corrección y la precisión: todavía recuerdo el énfasis de Tiendas para llevar y para llevar sin más cajas registradoras. Estas son prioridades, con razón, importantes para los sistemas que gestionan datos biométricos y de seguridad. Pero con un enfoque tan crucial en los resultados de las decisiones automatizadas, es fácil pasar por alto las preocupaciones sobre cómo se aplican estas decisiones.
Los diseñadores utilizan el término "contexto de uso" para describir las condiciones de trabajo diarias, las actividades y los objetivos de un producto. Con la tecnología de reconocimiento facial en los supermercados, el contexto de uso va mucho más allá de las preocupaciones de diseño tradicionales, como la ergonomía o la usabilidad. Requiere considerar cómo las notificaciones automáticas de infracciones desencadenan respuestas en la tienda, los protocolos para gestionar esas respuestas y qué sucede cuando algo sale mal. Estos son más que simples problemas de tecnología o datos. Son problemas humanos, sociales.
Precisión del equilibrio e impacto de los errores.
Invertir en mejorar la precisión de las predicciones parece una prioridad obvia para los sistemas de reconocimiento facial. Pero esto debe verse en un contexto de uso más amplio, donde el daño causado por una pequeña cantidad de predicciones incorrectas supera las mejoras marginales de rendimiento en otros lugares.
El error del supermercado de Nueva Zelanda es sólo una pequeña perla de una serie que puede estrangular esta tecnología. Y la respuesta de la empresa de supermercados de que se trataba de un "caso genuino de error humano" no aborda los problemas más profundos que rodean el uso de la IA y los sistemas automatizados. Investigación sugiere que Los tomadores de decisiones humanos pueden heredar sesgos de las decisiones de la IA.. En situaciones de alto estrés y riesgo de violencia, combine el reconocimiento facial automatizado con el juicio humano improvisado. es potencialmente peligroso.
En lugar de aislar y culpar a trabajadores individuales o componentes tecnológicos como puntos únicos de falla, se debe poner mayor énfasis en la tolerancia a fallas en todo el sistema. Los errores de la IA y los errores humanos no se pueden evitar por completo. Los protocolos de seguridad de la IA con “humanos al tanto” necesitan salvaguardias más cuidadosas que respeten los derechos de los clientes y protejan contra los estereotipos.
Supermercado, ¿hacia una cultura de vigilancia?
El caso australiano es emblemático. En Nueva Zelanda han respondido a los delitos en el comercio minorista con una vigilancia tecnológica abierta: cámaras corporales proporcionadas al personal (ahora también adoptadas por la cadena Woolworths), seguimiento digital del movimiento de los clientes a través de las tiendas, cerraduras automáticas para carritos y puertas de salida para evitar que la gente salga sin pagar. .
Los supermercados pueden ser simplemente la vanguardia de un cambio tecnológico en la experiencia de compra. Un cambio terrible, que avanza hacia una cultura de vigilancia en la que cada cliente es monitoreado como un ladrón potencial. Me recuerda las formas en que ha cambiado la seguridad aeroportuaria mundial desde el 11 de septiembre.
Un desafío de diseño centrado en el ser humano
El Comisionado de Privacidad de Nueva Zelanda pronto comentará sobre la prueba de reconocimiento facial de Foodstuffs. Y este pronunciamiento, créanme, parafraseando a Lorenz, es el clásico batir de alas de una mariposa en una parte del mundo que puede provocar un tornado en el otro lado del mundo.
El robo y la violencia son un problema urgente que los supermercados, al igual que otras empresas, deben abordar. Pero ahora deben demostrar que los sistemas de vigilancia digital son una solución más responsable, ética y eficaz que posibles enfoques alternativos. Y eso significa reconocer que la tecnología requiere un diseño centrado en el ser humano. Para evitar abusos, para evitar prejuicios. Santos dioses, para evitar daños.
Si estas coyunturas no se aprovechan ahora para guiar los marcos y estándares regulatorios, informar el debate público sobre el uso aceptable de la IA y apoyar el desarrollo de sistemas automatizados más seguros, ¿cuándo? El caso de Nueva Zelanda es una llamada de atención para todos aquellos que diseñan e implementan sistemas de IA en contextos delicados como el del comercio minorista. Sólo poniendo el factor humano en el centro, con todas sus complejidades y matices, podremos desarrollar tecnologías que realmente mejoren nuestra sociedad, sin crear nuevas formas de discriminación y vigilancia.
