Tonto el humano más cercano: cuando el algoritmo se equivoca, la culpa es tuya

Mayo de este año: un magnate de Hong Kong pierde 20 millones de dólares en una plataforma de inversión automatizada. Marzo de 2018: un vehículo autónomo de Uber mata a un peatón en Tempe (Arizona). Junio de 2009: un avión de Air France cae sobre el océano Atlántico y deja 228 víctimas mortales después de que una escalada de errores en el piloto automático dejara a los pilotos sin acceso al control del avión.

Todos estos casos han aparecido juntos en un artículo de Technology Review porque tienen algo en común: cuando el algoritmo -o, en definitiva, la máquina- metió la pata, un humano pagó el pato. ¿Quién? En general, la persona más próxima a la tragedia, una vez establecido que no bastaba señalar como culpable al sistema automatizado que protagonizó los hechos.

En el caso de la plataforma de inversión, el magnate ha denunciado al hombre que le vendió la herramienta. En el caso del vehículo autónomo, Uber está exento de responsabilidad criminal, mientras que el conductor de seguridad que se encontraba en el vehículo podría enfrentarse a cargos de homicidio. En el caso del avión, la investigación determinó que lo ocurrido se debía a una mezcla de mal diseño en los sistemas y falta de experiencia en los pilotos, pero la opinión pública condenó a estos últimos.

• Daños autónomos

"¿De quién o qué es la culpa cuando un algoritmo causa un daño?", se pregunta Karen Hao, autora de la pieza. El reparto de responsabilidades se complica cuando hay una máquina por medio. Y estas complicaciones pueden alcanzar cotas insospechadas en función de la gravedad de las consecuencias de estos imprevistos.

Hao cita un estudio de la investigadora Madeleine Clare Elish, que repasa todos estos incidentes. En él se acuña el concepto de parachoques moral entendido como la manera en que la responsabilidad de una acción acaba atribuida a un humano que tuvo escaso control sobre el comportamiento de un sistema automatizado o autónomo. "Mientras el parachoques de un coche está pensado para proteger al conductor humano, el moral protege la integridad de un sistema tecnológico a expensas del operador humano más próximo", explica Elish.

• Momento clave

La investigadora no se adentra en el jardín de las responsabilidades legales. Se limita a la percepción cultural de la culpa y la responsabilidad en el contexto de las tecnologías emergentes y las consecuencias de ella. "En lo relativo a tecnologías autónomas y robóticas, la regulación, las leyes y las normas están aún en formación y podrían ser particularmente susceptibles de derivar en incertezas e incluso evasiones de responsabilidad", señala.

¿Su propuesta? Tomar este parachoques moral como un reto y una oportunidad para el diseño y regulación de sistemas en los que colaboran humanos y robots. "En juego está no solo en modo en que se distribuye la rendición de cuentas en sistemas autónomos y robóticos, también el valor y el potencial que los humanos puedan desarrollar en el contexto de equipos humano-máquina".