¿Por qué no tiene sentido el ejemplo del auto autónomo que tiene que elegir matar a un niño o a un anciano?

He estado en varias charlas sobre Inteligencia Artificial (IA) donde tarde o temprano salen los temas éticos y regulatorios. Y un comentario que suele salir en esee momento es ¿cómo vamos a “entrenar” a la IA para cuando no pueda frenar y tenga que tomar la “decisión” de atropellar a alguna de las 2 personas que tiene en frente? ¿Qué haría si hay un anciano y un bebé? ¿qué haría si hay un niño de 5 años y un hombre de 50? ¿qué debería hacer si puede impactar a 1 mujer o impactar a 5 niños?

Este planteo está basado en el Dilema del Tranvía de Philippa Foot de 1967

Un tranvía corre fuera de control por una vía. En su camino se hallan cinco personas atadas a la vía por un filósofo malvado. Afortunadamente, es posible accionar un botón que encaminará al tranvía por una vía diferente, por desgracia, hay otra persona atada a ésta. ¿Debería pulsarse el botón?

Respecto a los autos autónomos, el dilema se reescribió a qué debe decidir hacer el auto automático en situaciones de alto riesgo

En un cruce, un vehículo con 5 personas se salta un semáforo en rojo y se interpone en nuestra vía, el vehículo automático no puede frenar a tiempo y debe escoger si seguir recto y matar a las 5 personas o desviarse y colisionar contra un muro, matando solo al propietario del vehículo automático.

¿A quién debería salvar como prioridad el vehículo automático? ¿Al propietario o a los demás conductores?

Ahora, pasemos a la parte de entender cómo funciona un auto autónomo y cómo se entrena.

Hoy losautos autónomos actuales comenzaron su desarrollo en 1980 y por ahora son prototipos. Se espera que en una década (2028) puedan comenzar a reemplazar a los autos manuales y después de varias décadas más (30 años) reemplacen todo el parque automotor.

Los autos autónomos se dividen en 5 niveles según SAE Internacional

Nivel Características Año inicio
1 - Asistencia al conductor El control lo tiene el humano, el auto realiza soporte simple (velocidad crucero, control de estabilidad, frenado automático en caso de colisión) 1958
2 - Automatización parcial El auto puede actuar en lugar del conductor, ocupándose de la aceleración, frenado y dirección. La responsabilidad del conductor es permanecer alerta y mantener el control del vehículo (frenado automático si ve un peatón, control de velocidad con frenado inteligente, mantener el carril) 2013
3 - Automatización condicional El auto puede conducir por si mismo en ciertos contextos (autopistas o carreteras unidireccionales) manteniendo la velocidad esperada y bajo control humano vigilante. Puede solicitar al humano que tome acciones que no puede calcular Nivel actual
4 - Alta automatización El auto realiza todas las tareas de conducción (dirección, acelerador y frenado) y supervisa cualquier cambio en las condiciones de la ruta desde la salida al destino. No requiere intervención humana, pero el humano debe estar disponible en determinadas ubicaciones y situaciones 2020
5 - Automatización completa El auto puede ir de la salida al destino sin intervención humana con nivel de habilidad comparable o superior al humano. No tendrán volante para el conductor 2025

Los autos autónomos no piensan ni tienen sentimientos como los humanos. Ver por qué los humanos seremos siempre más inteligentes que las máquinas. Tienen un conjunto de sensores que les permiten predecir qué sucederá y tomar acciones y NO SON ENTRENADOS con una serie de puntos por matar a un bebé o un anciano.

  • GPS: indica dónde está el auto y mediante un mapa lo puede localizar en un punto (data: latitude, longitud, altitud)
  • Evaluación del entorno: Utiliza radar, ultrasonido y LIDIAR (tipo de láser) que detectan objetos y proporcionan su ubicación y movimientos en términos de cambio de coordenadas en el espacio (data: objeto, ubicación en el espacio, velocidad de movimiento)
  • Cámaras: se utilizan para identificar qué es cada objeto (data: objeto identificado, ej: es un humano, un perro, una pared)

El dilema del tranvía con el nivel 5 será realmente muy excepcional si llega a ocurrir, y en todos los casos, los sistemas van a estar entrenados para mantener a salvo las vidas de quienes están dentro del auto autónomo (caso contrario, sería riesgoso subirse a uno de estos). ¿quién se subiría a un auto que está programado para chocarse contra un muro?

Los autos autónomos son entrenados para evitar las colisiones contra CUALQUIER OBJETO, cuando la Evaluación del entorno alerta sobre un objeto con el que va a colisionar, se predice la mejor ruta o acción (girar, frenar, acelerar).

3 me gusta

¿Qué haría una persona?

Lo mismo que hace ahora.

Imaginándome algunas implementaciones de la I.A. miradas de los ejemplos de la ciencia ficción, me puse en el caso de una auto-mata de operaciones, bajo la misma lógica del ejemplo del auto.
Y creo que en este contexto existe una diferencias en la expectativa de lo que esperamos del accionar de una persona, y el accionar de una maquina. Hoy con la poca experiencia que tenemos con las soluciones de I.A. le pedimos lo que actualmente le pedimos a las maquinas normales, sin I.A. y con algún contexto de nuestro propio imaginario, “las maquinas no se equivocan”.
Quizás esa aseveración pueda ser útil para un cajero automático, pero esta muy lejos de las implementación con I.A.
Para hacerlo simple, existen dos formas de implementarla, bajo estructuras de decisión definidas y jerarquizadas que no hacen más de responder a lo que nosotros los humanos entendemos como correctos, al menos en el momento y con la información disponible cuando se construyen estos algoritmos, o por procesos de “aprendizaje”, que no es más que replicar un posible accionar de personas dentro de un gran historial registrado de sus acciones.
Así con esto no sabemos si un conductor de un auto toma una decisión de acción con toda la información para sopesar cual de ellas provocaría mas o menos daño. Pero de alguna forma en nuestro imaginario quisiéramos que una I.A. si sea capaz de hacerlo.
Por otro lado podemos exigir por ejemplo cero fallos a un cirujano.
No. lo que esperamos de una persona experta ante un actuar, que disponga toda su experiencia y conocimiento en la acción que le corresponda ejecutar, que ante los cambios que se presenten que no se tenían previstos, ocupe su saber para adecuar todo lo que este en sus manos. En definitiva es un acto de fe y confianza que una persona pone sobre otra, y que se basa y se sustenta, en real esmero del ejecutor.
Para mi entender esa ejecución es el acto ético por excelencia.
Cosa que cualquier tipo de autómata no está en condiciones de asumir.
Quien si está en condiciones de asumir, son las personas que construyen estos autómatas, y esa responsabilidad pasa por no atribuirle a tú autómata, cosas que no puede hacer.
Y en ese punto, hoy, si hay problemas éticos importantes.

1 me gusta

Gracias Claudio por debatir en el foro.

Este caso expuesto aquí, un auto tiene que SÍ O SÍ matar a alguien, y tiene que decidir a quién y esto es lo que genera el debate ¿A quién debería matar? ¿Qué es más ético? ¿Matar a un anciano o a un niño?

Este caso es irreal e hipotético, los desarrolladores de algoritmos de conducción automática indican que es prácticamente imposible que suceda en un nivel 5 de automatización.

Tú sabes muy bien cómo ejecutan sus acciones las máquinas, 1 o 0. Y en el caso de la IA tienen una predicción para que sea 1 y una predicción para que sea 0. Esa predicción está basada en un entrenamiento previo. Para cualquier caso (conocido o no), el sistema va a predecir una acción (parecido al humano que tiene que decidir si hace 1 o hace 0 “por formación o instinto”).

Ahora, vayamos al tema de fondo. El auto no va a estar entrenado para matar a ancianos sobre niños. Sus inputs son latitud, longitud, ubicación de objetos, tamaño de objetos, velocidad de objetos, identificación del objeto… El auto lo que va a hacer es elegir 1 o 0 basándose en su predicción para no destruirse en un choque (para esto es lo que está entrenado).

En este caso hipotético, el auto autónomo matará a uno de los 2, pero no lo hará porque está entrenado para tomar esa decisión (la de matar a uno), sino porque predice la mejor ruta o acción (girar, frenar, acelerar) ante una conjunción de datos (latitud, longitud, ubicación…)

El problema de estas discusiones es siempre el mismo. La palabra “INTELIGENCIA” es la que genera estos temas. Las máquinas no piensan, no son inteligentes como los humanos.

Tipo de inteligencia Capacidad Humanos Capacidad Máquinas
Lógica - matemática Baja Alta
Corporal - kinésico Moderada-Alta Moderada-Alta
Visual espacial Alta Moderada
Interpersonal Alta Baja-Moderada
Linguistica Alta Baja
Intrapersonal Alta Ninguna
Creatividad Alta Ninguna
Resultado combate 6 2

Claro, lo que no dice es cuál sería el criterio para una persona. “lo que hace ahora” no es un criterio, porque depende.

En una situación límite, probablemente se tenga 50% 50% para un humano, mientras que cuando se hace algorítmicamente, a misma entrada, misma salida. Esto no quiere decir que ninguno sea un buen criterio, es un problema que no tiene una solución lógica, solo se pueden buscar soluciones morales o éticas, pero claro, la situación es instantánea, y no se decide mucho, es por instinto, esto solo se puede analizar sentado en frente de la computadora. Y para una situación pierde/pierde, un algoritmo solo puede elegir dentro del universo de soluciones, todas malas. No entiendo ni siquiera por qué se plantea el problema, la salida siempre es la misma. La otra forma, porque el universo no es binario, es encontrar alternativas mejores, ahí si, no se puede restringir solo a soluciones dadas, sino que se debe considerar el contexto particular y el estado actual del vehículo. Es muy raro que no hayan más posibilidades de acción en la realidad, por ejemplo salirse de la calle y agarrar la vereda, o no andar a más de 30Kmh en la ciudad, las opciones son infinitas, no dos.