“¿Oye, ODIN? ¿Puede decirme el tiempo promedio que [Venturis Corporation] ha tardado en enviar un equipo de evacuación para investigar situaciones como esta? ” pregunta Andrew Dagyab, un botánico en el juego de 2017 “Tacoma”, ambientado en la estación de transferencia lunar titular, que está perdiendo oxígeno rápidamente.
El asistente de IA, ODIN, es el único salvavidas de la tripulación. Desafortunadamente, más tarde se reveló que fue el propio ODIN quien causó el desastre.
Aquí hay otra historia muy aterradora y muy posible: los principales expertos en inteligencia artificial dicen que hay un 5% de probabilidad de que la inteligencia artificial general, o AGI, cause un desastre de nivel de extinción humana.
Hubo un momento en que la mayor preocupación con la seguridad de la IA había sido la superinteligencia maligna, reflejada en películas como “The Terminator”, “The Matrix” y “Yo, Robot”.
“Tacoma” adopta un enfoque diferente. Postula que habrá numerosos AGI en el mundo y que cualquier AGI, incluso uno diseñado de manera segura, en las manos equivocadas en el momento equivocado podría causar la pérdida de vidas.
Ese es el futuro que preocupa a un número creciente de expertos en seguridad en IA .
El objetivo de una IA no suele ser idéntico al nuestro. Por ejemplo, supongamos que construimos una IA cuyo objetivo es coleccionar sellos. Lógicamente podría deducir que la estrategia maximizadora es conquistar el mundo y convertir la economía global en una máquina recolectora de sellos, los humanos simplemente un engranaje en su propósito existencial. Eso se llama un problema de alineación , y uno muy difícil de resolver.
Intentar controlar AGI colocándolo en una caja de arena en una simulación confinada, implementando un botón de encendido o enseñándole ética humana tiene posibles lagunas. Las cajas de arena podrían tener jailbreak, los botones de encendido podrían destruirse y la ética es increíblemente difícil de definir en términos de matemáticas y código. Solo se necesita inteligencia sobrehumana para engañar a los humanos una vez para que se salga de control.
Es probable que algún día haya muchos AGI especializados en diferentes industrias en todo el mundo. Con numerosas partes interesadas humanas e innumerables AGI, puede haber desalineaciones en todas partes, lo que se llama un problema de alineación de muchos a muchos. Este problema se relaciona con lo que los investigadores de seguridad llaman sistemas complejos, o una pesadilla.
Un sistema complejo es uno que es demasiado impredecible para reducirlo a un conjunto de reglas, pero no lo suficientemente aleatorio como para usar estadísticas. La mala noticia es que la mayoría de los desafíos de seguridad modernos tratan con sistemas complejos. La buena noticia es que la gente ha mejorado su gestión.
En su libro de 2016 “ Ingeniería de un mundo más seguro ”, la profesora del MIT Nancy G. Leveson aborda conceptos erróneos comunes sobre la ingeniería de sistemas críticos para la seguridad: sistemas de ingeniería cuyo mal funcionamiento podría provocar pérdidas humanas. Estas tecnologías críticas para la seguridad incluyen aviación, energía nuclear, automóviles, productos químicos pesados, biotecnología y, por supuesto, AGI.
Primero, un sistema que sigue fielmente sus especificaciones no es lo mismo que uno seguro. En “Tacoma”, los ingenieros de software logran una hazaña increíble: crean AGI que están en un espacio aislado y obedecen las instrucciones humanas. Como mencioné antes, tal sandboxing podría ser imposible en el mundo real.
Sin embargo, un orden humano inseguro, que ODIN está obligado a seguir, pone en peligro la seguridad de la tripulación de Tacoma. Entonces, los ingenieros de “Tacoma” crearon un AGI que, aunque confiable, no es necesariamente seguro. Cuando ODIN modifica sus especificaciones para ayudar a evacuar a la tripulación de Tacoma, se vuelve más seguro a expensas de su confiabilidad.
En segundo lugar, rastrear un desastre hasta una sola causa raíz y culpar a una sola persona es un enfoque contraproducente para la prevención de desastres. El enfoque en la justicia retributiva nos ciega a los problemas sistemáticos que permitieron a dichos individuos causar un desastre en primer lugar.
En “Tacoma”, parece haber un solo individuo que dio órdenes inseguras a ODIN. ¿Pero es esa realmente toda la historia? ¿Qué les hizo pensar que podrían salirse con la suya? ¿Por qué las inspecciones no detectaron el riesgo?
En tercer lugar, la tecnología no siempre es la solución. Un ejemplo famoso es la invención de radares sónicos que supuestamente ayudarían a los barcos a detectar obstáculos cercanos, pero que solo aumentaron la tasa de accidentes. ¿Por qué? Los capitanes navegaron más rápido, pensando que podrían salirse con la suya gracias a la nueva tecnología de seguridad.
De manera similar, en “Tacoma”, la existencia de un sueño criogénico que puede sostener a la tripulación hasta por 75 horas hace que Venturis Corporation sea laxa con los protocolos de seguridad. El resultado es la respuesta de ODIN a la pregunta de Andrew anterior: el tiempo promedio para rescatar es la friolera de 98 horas.
En lugar de tecnologías, sugiere el libro de Leveson, deberíamos realizar cambios organizativos.
Entonces, ¿qué puede hacerse? Entre muchas pautas sofisticadas, Leveson sugiere que las organizaciones deben ser conscientes de que las pautas de seguridad inevitablemente se volverán laxas con el tiempo e implementar medidas preventivas.
O en palabras de EV James, administrador de Tacoma: “Sabemos que no es seguro trabajar aquí. Simplemente no pensamos mucho en eso, pero aquí estamos “.
2020 probablemente te hizo pensar en los desastres más de lo habitual. Esos pensamientos probablemente provocaron pánico, pasión, desesperación y una serie de otras emociones incómodas. Por eso es doblemente importante comprobar si nuestros instintos son sólidos.
¿Estoy confundiendo un sistema confiable con uno seguro?
¿Me estoy perdiendo algo al intentar encontrar una única causa raíz?
¿Estoy asumiendo que los avances tecnológicos resolverán el problema?
Las narrativas de desastres nos recuerdan que, especialmente en momentos como este, no debemos olvidar el potencial de otros desastres. La conciencia pública realmente importa. Y si todos somos mejores para pensar en la seguridad como ciudadanos, tal vez podamos realmente prevenir desastres.
Fuente:
Chang, J. (2020, 25 octubre). Disaster prevention lessons from AI. Recuperado 27 de octubre de 2020, de http://www.campustimes.org/2020/10/25/disaster-prevention-lessons-from-ai/