El ejemplo es simple: ¿Recuerdas lo que desayunaste hace un día, dos o incluso el viernes de la semana pasada? Para la mayoría de las personas la respuesta es no y esto tiene que ver con la habilidad de nuestro cerebro para retener y diferenciar la información entre nuestra memoria de corto o de largo plazo, a fin de que la mente humana dedique ese “espacio de almacenamiento” a información relevante para nuestra subsistencia. De la misma forma en la que nuestro cerebro funciona, científicos de Facebook están entrenando a su Inteligencia Artificial a olvidar cosas, que ya aprendió pero que quizá no son tan relevantes.
“A menudo damos por sentada la capacidad de olvidar los detalles cotidianos y mundanos para hacer espacio para momentos valiosos que importan en tu banco de memoria a largo plazo. Lo más probable es que siempre recuerdes aquella vez que tu pareja te sorprendió con panqueques en forma de corazón, tu panadería favorita o tu primer viaje a París”, explican Angela Fan y Sainbayar Sukhbaatar, investigadores científicos dentro de Facebook.
Sin embargo, esa funcionalidad tiene un enorme problema para firmas como Facebook, Amazon, Google o Microsoft: los costos.
“La mayoría de las redes neuronales suelen procesar información de forma indiscriminada. En una pequeña escala, esto es funcional. Pero los mecanismos actuales de IA utilizados para enfocarse selectivamente en ciertas partes luchan con cantidades cada vez mayores de información, como libros de formato largo o videos, incurriendo en costos computacionales insostenibles”, explican los investigadores.
Ante ese escenario, los investigadores desarrollaron un concepto conocido como Expire-Span, una operación única en su tipo que equipa a las redes neuronales con la capacidad de olvidar a gran escala, es decir, una manera para la inteligencia artificial funcione un poco más como la memoria humana de corto plazo, que es capaz de olvidar datos que ya no son tan relevantes para su operación.
O como Fan y Sukhbaatar lo resumen: como si se tratara de la fecha de expiración de un cartón de leche.
“Funciona al predecir primero la información que es más relevante para la tarea en cuestión, según el contexto. Expire-Span luego asigna a cada pieza de información un vencimiento de fecha, al igual que la fecha de vencimiento de un cartón de leche, cuando ha pasado la fecha la información caduca gradualmente del sistema de inteligencia artificial e intuitivamente, la información más relevante es retenida por más tiempo, mientras que la información irrelevante caduca más rápidamente”, explican.
Pero hacer que la IA olvide no es tan simple, como asignar fechas de caducidad a ciertos sets de datos, porque a diferencia de la mente humana, que puede reaprender procesos informativos de forma acelerada para ejecutar ciertas tareas, en una máquina la eliminación de datos es permanente.
“El principal desafío del olvido en la IA es que se trata de una operación discreta, lo que significa que en Olvidar no hay puntos intermedios. Optimizar operaciones tan discretas es realmente difícil y esa es la razón por la que la mayoría de los sistemas procesan la información de manera indiscriminada e incurren en grandes costos computacionales”, mencionan en su investigación.
Una manera simple de definir Expire-Span, es que si bien el sistema aprende y almacena al principio todos los datos que consume, conforme elige aquellos (datos) que son irrelevantes el sistema va depurando y dejando solo “recuerdos” que le funcione para ejecutar sus tareas. Por ejemplo, en una red neuronal de predicción de palabras, Expire-Span le ayudaría a la IA a únicamente recordar palabras raras o complejas y olvidar aquellas simples como los artículos o preposiciones: el, la o de.
El objetivo primordial es liberar espacio de almacenamiento de todos los datos que procesa los sistema de redes neuronales o aprendizaje de máquina, a fin de reducir los costos, pero también de permite que la IA procese tareas más complejas que las que ejecuta actualmente.
Si bien Expire-Span por ahora está en proceso de investigación y experimentación, Fan y Sukhbaatar comentan que la operación demostró que puedes operar a “escalas con decenas de piezas de información y solo retener menos de 1,000 bits de ellas, y aún así tener un rendimiento con mayor eficiencia que otros métodos alternativos.”
“La impresionante escalabilidad y eficiencia de Expire-Span tiene emocionantes implicaciones para que, algún día, la IA logre una amplia gama de capacidades duraderas y similares a las humanas, que de lo contrario serían imposibles”, aseguran Fan y Sukhbaatar.
Ambos científicos aseguran que el siguiente paso en su investigación es encontrar la manera de incorporar en los sistemas de IA diferentes tipos de recuerdos en redes neuronales, similares a los del cerebro humano, como por ejemplo la memoria semántica, que sirve para almacenar información general y fáctica.
“A largo plazo, podemos acercar la IA aún más a la memoria humana con capacidades de aprendizaje mucho más rápido que los sistemas actuales. Creemos que Expire-Span es un avance importante y emocionante hacia tales innovaciones futuristas impulsadas por la inteligencia artificial”, aseguran.
Fuente:
Lara, C. F. (2021, 14 mayo). Facebook le enseñó a su IA a aprender; ahora le enseña a olvidar. Recuperado 31 de mayo de 2021, de https://www.forbes.com.mx/facebook-le-enseno-a-su-ia-a-aprender-ahora-le-ensena-a-olvidar/