Un nuevo sistema inform\u00e1tico MIT acelera los c\u00e1lculos que involucran “tensores dispersos”, matrices de datos multidimensionales que consisten principalmente en ceros. El sistema para realizar “\u00e1lgebra de tensor” ofrece aceleraciones de 100 veces sobre los paquetes de software anteriores.<\/p>\n
Vivimos en la era del big data, pero la mayor\u00eda de esos datos son “escasos”. Imag\u00ednese, por ejemplo, una tabla masiva que mape\u00f3 a todos los clientes de Amazon contra todos sus productos, con un “1” por cada producto que un cliente determinado comprado y un “0” de lo contrario.\u00a0La tabla ser\u00eda en su mayor\u00eda ceros.<\/p>\n
Con escasos datos, los algoritmos anal\u00edticos terminan haciendo una gran cantidad de suma y multiplicaci\u00f3n por cero, lo que es un c\u00e1lculo desperdiciado.\u00a0Los programadores evitan esto al escribir c\u00f3digo personalizado para evitar la introducci\u00f3n de cero, pero ese c\u00f3digo es complejo y, en general, se aplica solo a un peque\u00f1o rango de problemas.<\/p>\n
En la Conferencia sobre Sistemas, Programaci\u00f3n, Idiomas y Aplicaciones de la Asociaci\u00f3n de Inform\u00e1tica: Software para la Humanidad (SPLASH), investigadores del MIT, la Comisi\u00f3n de Energ\u00edas Alternativas y At\u00f3mica de Francia y Adobe Research presentaron recientemente un nuevo sistema que produce c\u00f3digo optimizado autom\u00e1ticamente para escasa informaci\u00f3n<\/p>\n
Ese c\u00f3digo ofrece una aceleraci\u00f3n de 100 veces sobre los paquetes de software existentes no optimizados.\u00a0Y su rendimiento es comparable al de un c\u00f3digo meticulosamente optimizado a mano para operaciones espec\u00edficas de datos dispersos, mientras que requiere mucho menos trabajo por parte del programador.<\/p>\n
El sistema se llama Taco, para compilador de \u00e1lgebra tensorial.\u00a0En el lenguaje inform\u00e1tico, una estructura de datos como la tabla de Amazon se llama una “matriz”, y un tensor es simplemente un an\u00e1logo de mayor dimensi\u00f3n de una matriz.\u00a0Si esa tabla de Amazon tambi\u00e9n asign\u00f3 clientes y productos a las calificaciones de productos de los clientes en el sitio de Amazon y las palabras utilizadas en sus revisiones de productos, el resultado ser\u00eda un tensor de cuatro dimensiones.<\/p>\n
“Las representaciones dispersas han estado ah\u00ed por m\u00e1s de 60 a\u00f1os”, dice Saman Amarasinghe, profesor de ingenier\u00eda el\u00e9ctrica e inform\u00e1tica (EECS) del MIT y autor principal del nuevo documento.\u00a0“Pero nadie sab\u00eda c\u00f3mo generar c\u00f3digo para ellos autom\u00e1ticamente”.\u00a0Las personas descubrieron algunas operaciones muy espec\u00edficas: escasa multiplicaci\u00f3n matriz-vector, multiplicaci\u00f3n escasa matriz-vector m\u00e1s un vector, multiplicaci\u00f3n matriz-matriz dispersa, multiplicaci\u00f3n escasa matriz-matriz-matriz.\u00a0La mayor contribuci\u00f3n que hacemos es la capacidad de generar c\u00f3digo para cualquier expresi\u00f3n de tensor-\u00e1lgebra cuando las matrices son dispersas “.<\/p>\n
Junto a Amarasinghe en el peri\u00f3dico, se encuentra el primer autor Fredrik Kjolstad, un estudiante graduado del MIT en EECS;\u00a0Stephen Chou, tambi\u00e9n estudiante graduado en EECS;\u00a0David Lugato de la Comisi\u00f3n de Energ\u00edas Alternativas y Energ\u00eda At\u00f3mica de Francia;\u00a0y Shoaib Kamil de Adobe Research.<\/p>\n
N\u00facleos personalizados<\/strong><\/p>\n En los \u00faltimos a\u00f1os, la manipulaci\u00f3n matem\u00e1tica de los tensores, \u00e1lgebra tensorial, se ha vuelto crucial no solo para el an\u00e1lisis de datos grandes sino tambi\u00e9n para el aprendizaje autom\u00e1tico.\u00a0Y ha sido un elemento b\u00e1sico de la investigaci\u00f3n cient\u00edfica desde la \u00e9poca de Einstein.<\/p>\n Tradicionalmente, para manejar el \u00e1lgebra tensorial, el software matem\u00e1tico ha descompuesto las operaciones del tensor en sus partes constituyentes.\u00a0As\u00ed, por ejemplo, si un c\u00e1lculo requiere dos tensores para ser multiplicadas y luego se a\u00f1adi\u00f3 a una tercera, el software se ejecute la rutina de tensor de la multiplicaci\u00f3n de serie en los dos primeros tensores, almacenar el resultado, y luego seguir su rutina Adem\u00e1s tensor est\u00e1ndar.<\/p>\n Sin embargo, en la era del big data, este enfoque consume demasiado tiempo.\u00a0Para una operaci\u00f3n eficiente en conjuntos de datos masivos, explica Kjolstad, cada secuencia de operaciones de tensor requiere su propio “n\u00facleo” o plantilla computacional.<\/p>\n “Si lo haces en un kernel, puedes hacerlo todo de una vez, y puedes hacerlo m\u00e1s r\u00e1pido, en lugar de tener que poner el resultado en la memoria y luego volver a leerlo para que puedas agregarlo a otra cosa, “Kjolstad dice.\u00a0“Puedes hacerlo en el mismo ciclo”.<\/p>\n Los investigadores en ciencias de la computaci\u00f3n han desarrollado kernels para algunas de las operaciones de tensor m\u00e1s comunes en aprendizaje autom\u00e1tico y an\u00e1lisis de big-data, como los enumerados por Amarasinghe.\u00a0Pero la cantidad de granos posibles es infinita: el n\u00facleo para sumar tres tensores, por ejemplo, es diferente del n\u00facleo para sumar cuatro, y el n\u00facleo para agregar tres tensores tridimensionales es diferente del n\u00facleo para agregar tres cuatro, tensores dimensionales<\/p>\n Muchas operaciones de tensor implican multiplicar una entrada de un tensor por uno de otro.\u00a0Si cualquiera de las entradas es cero, tambi\u00e9n lo es su producto, y los programas para manipular matrices grandes y dispersas pueden desperdiciar una gran cantidad de tiempo sumando y multiplicando ceros.<\/p>\n El c\u00f3digo optimizado a mano para tensores dispersos identifica entradas nulas y optimiza las operaciones que las involucran, ya sea llevando adelante las entradas distintas de cero a\u00f1adiendo u omitiendo las multiplicaciones por completo.\u00a0Esto hace que las manipulaciones de los tensores sean mucho m\u00e1s r\u00e1pidas, pero requiere que el programador haga mucho m\u00e1s trabajo.<\/p>\n El c\u00f3digo para multiplicar dos matrices (un tipo simple de tensor, con solo dos dimensiones, como una tabla) podr\u00eda, por ejemplo, tomar 12 l\u00edneas si la matriz est\u00e1 llena (lo que significa que ninguna de las entradas se puede omitir).\u00a0Pero si la matriz es escasa, la misma operaci\u00f3n puede requerir 100 l\u00edneas de c\u00f3digo o m\u00e1s, para rastrear omisiones y elisiones.<\/p>\n Entrar en Taco<\/strong><\/p>\n Taco agrega todo ese c\u00f3digo extra autom\u00e1ticamente.\u00a0El programador simplemente especifica el tama\u00f1o de un tensor, ya sea completo o escaso, y la ubicaci\u00f3n del archivo desde el que debe importar sus valores.\u00a0Para cualquier operaci\u00f3n dada en dos tensores, Taco construye un mapa jer\u00e1rquico que indica, primero, qu\u00e9 entradas emparejadas de ambos tensores son distintas de cero y, luego, qu\u00e9 entradas de cada tensor se emparejan con ceros.\u00a0Todos los pares de ceros simplemente descarta.<\/p>\n Taco tambi\u00e9n usa un esquema de indexaci\u00f3n eficiente para almacenar solo los valores distintos de cero de tensores dispersos.\u00a0Con cero entradas incluidas, un tensor de Amazon lanzado p\u00fablicamente, que mapea los n\u00fameros de identificaci\u00f3n de los clientes contra las compras y los t\u00e9rminos descriptivos seleccionados de las revisiones, toma 107 exabytes de datos, o aproximadamente 10 veces la capacidad de almacenamiento estimada de todos los servidores de Google.\u00a0Pero con el esquema de compresi\u00f3n de Taco, ocupa solo 13 gigabytes, lo suficientemente peque\u00f1o como para caber en un tel\u00e9fono inteligente.<\/p>\n “Muchos grupos de investigaci\u00f3n en las \u00faltimas dos d\u00e9cadas han intentado resolver el problema de optimizaci\u00f3n del compilador y generaci\u00f3n de c\u00f3digo para c\u00e1lculos de matrices dispersas, pero han progresado poco”, dice Saday Sadayappan, profesor de inform\u00e1tica e ingenier\u00eda en la Universidad Estatal de Ohio, quien no estuvo involucrado en la investigaci\u00f3n.\u00a0“Los recientes desarrollos de Fred y Saman representan un avance fundamental en este problema abierto de larga data”.<\/p>\n “Su compilador ahora permite a los desarrolladores de aplicaciones especificar c\u00f3mputos de matriz dispersiva o de tensor muy complejos en una notaci\u00f3n de alto nivel muy f\u00e1cil y conveniente, a partir de la cual el compilador genera autom\u00e1ticamente c\u00f3digo muy eficiente”, contin\u00faa.\u00a0“Para varios c\u00f3mputos dispersos, el c\u00f3digo generado del compilador ha demostrado ser comparable o mejor que las implementaciones manuales minuciosamente desarrolladas.\u00a0Esto tiene el potencial de ser un verdadero cambio de juego.\u00a0Es uno de los avances m\u00e1s interesantes en los \u00faltimos tiempos en el \u00e1rea de optimizaci\u00f3n de compiladores “.<\/p>\n Fuente:<\/strong> MIT<\/p>\n","protected":false},"excerpt":{"rendered":" Un nuevo sistema inform\u00e1tico MIT acelera los c\u00e1lculos que involucran “tensores dispersos”, matrices de datos multidimensionales que consisten principalmente en ceros. El sistema para realizar “\u00e1lgebra de tensor” ofrece aceleraciones de 100 veces sobre los paquetes de software anteriores.<\/p>\n","protected":false},"author":1,"featured_media":7569,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[361],"tags":[],"class_list":["post-7568","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ia"],"yoast_head":"\n