Se prevé que la explosión de datos alcance los 175 zettabytes para 2025 y se almacene cada vez más en silos dispares y de difícil acceso. La visibilidad en el ecosistema actual es pobre.
Este crecimiento de datos ha sido impulsado por las fuerzas del mercado que buscan capitalizar el valor que se puede extraer del valioso recurso. Esto se refleja en el cambio dramático a la nube y el borde.
Se estima que el 90% de estos datos es información no estructurada, como texto, video, audio, registros del servidor web, redes sociales y más. Y todos estos datos no se pueden mover a un almacén de datos central ni procesar en su totalidad.
Ahora, la gestión de datos no estructurados, para organizaciones con muchos datos, es una prioridad de TI empresarial. Necesitan identificar, indexar, etiquetar y monetizar esta información.
Komprise , una empresa de gestión inteligente de datos y movilidad, dice que su oferta puede resolver este desafío: “Ahorramos mucho dinero a nuestros clientes al almacenar datos fríos en niveles en la nube, en una solución transparente, nativa y lista para AI/ML que no se sienta al frente de los datos calientes”, dijo Kumar Goswami , director ejecutivo y cofundador.
“La gestión de datos no funciona si te sientas frente a los datos, ya que no quieres comprometer la velocidad de acceso y la confiabilidad”, agregó.
Caliente y fría
La empresa define la diferencia entre datos calientes y fríos: qué datos siguen utilizando para generar valor y qué datos no.
“El límite entre los datos calientes y fríos se basa en lo que puede indexar y buscar, y lo que define el cliente. Los clientes pueden establecer diferentes políticas para diferentes conjuntos de datos”, explicó Krishna Subramanian, director de operaciones y cofundador.
Gestión inteligente de datos
El primer problema que resuelve Komprise es proporcionar información sobre los datos de sus clientes: dónde están y el nivel de importancia.
Luego, los datos calientes y fríos se definen, indexan y etiquetan en silos de datos dispares; y esto se puede mover entre las instalaciones y la nube a través de una migración inteligente.
La organización en niveles de estos datos genera ahorros de costos considerables, hasta un 60 % para la infraestructura de TI y el almacenamiento de datos, a través de la organización en niveles, la replicación de datos, la migración de datos y la planificación de la capacidad.
Una característica adicional es la incorporación de estos datos no estructurados a una plataforma de vista única, lo que permite a las organizaciones extraer valor a través de análisis profundos. Lo que ellos llaman, Global File Index, para una verdadera transformación en la nube que también permite el cumplimiento legal, la gobernanza y la seguridad.
La gestión de datos no estructurados se está transformando como categoría, alejándose del almacenamiento
Índice de archivos globales
El índice global de archivos permite la búsqueda continua (encontrar archivos de imágenes), la ejecución (copiar los archivos correctos) y el enriquecimiento (etiquetado para extraer valor) de los datos.
La velocidad de creación de nuevas aplicaciones para datos no estructurados también se acelera a días, en lugar de meses con los flujos de trabajo personalizados en el Índice de archivos global.
Casos de uso de acciones de análisis profundo
Uno de los clientes de Komprise, Matt Madill, administrador sénior de almacenamiento de la Universidad de Duquesne, dijo: “Vemos muchos casos de uso de acciones de análisis profundo en la universidad. Por ejemplo, diferentes grupos de investigación tienen requisitos únicos que los usuarios pueden respaldar con el etiquetado, de modo que esos conjuntos de datos no solo puedan descubrirse fácilmente, sino que también puedan aplicarles las políticas de administración de datos adecuadas para el almacenamiento a largo plazo”.
En acción, los resultados de este caso de uso fueron:
Acelere las canalizaciones de análisis de datos no estructurados
- Encuentre 2 TB en 10 PB de datos en NAS de múltiples proveedores y en la nube que pertenecen a experimentos específicos realizados por investigadores específicos
- Encuentre solo los datos relacionados con los automóviles autónomos por semáforos en múltiples almacenes de datos
Eliminar datos obsoletos
- Eliminar correos electrónicos de ex-empleados que no han sido leídos en 3 años
Cumplir con las Regulaciones
- Identifique solo los datos que deben conservarse y muévalos a un depósito en la nube bloqueado por objetos
- Encuentre archivos originales de datos sin procesar repartidos en múltiples sistemas para evitar la “calidad de preocupación” durante las inspecciones reglamentarias
Habilitar la “Administración de datos impulsada por el usuario”
• Los usuarios pueden identificar y etiquetar conjuntos de datos específicos que desean mover a la nube para un nuevo estudio.
Fuente:
Ismail, N. (2022, 31 enero). Extracting value from unstructured data with intelligent data management. Information Age. Recuperado 31 de enero de 2022, de https://www.information-age.com/extracting-value-from-unstructured-data-with-intelligent-data-management-123498646/