22 de marzo de 2015

Qué es Big Data y cuáles son sus retos?

Big Data es uno de esos términos que escuchamos o leemos cotidianamente y nos preguntamos que será exactamente. Por cierto, eso no debe sorprender ya que su significado, su aplicación e impacto están en plena evolución. La descripción más simple y directa es que se trata de   conjuntos de datos que son tan grandes o complejos que las aplicaciones tradicionales de procesamiento de datos no son adecuadas para su manejo. Big Data cada vez más frecuentemente   también  abarca el uso de analíticos predictivos u otros métodos avanzados para extraer valor de la data y en ese caso es independiente de la magnitud particular de un conjunto de datos. Es relevante  considerar que este análisis de un conjunto de datos puede hallar nuevas correlaciones para detectar ciertas tendencias en los negocios, para prevenir enfermedades, para combatir crímenes, etc.

Una razón por la cual Big Data tiene impacto se debe a que los conjuntos de datos que crecen en tamaño en forma cada vez más acelerada provienen de orígenes diferentes a  la información tradicional. Se está recolectando información a través de mecanismos muchos más económicos, los cuales incluyen dispositivos móviles sensores de información, sensores remotos, logs de software, cámaras, micrófonos, lectores de identificación de radio-frecuencias y redes de sensores inalámbricos.  

Para complementar la información asociada a Big Data existen varias otras características  de Big Data, entre las cuales se incluyen:
·         El trabajo para procesar Big Data requiere software masivamente paralelo, que esté corriendo en decenas, cientos y hasta miles de servidores.
·         Lo que se considera Big Data también varía, dependiendo de los usuarios y de sus herramientas y las capacidades expansivas de Big Data la convierten en un objetivo en movimiento.  Por ello, lo que se considera “Big” hoy puede ser "Ordinario" mañana.
·         Big Data usualmente incluye conjuntos de datos que exceden la capacidad de las herramientas de software comúnmente utilizadas para capturar, conservar, administrar y procesar datos dentro de un lapso tolerable de tiempo. El tamaño de Big Data se está modificando contínuamente y desde 2012 ha pasado de unas docenas de terabytes a muchos petabytes de data.
·          A medida que madura esta tecnología se hace más clara la diferencia entre Big Data e Inteligencia de Negocios, con respecto a la data y sus usos: (1) Inteligencia de Negocios utiliza estadísticas descriptivas con data que tiene una alta densidad de información para medir cosas, detectar tendencias, etc. y (2) Big Data utiliza estadísticas inductivas y conceptos de identificación no-linear para inferir leyes (regresiones, relaciones no-lineares y efectos causales) provenientes de grandes conjuntos de data con baja densidad de información para revelar relaciones, dependencias y hacer predicciones de resultados y de comportamientos.

A pesar de las inversiones que están siendo realizadas en Big Data todavía no se puede asegurar que las empresas estén encontrando mucho éxito más allá de las etapas de adopción temprana.  Para analizar esta situación, se hizo una encuesta con gerentes y ejecutivos de TI, quienes compartieron detalles sobre sus iniciativas, inversiones y prioridades en Big Data.  La encuesta de Big Data 2014 fue dirigida a la audiencia de NetworkWorld y sus publicaciones hermanas (CIO, Computerworld, CSO, InfoWorld y ITWorld).  

De las empresas encuestadas, (16%) ya han implementado Big Data y (25%) están en el proceso de implementación. Otros tienen planes de implementar en los próximos 12 meses (16%) y en 13-24 meses (16%) y el resto están menos avanzados.  También es importante mencionar que (53%) de las empresas consideraban los proyectos de Big Data como críticos o de alta prioridad, un (34%) de prioridad moderada y un (12%) de baja prioridad.

De los resultados de esta encuesta se extraen las siguientes conclusiones:
·        
     Las empresas quieren tomar mejores decisión en forma más rápida
Big Data tiene un rol vital en la calidad y velocidad en la toma de decisiones.  Además de este objetivo y en menor grado los siguientes objetivos asociados a Big Data son: lograr mejoras en planificación y proyecciones, el desarrollo de nuevos productos/servicios, la mejora en la adquisición/retención de clientes y la construcción de nuevas alianzas.

·         Las empresas se están resintiendo de la sobrecarga de datos
La enorme cantidad de data generada tiene consecuencias corporativas: (a) la pérdida de negocios por incapacidad de encontrar data rápidamente, (b) el retardo en la toma de  decisiones importantes, (c) los usuarios sobrecargados con data y (d) las fallas en seguridad de datos.

·         Petabytes de data son la realidad para las empresas grandes
La cantidad de data acumulada sobre clientes y su negocio es impresionante y en pleno crecimiento. El promedio manejado hoy en día es de 164 terabytes, con una proyección de crecimiento de 76% en 12-18 meses.  Hoy en día el (6%) de las empresas encuestadas están manejando más de 1 petabyte y en 12-18 meses esto crecerá a (14%).

·         Las empresas todavía hacen inversiones limitadas en proyectos de Big Data y el uso de ROI no es determinante en la decisión
Aparte de ello, la inversión asociada a Big Data, en orden de magnitud se realiza en las siguientes áreas:  (1) Desarrollo o adquisición de aplicaciones, (2) Inversión adicional en hardware/software de servidores o almacenamiento, (3) Uso de una estructura de software abierto (ejemplo, Apache Hadoop), (4) Migración a servicios de almacenamiento en la Nube, (5) Incremento de ancho de banda de la red y (6) Migración a servicios de Analíticos en la Nube.

·         Las empresas tienen una escasez crítica de talento
El tipo de habilidades que se desea contratar no abunda y estas incluyen: (a) Científico de la Data, (b) Arquitecto de Datos, (c) Analista de Datos, (d) Visualizador de Datos, (e) Anallsta de negocios, (f) Investigador, (g) Director o Gerente de Analíticos y (h) Programador de Base de Datos. 
·         Seguridad de los datos es una preocupación, pero no es determinante
La mayoría de los entrevistados  piensa que lo que tienen disponible en seguridad hoy en día es adecuado. Aparte del  presupuesto y del talento, se mencionan como limitantes (a) seguridad, (b) tiempo de desarrollo, (c) problemas de legacy para integración, (d) calidad pobre de los datos y ( e) dificultades para integrar o analizar datos en tiempo real.

·         Integración de Datos o adopción cultural?
Qué es más difícil para el proyecto de Big Data, la Integración de Datos o la Adopción?  Los dos aspectos son complejos, pero aparentemente el tema de aceptación cultural es un poco más difícil.

·         TI dirige las grandes iniciativas, pero el éxito depende de las alianzas funcionales
Los promotores de los proyectos de Big Data son el CEO o líderes de las líneas de negocios. Lo típico es que TI sea el líder de las grandes iniciativas de Big Data, pero también están involucrado líderes del lado de los negocios.  Los proyectos son exitosos cuando se trata de para resolver retos de negocios específicos y tienen propiedad conjunta.   

·         El empuje se mantendrá para muchas de las empresas
La mayoría piensa que Big Data en tres años será de uso generalizado a través de toda la empresa y otro grupo piensa que será generalizado pero a nivel de división, unidad de negocios o departamento.

“How today's enterprises use Big Data (Networkworld)” http://www.networkworld.com/article/2174101/software/how-today-s-enterprises-use-big-data.html?nsdr=true y Wikipedia.

1 comentario: