El pasado 8 y 9 de noviembre se celebró la segunda edición del evento Big Data Spain donde 400 personas (el doble que el año pasado) interesadas por estas tecnologías nos hemos reunido en las salas Kinépolis para hablar sobre Big Data. El evento fue organizado por Paradigma Tecnológico y Stratio contando con los patrocinios de Microsoft, Stratio, BBVA, IBM, Datastax y Synergic.
La agenda de ponentes ha contado con parte de los mejores especialistas en diferentes tecnologías alrededor del Big Data nacionales e internacionales como Sean Owen (Cloudera), Rob Anderson (MapR), Alan Gates (Hortonworks), Felipe Hoffa (Google), Adam Hattrell (Datastax), Luca Olivari (MongoDB), Iván de Prado (Datasalt), Álvaro Agea (Stratio), Luca Rosellini (Stratio), Santiago Lorente (Microsoft), Pedro Pablo Magalón (Microsoft), Javier de la Torre (CartoDB) y tantos otros.
Aunque alguna de las tecnologías de las que se han hablado no es precisamente reciente, en general sí que se trata de un ecosistema aún muy novedoso, sobre todo en España, por lo que muchas empresas aún no conocen la manera de explotar los datos de su negocio es más, algunas tampoco saben la manera de empezar a recogerlos.
Este es uno de los aspectos de los que se ha hablado en la conferencia. Las empresas deben tener claro que no deben quedarse al margen de esta tecnología y que deben empezar por implantar algún tipo de inteligencia de negocio sobre sus datos o se podrían ver desplazadas por empresas de su mismo sector. También es cierto que aplicar Big Data actualmente es más importante dependiendo del sector, por ejemplo los sectores donde más se está invirtiendo en esta tecnología son la banca, compañías de seguros, telecomunicaciones, empresas de marketing, así como empresas públicas para hacer más eficiente los recursos públicos de los que disponemos.
Está claro que estamos en la era de la información, cada día se generan más y más datos, creciendo exponencialmente, se estima que el 90% de la información que hay actualmente en Internet se ha generado en los últimos 2 años. Viendo estas cifras debemos pensar que en un futuro, la explotación de los datos será muy importante, de hecho actualmente ya lo es. Es por ello que están surgiendo los llamados científicos de datos, personal preferiblemente ingenieros de software con conocimientos estadísticos que puedan extraer información relevante de los datos.
Paso a resumir alguna de las charlas de esta edición:
- La ciencia de los datos: Donde se ha hablado de la importancia de los científicos de datos (80% ingeniero de software y 20% estadístico). Parece que este perfil profesional va a ganar relevancia en el futuro ya que las empresas necesitarán de estas personas para analizar y sacar estadísticas de sus datos. En palabras de Sean Owen decía que es más fácil que un ingeniero aprenda estadística que un estadístico aprenda ingeniería.
- Big Data con Windows Azure: Donde hemos visto cómo plantea Microsoft su solución de Big Data. Ha sido una demo muy amena donde los dos ponentes han expuesto las herramientas de Microsoft con un caso real de Big Data.
- La captura de valor a partir de grandes volúmenes de datos financieros: La visión de BBVA acerca de cómo crear valor a partir de las transacciones que realizan sus clientes. Relacionado con este tema cabe mencionar el ‘Datathlon’ Innova Challenge organizado por BBVA con interesantes premios para las aplicaciones que exploten su API. Más info en https://www.centrodeinnovacionbbva.com/innovachallenge
- Minería de datos eficiente con Spark y Cassandra: Arquitectura Big Data propuesta por Stratio.Una charla muy amena sobre la solución que han aplicado los ingenieros de Stratio para procesar un enorme volumen de información.
- Google BigQuery y las herramientas de Google Cloud: Herramientas de Big Data de Google para procesar consultas sobre gigabytes de datos.
- Hive y SQL interactivo con Hadoop: Mejoras en el rendimiento de Hive en combinación con Apache Tez. Parece que tiene muy buena pinta Apache Tez como sustituto a MapReduce ya que mejora enormemente el tiempo de respuesta en las consultas.
- Análisis de tráfico con Hadoop y SploutSQL: Producto opensource de Datasalt para crear vistas SQL materializadas a través de datos de Hadoop. Es de agradecer que empresas españolas creen productos para solucionar problemas y que además los hagan opensource.
- BigQuery sobre un conjunto de datos BitCoin: Interesante workshop que combina el interés de los datos Bitcoin con el poder de las soluciones de Google BigQuery.
- Hadoop R: introducción práctica al análisis estadístico con R y Hadoop. Muy buena charla técnica sobre el entorno R donde se analizaban operaciones ejecutadas en un Hadoop.
A grandes rasgos, ya que el tiempo de las exposiciones era limitado, se ha hablado de multitud de tecnologias alrededor del Big Data como Hadoop, Big Query, Apache Cassandra, HBase, Hive, MapReduce, NoSQL, MongoDB, R, SploutSQL, HBase, Apache Mahout, HDFS, Windows Azure, Spark, Google Cloud, etc. Viendo esta larga lista la verdad que da mucho que pensar, sobre todo a la hora de valorar el esfuerzo que se está haciendo por desarrollar soluciones para la gestión de los grandes volúmenes de datos, aspecto a tener muy en cuenta como técnicos que somos.
También estuvieron muy interesantes las dos mesas redondas que se abrieron para debatir el panorama actual del Big Data contando las soluciones que hay actualmente para la explotación de los datos y la generación de valor de negocio con los mismos.
Por último mencionar que parece que el Big Data está aquí para quedarse, es ya una realidad que ayudará a definir nuevos productos y servicios y a poder predecir el futuro de las empresas y al ahorro de costes.
Desde aquí agradecemos el esfuerzo que ha hecho la organización del Big Data Spain por hacer realidad un evento así en España y por contar con un sobresaliente cartel de expertos en la materia. Si queréis encontrar más información podéis visitar la web oficial www.bigdataspain.org donde colgarán los vídeos y presentaciones de los ponentes.
