Archive

Posts Tagged ‘Big Data’

Bienvenidos a la 4ª Revolución Industrial

bienvenidos-4o-revolucion-industrial

La Cuarta Revolución podría ser la respuesta a las reiterativas preguntas que nos hemos estado haciendo en los últimos años: ¿Qué está sucediendo? ¿Qué nos depara el futuro?

Los modelos tradicionales de negocio están viviendo una obsolescencia cíclica -disruptiva e inesperada- y las startups y organizaciones han visto en la tecnología un sinfín de nuevas posibilidades para crear o añadir valor a los productos o servicios ya existentes.

Aunque pueda parecer algo remoto, estos hechos están generando un nuevo paradigma, la llamada Industria 4.0. Un ecosistema automático y muy inteligente, que está  incidiendo directamente en la sociedad y en el nacimiento de un nuevo concepto y modelo de vida.

A finales de la Tercera Revolución Industrial (Revolución Digital), la digitalización y automatización de las fábricas dejaron entrever cómo se transformaría la forma en que se fabrican los bienes y también los cambios que se introducirían en la política de empleos.

mjolner_industrial_revolution_timeline

Vía mjolner.dk

Ahora, en el arranque de la Cuarta Revolución se incorporan nuevos factores con una incidencia exponencial superior, que convierten a las fábricas en una industria más eficiente y mucho más inteligente.

En este proceso de adaptación no sólo se trata de automatizar la fabricación sino de relacionarla con los nuevos medios disponibles: fuentes de energías sostenibles, impresoras 3D, Big Data, drones, realidad aumentada para visualizar los prototipos, Inteligencia Artificial y su descendiente, la robótica colaborativa industrial, las comunicaciones inalámbricas y smart products que se comunican autónomamente mediante la conexión de los objetos y el conocido Internet of Things (IoT). Leer más…

OBIEE – Cómo configurar y mejorar su rendimiento con Big Data

junio 29, 2016 4 comentarios

En los últimos meses me he vuelto fan de la tecnología Big Data con los productos de Oracle y me parece interesante evaluar la evolución de Oracle en la tecnología de OBIEE para trabajar con Big Data.

En uno de mis últimos post he hablado sobre el papel de Big Data Discovery, pero OBIEE también juega un papel importante (a través de su capacidad para analizar grandes volúmenes de datos y con visualizaciones de modelos de datos en informes y cuadros de mando) lo que significa, en la práctica, que OBIEE es capaz de conectar a fuentes de datos Hadoop con Hive e Impala.

Ahora bien, ¿cómo podemos configurar OBIEE para obtener el mejor rendimiento en uso de sus componentes visuales y cómo obtener la mejor eficiencia de análisis de una gran cantidad de datos estructurados?

Para dar una respuesta más en detalle, vamos a profundizar en el uso de los controladores de Hive y Spark actuales, y su configuración con OBIEE, para obtener esta eficiencia.

apache-spark1

 

Comparación de la evolución de OBIEE con Big Data

  • OBIEE 11.1.1.7 dio un primer paso en Big data, con su capacidad para utilizar Apache Hive como una fuente de datos, permitiendo acceder a fuentes de datos Hadoop a través de dos tecnologías relacionadas: Hive y MapReduce.

La desventaja es que Hive, es generalmente considerado demasiado lento para ad-hoc, usando consultas y HiveServer1 con controlador ODBC de OBIEE.

Pero una de las ventajas, que nos ofrece esta versión es su seguridad, porque Hadoop no es un sistema intrínsecamente seguro, está protegido solamente por seguridad de red, lo que significa que una vez establecida la conexión, se tiene acceso completo al sistema, pero para ello se crea la Seguridad Kerberos,  como una opción de instalación del software,  el cual toma medidas adicionales para autenticar con el cliente Cloudera Hadoop, el cual se puede configurar desde el BI Administrator de OBI.

  • OBIA 11.1.1.8.1 salió a principios de mayo de 2014, con resultados muy similares en el potencial Big Data.
  • OBIEE 11.1.1.9 salió en mayo de 2015 (también queremos hacer mención a OBIEE 12c, que aparte nos trae análisis avanzados con preconstrucción de nuevas funciones simples en R y Extension Framework, que no vamos a profundizar porque ya se ha comentado en anteriores post, introduciendo nuevas características de compatibilidad de HiveServer2 y Cloudera Impala (lo cual promete mejoras de rendimiento notables sobre Hive). En uso de servidores Linux (con los controladores DataDirect ODBC) y Windows (importaciones de Metadatos desde Cloudera Impala usando controlador ODBC de Windows), pudiendo descargar la herramienta de administración directamente desde Cloudera, y con la posibilidad de utilizar el Apache Spark, para evitar esa lentitud de informes ad-hoc, y muchas más ventajas, las cuales nos permiten plantearnos unas serie de preguntas:

¿Os gustaría?

  • ¿Ejecutar programas 100 veces más rápidos en memoria o 10 veces más rápido en disco?
  • ¿Escribir aplicaciones en Java, Python o Scala de manera rápida a la vez que podéis construir aplicaciones paralelas que aprovechan un entorno distribuido?
  • ¿Combinar SQL, streaming y análisis complejos en una misma aplicación?

Todo esto es lo que puede hacer Apache Spark. Por ello, en conjunto con OBIEE su objetivo es ser capaz de ejecutar consultas interactivas en fuente de datos desde Spark (con procesamientos en memoria 100 veces más rápidos que los conseguidos utilizando MapReduce) y admitiendo leer o escribir datos almacenados en el Apache Hive.

 

Leer más…

avanttic collaborator – 21st International Conference on Information Quality (ICIQ 2016)

junio 27, 2016 Deja un comentario

avanttic-ICIQ-2016

ICIQ 2016 sponsored by avanttic

avanttic ha sido una de las empresas colaboradoras de la 21ª edición del International Conference on Information Quality (ICIQ 2016), que se celebró los días 22 y 23 de Junio en Ciudad Real, en la Escuela Superior de Informática (ESI) de la Universidad de Castilla-La Mancha (UCLM). Este patrocinio se enmarca dentro de las actividades de colaboración de avanttic con ESI-UCLM.

ICIQ es el congreso internacional más importante sobre calidad de datos. Nació en el Massachusetts Institute of Technology (MIT) y durante más de 15 años se celebró en Boston. Es la primera vez que se ha realizado en España.

avanttic-ICIQ-2016-IMG

avanttic ha patrocinado el

Premio al mejor paper de investigación en la 21ª edición del International Conference on Information Quality (ICIQ 2016)

Big Data, Data Loss and Observation Analysis

(Philip Woodall, Cambridge University)

En este link puedes consultar los 24 trabajos aceptados

Como parte de las actividades del congreso, el día 21 se impartieron unos tutoriales por expertos internacionales de reconocido prestigio, como Gwen Thomas,  presidenta de The Data Governance Institute y pionera del concepto de Gobierno de Datos, tan necesario hoy día, sobre todo en las iniciativas relacionadas con Big Data.

Puedes consultar la agenda del congreso y del día de tutoriales en este link.

avanttic dispone de un área de delivery específicamente dedicada a construir soluciones de Business Analytics para nuestros clientes, siendo Data Quality una de las líneas de mas crecimiento dentro del área, junto a Big Data. Consúltanos si deseas información adicional.

Pirámide de valor del Big Data

diciembre 7, 2015 Deja un comentario

Nuestro Arquitecto de Soluciones del Área de Business Analytics, Joan Massegú, publicó en el número 5 de la revista Oracleando un interesante artículo titulado: Big Data, ¿finalidad o medio?

El “Big Data” está en un estado tan incipiente aún y hay tal cantidad de herramientas emergiendo alrededor de Hadoop, que a menudo, esa capa inicial que es la plataforma, acapara toda nuestra atención. En este artículo vamos a hacer énfasis en las herramientas de “Advanced Analytics”, situadas en la cúspide de lo que llamaremos Pirámide de Valor del Big Data, que representa el conjunto de necesidades y/o procesos que las organizaciones van a poder necesitar en el camino hacia la extracción del máximo valor de sus datos, y cómo trasladarlo al negocio.

 

 

A medida que vayan avanzando en tareas de la limpieza, preparación, interconexión, etc. de los datos que se recogieron en la base, las organizaciones irán construyendo la Pirámide de Valor del Big Data. De esta manera, irán escalando niveles que realizarán aportaciones diferentes, hasta alcanzar la cúspide, donde podrán, bien sea en forma de descubrimiento de nuevos hechos o relaciones, o la formulación de recomendaciones y/o predicciones, extraer el Valor real del Big Data.

 

Si desea más información sobre Big Data y cómo puede ayudarle a generar valor en su organización, no dude en ponerse en contacto con nosotros.

Evento: DATA CAPITAL (Madrid, 24 noviembre 2015)

noviembre 11, 2015 Deja un comentario

El próximo día 24 de noviembre Oracle le invita a descubrir estrategias para explotar el capital de sus datos, a través de Oracle Business Analytics y de las novedades presentadas en Oracle Open World referentes a Big Data.

No se pierda este evento en el que será testimonio de experiencias reales y casos de uso de clientes, entre ellos nuestro cliente Telefónica On The Spot, que explicará el proyecto de Bussiness Intelligence Cloud Service (BICS) que estamos trabajando conjuntamente.

Agenda:

09:30 Recepción
10:00 Bienvenida
Julia Bernal – Directora de Business Analytics, Oracle
10:15 Visión y estrategia de BigData & Analytics
David Millán – Director Big Data EMEA, Oracle
10:45 La estrategia de Oracle y novedades OOW
Mar Montalvo – Directora de Preventa Business Analytcis, Oracle
11:15 Café
11:45 Experiencias reales Big Data y Analytics

  • Telefónica On The Spot Services (proyecto BICS con avanttic)
  • Popular-e
  • Telefónica España
13:00 Panel de expertos
Moderado por Rosa María Peña
11:30 Cierre y Cóctel

Le esperamos en el club Allard (Calle de Ferraz 2, Bajo derecha – 28008 Madrid).

Para más información y reservar plaza, contacte con monica.esteve@avanttic.com o al teléfono 618907428.

Big Data Discovery, su papel en proyectos con volúmenes grandes de datos

septiembre 28, 2015 Deja un comentario

Oracle Big Data Discoverycon sus respectivas vinculaciones a Hadoop, Oracle Big Data SQL 1.1 y Oracle NoSQL Database 3.2.5, es una de las herramientas que ha introducido Oracle en el mercado, para el fortalecimiento y reestructuración de los grandes almacenes de datos en las empresas. Gracias a ella, se puede ver y entender rápidamente el potencial de los datos en bruto desde Hadoop  y convertir los datos en conocimiento en cuestión de minutos.

Sin una gran dificultad de aprendizaje, y mediante un diseño gráfico muy intuitivo, se puede compartir y obtener datos realmente interesantes.

1

Funciona de forma nativa con Hadoop, transformando datos rápidamente y procesando el conocimiento del negocio en cinco fases. Cualquiera puede encontrar, explorar, transformar y analizar datos para obtener nuevas perspectivas, las cuales pueden ser compartidas en proyectos de gran interés para el negocio.

 

Coherencia de la analítica Big Data

Oracle Big Data Discovery ofrece tremenda velocidad a escala masiva, permitiendo dedicar un 20% al desarrollo y un 80% al análisis.

Big Data Discovery está compuesto por los siguientes tres componentes básicos y es posible su interacción con otras herramientas:

2

  • Discovery Studio, es una interfaz de usuario intuitiva y visual para encontrar y explorar grandes volúmenes de datos, de tal forma que cualquier persona pueda rápidamente transformar, descubrir y compartir el valor del conocimiento del negocio a gran escala.
  • DGraph, es la tecnología líder en la industria Oracle Big Data; (Endeca Server); que simplifica la complejidad de organización y búsqueda de datos para su análisis.
  • Capa de Procesamiento de Datos, utiliza el componente Spark de Hadoop para realizar perfiles de datos a alta velocidad, transformación y enriquecimiento de la información.
  • Diseñado para trabajar junto a:
    • ODI 12c y GoldenGate: una vez que haya definido sus flujos de datos principales de transformación.
    • Oracle Big Data SQL: acceso BI de la aplicación a la totalidad del “Almacén de datos” (DWH + Hadoop).

La mejor manera de pensar en Big Data Discovery es “Endeca Hadoop”

La herramienta web Discovery Studio es una versión de Endeca Server para:

  1. Analizar y visualizar conjuntos de muestras de datos desde el clúster Hadoop, el cual ejecuta sus elementos sobre DGraph (Servidor Endeca) en uno o más nodos.
  2. Leer datos desde Hadoop mediante Hive y luego escribir de nuevo las transformaciones planificadas (utilizando Apache Spark para recuperar datos de Hadoop).
  3. Transformar esos datos de forma que sea más adecuado para su análisis con Big Data Discovery.

3

Leer más…

Revista Oracleando nº 5 (SPOUG, septiembre 2015)

septiembre 7, 2015 Deja un comentario

Se ha publicado el número 5 de la Revista Oracleando, editada por SPOUG – Spain Oracle Users Group.

avanttic (socio institucional de SPOUG) ha colaborado en este número con publicidad (contraportada) sobre la Pirámide de valor del Big Data (las 6 “v”: Velocidad, Volumen, Variedad, Veracidad, SegVridad y Valor) y con la publicación de un artículo titulado Big Data: ¿finalidad o medio?, en el que Joan Massegú (Solution Architect del Área de Business Analytics de avanttic) hace énfasis en las herramientas de Advanced Analytics de Oracle, que permiten cubrir el conjunto de necesidades y/o procesos que las organizaciones van a poder necesitar en el camino hacia la extracción del máximo valor de sus datos, y cómo trasladarlo al negocio.

Este artículo forma parte de un monográfico especial sobre Analítica, en el que destacan dos interesantes entrevistas, a Julia Bernal, Business Analytics Senior Sales Director Spain & Portugal, Oracle, y a Mar Montalvo, Directora de Preventa de Soluciones Big Data y Analytics, Oracle Ibérica.