Archivo

Posts Tagged ‘NoSQL’

Nuevo Meetup para DBAs y arquitectos: aprendiendo y compartiendo conocimiento sobre Big Data (Barcelona, 10-04-2018)

El 10 de abril organizamos el segundo Meetup en Barcelona del grupo Oracle Database meetups para DBAs y Arquitectos, bajo el título Oracle Data Management trends: SQL, NoSQL y BigData, al que asistieron 20 miembros. Otros 3 más nos acompañaron siguiéndolo vía streaming.

Mientras que en el primer Meetup nos habíamos centrado en las nuevas tecnologías de Bases de Datos, Cloud y Oracle 18c autonomous Database, esta vez el tema fue distinto. Nos focalizamos en el análisis, almacenamiento y acceso a datos masivos, es decir, Big Data. Extendiendo las características y herramientas del RDBMS de Oracle a los nuevos almacenes de datos: Hadoop y bases de datos NoSQL e integrando el acceso en un único dominio de datos mediante SQL.

Para ayudarnos a comprender estos conceptos el primer ponente, David Mauri, Cloud Platform Solution Architect de Oracle, nos enseñó toda la teoría sobre cómo Oracle ha logrado esta integración, separando el motor SQL de su emblemática base de datos para procesar las consultas y los drivers de acceso que permiten leer datos, tanto de ficheros sobre el Hadoop Distributed File System, como de la herramienta de Data Warehousing, HIVE (ver presentación). Leer más…

Meetup Oracle Data Management trends: SQL, NoSQL y BigData (Madrid, 15-03-2018)

El 15 de marzo realizamos el segundo meetup del grupo Oracle Database meetups para DBAs y Arquitectos, bajo el título Oracle Data Management trends: SQL, NoSQL y BigData, al que asistieron 25 miembros y 7 en streaming

La vorágine en cuanto al crecimiento del volumen de datos que manejan las compañías, y la emergencia de nuevas tecnologías y soluciones alrededor del dato y su manejo, ha motivado que en esta ocasión nos hayamos focalizado en Data Management desde la perspectiva de los gestores de datos de Oracle.

• La primera ponencia estuvo a cargo de Andrés Araujo, Cloud Platform Solution Architect de Oracle, quien centró la charla en Bigdata, NoSQL, R-Enterprise y Spatial & Graph. Ver presentación.

• Interrelacionada con la parte teórica de la ponencia de Andrés, nuestro compañero Basilio Carrero, Consultor Business Intelligence de avanttic, realizó la parte práctica del meetup. Basilio nos mostró en la primera demo cómo mediante Oracle Big Data SQL se puede acceder directamente a los ficheros de HDFS y cómo a través de Hive podemos acceder también tanto a los fichero HDFS como a almacenes de datos inteligentes (Apache Parquet, Apache ORC y Oracle NoSQL). En la segunda demo nos mostró la potencia de Oracle R Enterprise (ORE) para hacer estudios estadísticos y minería de datos: realizando el proceso en el cliente con RStudio, moviendo los algoritmos a la base de datos y empleando las funciones In-Database integradas en ORE. Ver presentación. También puedes descargar la Máquina Virtual con la que Basilio realizó las demos y los scripts que utilizó: Oracle Big Data Lite Virtual Machine v4.11 –  Scripts demo Oracle Big Data SQL y ORE. Leer más…

Oracle Big Data Appliance: introducción y características

Big Data ApplianceSiguiendo el hilo del post publicado en este mismo blog hace unos días, sobre los Oracle Engineered System en su versión X5-2, vamos a aprovechar para entrar un poco más en detalle en el Oracle Big Data Appliance (BDA), diseñado para ofrecer un óptimo rendimiento en proyectos Big Data.

Big Data Appliance es un sistema abierto pero con el soporte empresarial de Oracle, que puede ser ampliado con software de terceros que añadan nuevas funcionalidades (con el soporte específico de sus respectivos fabricantes). Orientado al proceso de datos con Hadoop y NoSQL, es capaz de realizar diversos tipos de trabajo, desde los típicos procesos Hadoop (MapReduce 2, Spark, Hive etc.) hasta consultas interactivas SQL con Oracle Big Data SQL. Big Data Appliance es multitenant, es decir, puede ser configurado como un cluster único, o como varios clusters, ofreciendo la flexibilidad necesaria para por ejemplo, disponer de entornos de desarrollo, test y producción.

Desde el punto de vista de mantenimiento del sistema, éste ha sido simplificado incorporando la utilidad (de línea de comandos) para la instalación, actualización, parcheado y expansión Mammoth, que permite desplegar rápidamente las frecuentes actualizaciones del sistema Hadoop sin incurrir en interrupciones de servicio significativas además de crear y/o extender clusters en un rack o entre racks diferentes.

El hardware se ofrece con un mínimo de 6 nodos (starter pack) ampliable de 6 en 6 (in-rack expansion) hasta un máximo de 18 (full rack). Cada nodo ofrece notables capacidades tanto de cálculo como de almacenamiento, siendo sus principales características:

  • 2 Procesadores x 18 Cores Intel ® Xeon ® E5-2699 V3 a 2.3 GHz
  • 128 GB de RAM (4 * 16 DDR4) ampliables a 768 GB por nodo
  • Controlador de disco HBA con 512MB cache de escritura (respaldada con batería)
  • 12 discos SAS de alta capacidad (4TB)  a 7,200 RPM
  • 2 Puertos Infiniband QDR (40Gb/s)
  • 4 Puertos Ethernet a  10 Gb
  • 1 Puerto ILOM Ethernet

con lo que un full rack podría alcanzar unas prestaciones de hasta

  • 288 Cores
  • 2.304 Gb de RAM (o 13.824 con todos los nodos ampliados a 768 Gb de RAM)
  • 864 Tb de disco

Además, los racks de Big Data appliance pueden conectarse entre ellos hasta un total de 18 sin necesidad de switches infiniband adicionales.

Leer más…