Archivo

Posts Tagged ‘Big Data SQL’

Razones para utilizar Big Data SQL v 3.1

septiembre 1, 2017 Deja un comentario

Siguiendo la línea de lo comentado en anteriores posts de Oracle Big Data Appliance (BDA) sobre características y evolución, aprovecharemos para hablar de las nuevas características de Oracle Big Data SQL 3.1. Dicho software está disponible con Oracle Database 12C en combinación con el sistema Oracle Exadata Engineered y el sistema de ingeniería de dispositivos Oracle Big Data.

El uso del sistema Oracle Engineered tiene mucho sentido ya que es capaz de utilizar InfiniBand, con conexiones entre dos sistemas para eliminar el cuello de botella de la red, y así poder obtener distintas partes de información desde una consulta SQL. Además, permite acceder en línea al sistema de base de datos con el funcionamiento del Exadata, permitiendo un almacenamiento de la información y un procesamiento de cálculo realizado en gran parte en los nodos de almacenamiento. Esto asegura que más ciclos de CPU están disponibles para otras tareas, clasificación, filtrado y capacidad de almacenamiento.

Cuando ciertas partes de los datos residen en una base de datos NoSQL y otras en un clúster HDFS, surgen problemas de tiempos de respuesta además de abundante codificación adicional que permite obtener un resultado de cruce de datos necesario y posible.

Por eso Oracle anuncióOracle Big Data SQL“, mejorando su v 3.1 y asegurando “consultas SQL rápidas y seguras en todos sus datos” sobre el lenguaje SQL estándar que conocemos, el cual permite consultar datos no sólo en la base de datos Oracle sino también con datos que residen desde “otros puntos”.  Dichos puntos son los clústers Hadoop HDFS y las bases de datos NoSQL, lo cual nos permite extender el diccionario de datos de Oracle y almacenar información de los datos en los clústers NoSQL o Hadoop HDFS, permitiendo que la Base de datos Oracle pueda hacer uso de esas fuentes en combinación con los datos almacenados.

Oracle Big Data Appliance, es un sistema abierto, multiusos para Hadoop y de procesamiento NoSQL. También está diseñado para ejecutar diversas cargas de Hadoop y consultas SQL interactivas mediante Oracle Big Data SQL. Estas capacidades están disponibles en la instalación, así como en el servicio de Oracle Big Data Cloud Service que ofrece nuevas características de mejora en su última versión.

Big Data SQL v3.1 ahora soporta:

  • Exadata a Big Data Appliance.
  • Exadata a clúster hadoop de commodities (CDH & HDP).
  • Oracle Database 12c a Big Data Appliance.
  • Oracle Database 12c a los clústers hadoop de productos básicos.
  • Oracle SuperCluster a Big Data Appliance (aún no certificado).

Instalación puede ser desde dos sistemas diferentes:

Leer más…

Oracle Big Data Appliance: introducción y características

Big Data ApplianceSiguiendo el hilo del post publicado en este mismo blog por January Tabaka hace unos días, sobre los Oracle Engineered System en su versión X5-2, vamos a aprovechar para entrar un poco más en detalle en el Oracle Big Data Appliance (BDA), diseñado para ofrecer un óptimo rendimiento en proyectos Big Data.

Big Data Appliance es un sistema abierto pero con el soporte empresarial de Oracle, que puede ser ampliado con software de terceros que añadan nuevas funcionalidades (con el soporte específico de sus respectivos fabricantes). Orientado al proceso de datos con Hadoop y NoSQL, es capaz de realizar diversos tipos de trabajo, desde los típicos procesos Hadoop (MapReduce 2, Spark, Hive etc.) hasta consultas interactivas SQL con Oracle Big Data SQL. Big Data Appliance es multitenant, es decir, puede ser configurado como un cluster único, o como varios clusters, ofreciendo la flexibilidad necesaria para por ejemplo, disponer de entornos de desarrollo, test y producción.

Desde el punto de vista de mantenimiento del sistema, éste ha sido simplificado incorporando la utilidad (de línea de comandos) para la instalación, actualización, parcheado y expansión Mammoth, que permite desplegar rápidamente las frecuentes actualizaciones del sistema Hadoop sin incurrir en interrupciones de servicio significativas además de crear y/o extender clusters en un rack o entre racks diferentes.

El hardware se ofrece con un mínimo de 6 nodos (starter pack) ampliable de 6 en 6 (in-rack expansion) hasta un máximo de 18 (full rack). Cada nodo ofrece notables capacidades tanto de cálculo como de almacenamiento, siendo sus principales características:

  • 2 Procesadores x 18 Cores Intel ® Xeon ® E5-2699 V3 a 2.3 GHz
  • 128 GB de RAM (4 * 16 DDR4) ampliables a 768 GB por nodo
  • Controlador de disco HBA con 512MB cache de escritura (respaldada con batería)
  • 12 discos SAS de alta capacidad (4TB)  a 7,200 RPM
  • 2 Puertos Infiniband QDR (40Gb/s)
  • 4 Puertos Ethernet a  10 Gb
  • 1 Puerto ILOM Ethernet

con lo que un full rack podría alcanzar unas prestaciones de hasta

  • 288 Cores
  • 2.304 Gb de RAM (o 13.824 con todos los nodos ampliados a 768 Gb de RAM)
  • 864 Tb de disco

Además, los racks de Big Data appliance pueden conectarse entre ellos hasta un total de 18 sin necesidad de switches infiniband adicionales.

Leer más…