Archivo

Posts Tagged ‘GoldenGate’

Big Data Discovery, su papel en proyectos con volúmenes grandes de datos

septiembre 28, 2015 Deja un comentario

Oracle Big Data Discoverycon sus respectivas vinculaciones a Hadoop, Oracle Big Data SQL 1.1 y Oracle NoSQL Database 3.2.5, es una de las herramientas que ha introducido Oracle en el mercado, para el fortalecimiento y reestructuración de los grandes almacenes de datos en las empresas. Gracias a ella, se puede ver y entender rápidamente el potencial de los datos en bruto desde Hadoop  y convertir los datos en conocimiento en cuestión de minutos.

Sin una gran dificultad de aprendizaje, y mediante un diseño gráfico muy intuitivo, se puede compartir y obtener datos realmente interesantes.

1

Funciona de forma nativa con Hadoop, transformando datos rápidamente y procesando el conocimiento del negocio en cinco fases. Cualquiera puede encontrar, explorar, transformar y analizar datos para obtener nuevas perspectivas, las cuales pueden ser compartidas en proyectos de gran interés para el negocio.

 

Coherencia de la analítica Big Data

Oracle Big Data Discovery ofrece tremenda velocidad a escala masiva, permitiendo dedicar un 20% al desarrollo y un 80% al análisis.

Big Data Discovery está compuesto por los siguientes tres componentes básicos y es posible su interacción con otras herramientas:

2

  • Discovery Studio, es una interfaz de usuario intuitiva y visual para encontrar y explorar grandes volúmenes de datos, de tal forma que cualquier persona pueda rápidamente transformar, descubrir y compartir el valor del conocimiento del negocio a gran escala.
  • DGraph, es la tecnología líder en la industria Oracle Big Data; (Endeca Server); que simplifica la complejidad de organización y búsqueda de datos para su análisis.
  • Capa de Procesamiento de Datos, utiliza el componente Spark de Hadoop para realizar perfiles de datos a alta velocidad, transformación y enriquecimiento de la información.
  • Diseñado para trabajar junto a:
    • ODI 12c y GoldenGate: una vez que haya definido sus flujos de datos principales de transformación.
    • Oracle Big Data SQL: acceso BI de la aplicación a la totalidad del “Almacén de datos” (DWH + Hadoop).

La mejor manera de pensar en Big Data Discovery es “Endeca Hadoop”

La herramienta web Discovery Studio es una versión de Endeca Server para:

  1. Analizar y visualizar conjuntos de muestras de datos desde el clúster Hadoop, el cual ejecuta sus elementos sobre DGraph (Servidor Endeca) en uno o más nodos.
  2. Leer datos desde Hadoop mediante Hive y luego escribir de nuevo las transformaciones planificadas (utilizando Apache Spark para recuperar datos de Hadoop).
  3. Transformar esos datos de forma que sea más adecuado para su análisis con Big Data Discovery.

3

Leer más…

Generar comandos SQL a partir de los ficheros de trail de Oracle GoldenGate

Como ya hemos comentado en otras entradasGoldenGate es una herramienta que “permite capturar, enrutar, transformar y enviar datos transaccionales entre entornos heterogéneos en tiempo real”. Los datos (las transacciones) una vez capturados se almacenan en unos ficheros con formato propietario (independientes de la plataforma) llamados ficheros de “trail”. Vamos a revertir este proceso y obtener, de estos ficheros de trail, las sentencias SQL equivalentes a las transacciones almacenadas en ellos.

En esta entrada considero que el lector ya tiene un mínimo conocimiento de Goldengate, por lo que en caso contrario os recomiendo que reviséis la presentación que acompaña al post indicado anteriormente (ya que os estáis perdiendo un producto muy muy interesante).

Los datos capturados por GoldenGate se pueden almacenar en forma de ficheros de trail en diferentes puntos (dependiendo de la arquitectura escogida) y estos ficheros tendrán mas o menos información dependiendo de si ésta ha estado filtrada en la ruta hasta ese fichero concreto.

oracle_config

Pueden existir casos en que sea interesante disponer de las sentencias “SQL” que equivalen a los datos almacenados en estos ficheros de trail, o lo que es lo mismo, obtener las sentencias que GoldenGate ejecutaría en la BBDD destino al aplicar en ella esos ficheros de trail.

Existe una herramienta propia de GoldenGate llamada logdump que nos permite abrir estos ficheros, movernos entre las diferentes transacciones y sentencias, filtrar, buscar transacciones determinadas e incluso modificar el contenido de los ficheros.

El “aspecto” que tienen las transacciones mostradas mediante logdump dista mucho de lo que podríamos esperar si estamos acostumbrados a trabajar con sentencias SQL en herramientas tipo SQL*Plus o SQL*Developer:

logdumprecord_wseqinfoNo obstante podemos pasar estas sentencias SQL a formato “texto”, lo que nos permitirá trabajar con ellas (modificarlas/auditarlas/contabilizarlas) mas fácilmente.

La manera de conseguir esto consiste en crear un proceso de replica replicat, que leerá de los ficheros de trail y escribirá en un fichero de texto las sentencias (en lugar de aplicarlas a una BBDD).

Leer más…

Categorías:GoldenGate Etiquetas: , ,

Prueba real de integración de GoldenGate y Data Guard

En este post aportamos un ejemplo de integración de GoldenGate y Oracle Data Guard, aprovechando de cada uno sus mejores funcionalidades.

En primer lugar comentar que en ocasiones existen dudas sobre los usos “objetivo” de GoldenGate y Data Guard, en la siguiente gráfica podemos ver una descripción genérica de sus posibilidades.

gg_vs_sb

A grandes trazos, Data Guard nos aporta un entorno de recuperación ante desastres sólido y de alto rendimiento ideal para BBDD productivas críticas y con posibilidades de ser usado simultáneamente como entorno de bakup, reporting y pruebas.

GoldenGate por su parte es una herramienta de réplica heterogénea en tiempo real, de una enorme flexibilidad. Nos permite seleccionar de manera precisa los datos a replicar, enviar a cada destino solo los datos necesarios e incluso aplicar transformaciones en estos datos replicados. Todo ello sin ser intrusivo en las BBDD origen  y permitiendo replicas entre BBDD de diferentes tipos y fabricantes.

El cliente al que se le planteó esta arquitectura disponía en origen de un RAC productivo de 2 nodos y requería:

  1. Una solución de “Disaster Recovery” para su BBDD principal dentro del plan de “Bussines Continuity”. Este entorno de DR debería consistir en una réplica total de la BBDD en una ubicación remota, asegurando una pérdida de datos “cero” en caso de problemas.
  2. Descargar de su entorno principal ciertas selects realizadas por parte de sus clientes/proveedores. Un destino objetivo para estas selects eran BBDD en el “cloud”, por aportar flexibilidad y posibilidad de crecimiento bajo demanda.

La arquitectura planteada consistió en una BBDD Standby en un datacenter remoto replicada mediante Data Guard, así como la réplica de los datos necesarios para las selects mediante GoldenGate en BBDD remotas en el cloud. El siguiente esquema muestra la solución planteada:

solucion_planteada

Solución técnica:

  • La configuración de recuperación ante desastres con Data Guard consiste de un RAC de dos nodos en el CPD origen y una BBDD standby monoinstancia en el datacenter remoto.  La configuración mediante DataGuard permite conmutar el rol de las BBDD en unos pocos minutos, un alto rendimiento en la replica de la información y una perdida de datos “cero” en caso de problemas.
  • La BBDD que actúe como principal, independientemente de la que sea, está configurada para enviar la información de “redo” que genera además de a la correspondiente standby a una tercera BBDD que llamaremos “Downstream Database“.
  • En esta “Downstream Database” se ha configurado GoldenGate integrado con LogMiner para capturar los cambios de la BBDD productiva extrayendo estos del la información de “redo” recibida, la captura de datos por tanto no es un proceso intrusivo (no interfiere la BBDD principal para realizar la captura). Para optimizar más incluso el rendimiento se plantea configurar GoldenGate para capturar solo los datos del subconjunto de tablas implicado en las selects a externalizar (ignorando los cambios del resto de tablas).
  • Es el mismo GoldenGate quien, una vez capturados los cambios, los envía a las máquinas remotas y los aplica en sus respectivas BBDD. Las máquinas remotas sólo reciben el subconjunto de datos necesario para cada una de ellas, no todos los datos capturados. Las BBDD remotas pueden ser de fabricante, versión, arquitectura y dimensionamiento totalmente diferente a las originales, permitiendo ajustar su coste de mantenimiento al mínimo necesario para que realicen su cometido.
  • El cambio de roles de las BBDD principal/standby (sea mediante switchover o failover) no afecta el envío de los datos de redo a la BBDD de Downstream ni, por tanto, a la captura y aplicación de los cambios en las BBDD remotas. En caso de switchover/failover la réplica continua de manera trasparente sin necesidad de actuación por parte de los administradores.

Con esta configuración obtenemos todas las ventajas de Recuperación ante Desastres que nos aporta Data Guard así como una réplica trasparente, automática y no intrusiva de un subconjunto de datos a BBDD remotas de tipo “comodity” mediante GoldenGate.

Revista Oracleando número 1 (SPOUG, junio 2014)

oracleando1El día 30 de junio se lanzó el primer número de la Revista Oracleando, publicada por SPOUG – Spain Oracle Users Group (“la evolución de CUORE”, el único grupo de usuarios reconocido por Oracle Spain).

avanttic es socio institucional de SPOUG y ha colaborado en este número con publicidad (contraportada) y con la publicación de un caso de éxito sobre el Ajuntament de Girona, en el que se explica cómo avanttic aportó su experiencia en la implantación de un proyecto de Disaster Recovery: para asegurar la continuidad del negocio, y la rápida recuperación de los datos en caso de desastre, la base de datos se replicó a un segundo CPD utilizando Oracle GoldenGate.

Además podrás encontrar, entre otros muchos artículos, una entrevista a Leopoldo Boado (Country Manager de Oracle Spain).

Crónica evento Soluciones Oracle para proteger la información de su organización (Barcelona, 19 Junio)

junio 20, 2014 Deja un comentario

El 19 de Junio avanttic y Oracle realizamos un desayuno de trabajo, en Barcelona, para explicar las diferentes soluciones Oracle destinadas a proteger la información de su organización, tanto las bases de datos como la información que contienen. 

avanttic Oracle Seguridad BBDD BCN 20140619

Durante la sesión, arquitectos y preventas de avanttic y Oracle presentaron los diferentes  productos de seguridad Oracle dirigidos a cada problemática, y las claves para implantarlos en su organización con un impacto mínimo.

  • Alta disponibilidad y contingencia para Oracle Database. Rafael Planella, Arquitecto de Sistemas de avanttic, explicó  las diferentes soluciones con las que proporcionar alta disponibilidad a las bases de datos Oracle, y cómo replicarlas en un entorno de contingencia con el RTO y RPO que necesite cada organización. Habló sobre todo de estos productos: RAC, Rac One Node, Dataguard y Golden Gate.
  • Auditoría y protección contra accesos indebidos a los datos. David Núñez Escobedo, Enterprise Architect Security Specialist de Oracle, nos presentó los productos Oracle relacionados con la seguridad de los datos desde tres perspectivas: prevención, monitorización y administración. Entre otros, habló de estos productos: Database Vault, Advanced Security Option, Datamasking, Audit Vault y Enterprise Manager.
  • Evaluación de seguridad en Base de Datos Oracle. Daniel Godoy, Consultor de Seguridad de avanttic, explicó las evaluaciones de seguridad (assessments) que realizamos Habló tanto de la que va dirigida a la seguridad de los datos (el “contenido”: confidencialidad e integridad) como la que va dirigida a la seguridad de la base de datos (el “continente”: disponibilidad y continuidad). El resultado de estas evaluaciones de seguridad es un informe en el que se presentan las debilidades y vulnerabilidades detectadas, y se plantean recomendaciones y un plan de acción.

Contacta con nosotros si deseas más información sobre los temas tratados en estas sesiones.

Ajuntament de Girona: Disaster Recovery de sus BBDD Oracle con GoldenGate

junio 16, 2014 1 comentario

caso_exito_ajgirona_v3

El Ajuntament de Girona necesitaba asegurar la continuidad del negocio y una rápida recuperación de datos ante posibles desastres, a través de la replicación de su centro de datos a un segundo CPD. La plataforma está formada por 150 servidores y 100 TB de información.

Con el proyecto de Disaster Recovery (DR) se han cubierto los servicios críticos alojados en la plataforma VMware, en la base de datos Oracle y en la infraestructura CFIS. Este proyecto forma parte de un proceso de modernización de su infraestructura IT.

Los objetivos principales del proyecto eran la réplica del centro de datos, automatizando la transmisión de información para asegurar la recuperación, la alta disponibilidad, para garantizar la seguridad y accesibilidad de los datos replicados, y minimizar al máximo tanto el RPO (Recovery Point Objective: cantidad máxima de información que se puede llegar a perder, medida en tiempo anterior al desastre) como el RTO (Recovery Time Objective: tiempo máximo pactado para realizar la restauración del servicio).

El Ajuntament de Girona confió en avanttic para la implementación de Oracle GoldenGate:

Decidimos otorgar a avanttic Consultoría Tecnológica este proyecto dada su especialización en las soluciones de Oracle. El grupo implementó la solución GoldenGate de Oracle de forma eficiente y, ahora, gracias a Oracle, tenemos la solución de recuperación ante desastres que necesitamos.

Jacint Paredes, IT manager del Ajuntament de Girona

Lee los detalles del proyecto en la sección Oracle Customers de la web de Oracle (formato html).

Evento: Soluciones Oracle para proteger la información de su organización (Barcelona, 19 junio)

20140619 avanttic Oracle Seguridad BBDD BCN

Proteja tanto sus bases de datos ORACLE como la información que contienen

Después del éxito conseguido en el evento celebrado el pasado mes de abril en Madrid, Oracle y avanttic le invitan a este evento en Barcelona, el 19 de junio, sobre seguridad de la base de datos, en el que podrá conocer las soluciones Oracle que le permitirán proteger la información de su organización.

Abordaremos la problemática desde 2 perspectivas:

  • Seguridad de la propia base de datos:  Revisaremos las soluciones que permiten dotar de alta disponibilidad y contingencia a Oracle Database: RAC, RAC One Node, Extended Distance Clusters, Dataguard, Active Dataguard y GoldenGate.
  • Seguridad de la información alojada en la base de datos: Posicionaremos las soluciones que evitan que personas no autorizadas accedan a la información (Database Vault, Advanced Security Option y DataMasking) y mostraremos cómo Audit Vault permite auditar las acciones realizadas.

En este evento conocerá los productos de seguridad disponibles, cuál aplica a cada problemática, y las claves para implantarlos en su organización con un impacto mínimo.

Agenda:

09.00 Registro e inscripción
09.20 Bienvenida
09.30 Alta disponibilidad y contingencia para Oracle Database
10.20 Auditoría y protección contra accesos indebidos a los datos
11.10 Evaluación de seguridad en Base de Datos Oracle
11.30 Café

Calendario:

Barcelona
jueves, 19 de Junio 2014
Oficinas Oracle Barcelona
Avda. Diagonal, 615, 8ª Plta

Si desea obtener más información o desea inscribirse a este evento, por favor indíquenoslo a través de este e-mail Mónica Esteve o llamando al teléfono 618 907 428