Archivo

Posts Tagged ‘Oracle Data Integrator’

Oracle Big Data Appliance: introducción y características

Big Data ApplianceSiguiendo el hilo del post publicado en este mismo blog hace unos días, sobre los Oracle Engineered System en su versión X5-2, vamos a aprovechar para entrar un poco más en detalle en el Oracle Big Data Appliance (BDA), diseñado para ofrecer un óptimo rendimiento en proyectos Big Data.

Big Data Appliance es un sistema abierto pero con el soporte empresarial de Oracle, que puede ser ampliado con software de terceros que añadan nuevas funcionalidades (con el soporte específico de sus respectivos fabricantes). Orientado al proceso de datos con Hadoop y NoSQL, es capaz de realizar diversos tipos de trabajo, desde los típicos procesos Hadoop (MapReduce 2, Spark, Hive etc.) hasta consultas interactivas SQL con Oracle Big Data SQL. Big Data Appliance es multitenant, es decir, puede ser configurado como un cluster único, o como varios clusters, ofreciendo la flexibilidad necesaria para por ejemplo, disponer de entornos de desarrollo, test y producción.

Desde el punto de vista de mantenimiento del sistema, éste ha sido simplificado incorporando la utilidad (de línea de comandos) para la instalación, actualización, parcheado y expansión Mammoth, que permite desplegar rápidamente las frecuentes actualizaciones del sistema Hadoop sin incurrir en interrupciones de servicio significativas además de crear y/o extender clusters en un rack o entre racks diferentes.

El hardware se ofrece con un mínimo de 6 nodos (starter pack) ampliable de 6 en 6 (in-rack expansion) hasta un máximo de 18 (full rack). Cada nodo ofrece notables capacidades tanto de cálculo como de almacenamiento, siendo sus principales características:

  • 2 Procesadores x 18 Cores Intel ® Xeon ® E5-2699 V3 a 2.3 GHz
  • 128 GB de RAM (4 * 16 DDR4) ampliables a 768 GB por nodo
  • Controlador de disco HBA con 512MB cache de escritura (respaldada con batería)
  • 12 discos SAS de alta capacidad (4TB)  a 7,200 RPM
  • 2 Puertos Infiniband QDR (40Gb/s)
  • 4 Puertos Ethernet a  10 Gb
  • 1 Puerto ILOM Ethernet

con lo que un full rack podría alcanzar unas prestaciones de hasta

  • 288 Cores
  • 2.304 Gb de RAM (o 13.824 con todos los nodos ampliados a 768 Gb de RAM)
  • 864 Tb de disco

Además, los racks de Big Data appliance pueden conectarse entre ellos hasta un total de 18 sin necesidad de switches infiniband adicionales.

Leer más…

Webinar: Oracle Data Integrator 12c (25-02-2015)

febrero 9, 2015 Deja un comentario

20150225 avanttic Webinar ODI 12c-c

 Mueva y transforme sus datos (E-LT), localmente o hacia el cloud,

en sus proyectos de BI, Data Warehousing, Big Data y SOA

Oracle Data Integrator (ODI) es una herramienta de integración de datos capaz de satisfacer las necesidades más actuales y exigentes: paralelismo para grandes volúmenes de datos, alta disponibilidad, integración SOA o guiada por eventos, CDC (Change Data Capture) para near real-time DWH, integración mejorada con GoldenGate y conectores para Big Data.

Con una arquitectura abierta, potente y flexible, capaz de acceder a multitud de tecnologías origen/destino de datos y sus KM (Knowledge Modules) que abstraen la lógica del ELT de la capa física y una interface de usuario rediseñada, con enfoque basado en flujos para mejorar su productividad.

Si es Ud. usuario de Oracle Warehouse Builder (OWB), la convergencia de los siguientes factores le indica que es el momento apropiado para abordar la migración a ODI:

  • Finaliza el período de Extended Support para la versión terminal de OWB, la 11.2
  • En la versión 12c de ODI convergen finalmente las mejores características de OWB con las de ODI, que, tras adaptar su IDE, resultará más familiar a los desarrolladores habituados a OWB
  • Existe una herramienta para automatizar la migración de OWB a ODI, proporcionada por Oracle

avanttic - Esquema migracion ODI

Reserve su plaza y no pierda la oportunidad de asistir a este seminario Web organizado por Oracle y avanttic, que le permitirá conocer de manera cómoda, ágil e interactiva, las ventajas que le aportará trabajar con esta nueva herramienta de integración.

Miércoles 25 de febrero de 2015, 10:00 am – 11:00 am

Webinar: Oracle Data Integrator 12c

Joan MassegúConsultor y Técnico Preventa del Área de Business Analytics

Presentación técnica (45 slides)

Webinar grabado (66 minutos)

Revista Oracleando nº 3 (SPOUG, diciembre 2014)

enero 16, 2015 Deja un comentario

Portada Oracleando 3Se ha publicado el número 3 de la Revista Oracleando, editada por SPOUG – Spain Oracle Users Group.

avanttic  (socio institucional de SPOUG) ha colaborado en este número con publicidad (contraportada) sobre Evolucionar hacia BPM partiendo de una implantación SOA y con la publicación de un artículo sobre Migración de Oracle Warehouse Builder (OWB) a Oracle Data Integrator (ODI), en el que Joan Massegú (Consultor y Técnico Preventa del Área de Business Analytics de avanttic) explica que ahora es el momento oportuno para migrar y presenta la herramienta de migración de OWB a ODI que nos proporciona Oracle.

Este número además, cuenta con un monográfico sobre Aplicaciones (ERP, EPM, CX y HCM) e interesantes Casos de Uso de varias empresas importantes.

avanttic in the OPN Solutions Catalog

Oracle dispone de un catálogo en el que aparecen todos los partners que poseen especializaciones acreditadas en productos Oracle.

Se llama OPN Solutions Catalog y se puede buscar directamente por el nombre de un partner, por una especialización concreta, por un país, etc. Aquí tenéis el link para acceder (se requiere disponer de una cuenta de usuario Oracle).

Os dejamos un pantallazo de muestra, fruto de seleccionar la especialización en Oracle Data Integration 11g, que ya os anunciamos la semana pasada que avanttic ha sido el primer partner del mundo en conseguirla.

avtodi-11g

Descubre aquí las especializaciones que avanttic tiene actualmente acreditadas.

Categorías:avanttic Etiquetas: , , ,

avanttic primer partner mundial especializado en Oracle Data Integration 11g

avanttic  es el primer partner a nivel mundial que obtiene la especialización en Oracle Data Integration 11g.

ODI 11g

Esta nueva acreditación, junto a la previa en Oracle GoldenGate, confirma la apuesta de avanttic por el área de Oracle Data Integration Solutions.

También complementa y refuerza el área de Oracle Business Intelligence, en la que avanttic ya poseía las certificaciones en Oracle Business Intelligence Foundation 10 y Oracle Business Intelligence Foundation Suite 11g.

 

avanttic  ha conseguido 2 especializaciones adicionales:

avanttic OEM12c Linux6

Ambas corresponden a nuevas versiones de especializaciones que avanttic poseía previamente: Oracle Enterprise Manager 11c y Oracle Linux 5.

En este momento solamente existe otro partner en España certificado en la versión 12c de Oracle Enterprise Manager.

 

Con estas 3 nuevas acreditaciones avanttic alcanza 21 especializaciones y consolida su posición de referencia a nivel mundial como partner que ofrece exclusivamente servicios sobre toda la pila tecnológica de Oracle.

 

De Oracle Warehouse Builder (OWB) a Oracle Data Integrator (ODI)

odiHace tiempo que estaba anunciado y el roadmap de OWB y ODI lo dejaba claro: 11.2 es la versión terminal de Warehouse Builder, no habrá mejoras funcionales más allá de dicha versión (aunque su soporte está garantizado a lo largo de todo el ciclo de vida de la BD 11g) y estará certificado con la versión 12.1, pero no más allá del release 1.

A partir de la versión 12c de la BD ya no se incluye OWB en la instalación y para utilizarlo debe ser descargado de OTN e instalado adicionalmente.
¿Y ahora qué? ¿Qué alternativas tiene nuestra organización si cuenta con numerosos ETL desarrollados con OWB?

En realidad, la única opción viable es migrar a ODI, pero existen diversas maneras de realizar la transición:

  1. La más drástica: abandonar OWB y rediseñar todos los procesos ETL con ODI. La enunciamos como opción, pero sólo parece viable si nos encontramos en un estado bastante embrionario del proyecto ETL.
  2. Continuar ejecutando los paquetes ETL desarrollados con OWB desde ODI, ya que ODI 12c puede coordinar su ejecución. Esta característica nos abre la posibilidad de realizar los nuevos desarrollos con ODI y continuar ejecutando la funcionalidad existente mientras no requiera modificaciones, momento en el que sería necesario plantear su migración o rediseño. De esta manera ganamos el tiempo necesario para el aprendizaje y despliegue de ODI (si no lo hemos iniciado aún) y podemos realizar la transición paulatinamente (dentro del plazo establecido por el soporte a la BD 11g).
  3. Migrar los desarrollos existentes de OWB a ODI con la utilidad proporcionada por Oracle. Como en cualquier proceso de migración automatizada … será necesario un piloto con muestras significativas de las diferentes casuísticas de cada proyecto para verificar el % de cobertura sobre “nuestro estilo de desarrollo”. En síntesis, la idea es, a partir de un fichero de exportación de los metadatos de un proyecto OWB 11.2.0.4, mediante una utilidad de línea de comandos, se generen los objetos para ODI 12.1.2.0. Son necesarios determinados parches sobre las versiones indicadas de ambas herramientas, y la utilidad está disponible sólo sobre Linux-64. Además, si nuestro desarrollo no está en 11.2.0.4, deberemos subirlo primero hasta dicha versión.
  4. Migrar los desarrollos existentes de OWB a ODI mediante utilidades desarrolladas por terceros. Ciertamente no son muchas las alternativas y por diversos motivos no vamos a referenciarlas aquí, pero es una opción puesto que existe alguna herramienta.

Planteado el escenario, dedicaremos futuros posts a ilustrar brevemente cómo sería el proceso a seguir por nuestra organización si decidiéramos implementar alguna de las opciones (2. Ejecutar paquetes OWB desde ODI) o (3. Migrar los desarrollos OWB a ODI con la utilidad de Oracle), con el objetivo de ofrecer visibilidad suficiente sobre ambas opciones para facilitar la elección, si es que nos encontrásemos en la necesidad de tomarla.

Debug con Oracle Data Integrator 12c

odiEntre las novedades que más nos han llamado la atención de ODI 12c está la incorporación de la capacidad de debugar (añorada en alguna ocasión por los que hemos trabajado con OWB, que contaba con ella).

ODI 12c permite depurar la ejecución de los siguientes elementos: mappings, escenarios, procesos y paquetes, sobre el esquema (blueprint) de la sesión en ejecución.

Podemos tener varias sesiones en ejecución a la vez, pero “sólo” podremos depurar una de ellas (aunque podremos conectarnos a cualquier sesión en ejecución o reiniciar una finalizada), así como lanzar una nueva sesión de cualquiera de los objetos mencionados desde diferentes puntos de ODI Studio, y lógicamente, habrá algunas diferencias entre las opciones de cada uno de ellos (p.ej. dónde establecer un breakpoint).

La imagen a continuación corresponde a una captura de pantalla de la depuración de un sencillo mapping de carga de un fichero de texto en el filesystem a una tabla.

Pasos de depuración

Si nos fijamos en la barra de herramientas del depurador, encontraremos las funciones típicas (iniciar, ejecutar, ejecutar un paso, hasta el siguiente paso, hasta el final, … establecer breakpoint) que se irán activando y desactivando según el contexto y estado de la ejecución y que nos permitirán desplazarnos rápidamente y de manera visual hasta el paso que intuyamos conflictivo.

En la siguiente captura, un ejemplo de clicar el botón “Get Data”  Get Data que se habilita durante la ejecución de los pasos de acceso a datos y que recupera en la pestaña “Debug Data”, en la parte inferior, las sentencias SQL que ejecutará el paso (tanto en la fuente de datos origen como en la de destino), donde tendremos la posibilidad de editarlas y ejecutar el código modificado. De manera similar, podemos también inspeccionar los valores de las variables y los hilos en ejecución, en las otras pestañas.

Debug DataTambién es interesante saber que, además de iniciar sesiones de depuración en el propio Studio (sin agente), también podremos depurar sesiones sobre cualquiera de los agentes de nuestra topología al conectarnos a una sesión en ejecución.

Acabaremos el post con una pequeña reflexión: aunque es una buena noticia la incorporación del debug, no debemos descuidar el correcto diseño y validación de los procesos antes de abordar los proyectos de ETL, así como la ejecución del perfilado de datos (bien sea manualmente, bien sea mediante las opciones de Data Quality disponibles para Oracle Data Integrator).