avanttic blog

La rapidez (o lentitud) de un sistema de Business Intelligence está condicionada por diversos factores entre los que destacan el hardware disponible, el volumen de datos a analizar y el correcto diseño del data.
Supongamos (y no es poco) que hayamos conseguido la configuración óptima (!!!) de estos factores acorde a nuestro presupuesto, pero que aún así, el rendimiento del sistema no es satisfactorio.
¿Significa esto que hemos agotado nuestras posibilidades y que ha fracasado nuestro proyecto de Business Intelligence?
No. Cuando no es posible mover los datos más rápido, la mejora del rendimiento de un sistema pasa por mover menos datos.

Para reducir el tiempo de acceso a los datos, introduciremos una optimización de diseño: la creación de tablas agregadas (tablas que resumen los datos de las tablas de hechos de un datawarehouse/datamart con menor nivel de detalle, por lo que tienen menor volumen). Aunque mínimamente, estas tablas deberán ser consideradas y mantenidas tanto en las herramientas de diseño, como en la documentación y el desarrollo de los procesos de ETL, etc.

Para que este esfuerzo adicional resulte en una optimización efectiva del sistema de BI, es preciso que éste sea lo suficientemente inteligente como para que, basándose únicamente en los hechos, métricas y agregaciones utilizados por cualquier análisis, sepa escoger de manera totalmente automática y transparente al usuario, el conjunto de tablas que pueda responder de manera más eficiente a la petición.  En cualquier otro caso, habrá que dar formación y soporte a los usuarios para transmitirles el conocimiento necesario sobre el modelo de datos para que sepan escoger las tablas agregadas más adecuadas a cada análisis que pretendan realizar, compromentiendo la viabilidad de la mejora.

La tecnología Oracle puede ayudarnos en la realización de la mayoría de tareas relacionadas con la construcción, mantenimiento y utilización de tablas agregadas; desde la identificación de las consultas más habituales (propósito para la que dispone de varias herramientas), pasando por los agregados que conviene crear, la sintaxis para la creación de las vistas materializadas que hayamos decidido, hasta llegar a asumir la compleja y delicada responsabilidad de elegir las tablas agregadas que pueden responder de manera más eficientemente a las consultas de análisis de los usuarios.
Vamos a centrarnos en los diferentes mecanismos que Oracle pone a nuestra disposición para sacar provecho de la agregación como recurso para acelerar la ejecución de consultas:

Agregar (durante el ETL)

Aunque sería un paso previo a la situación descrita hasta el momento, las herramientas ETL de Oracle como Data Integrator, nos pueden ayudar a agregar los datos que van a poblar el data, siempre conservando una granularidad ajustada a las necesidades de la organización, pero con menor nivel de detalle que en el sistema origen (podríamos por ejemplo, resumir todos los pedidos diarios de un cliente y un producto en el sistema transaccional, como un único registro en el data).

Leer más…