Soluciones BI en tiempo real sin utilizar un Data Mart

El reto para el éxito de estos sistemas recae en las organizaciones de TI, que tienen que hacer frente a la integración de múltiples fuentes de datos heterogéneas para proveer correctamente a las iniciativas de Business Intelligence o Data Mining. Esta tarea se convierte en un reto más difícil si se tiene en cuenta que los productos de BI, propietarios y open source, normalmente necesitan que la información existente esté replicada desde sus bases de datos originales hacia un Data Mart, utilizando un estilo particular para la definición de los esquemas de la base de datos. Por ejemplo, el análisis de datos multidimensionales normalmente necesita una transformación y replicación desde el esquema original a un esquema relacional basado en estrella. Para otro tipo de tareas de reporte más convencionales, normalmente el movimiento de los datos se realiza hacia un pequeño conjunto de tablas con muy pocas o ninguna relaciones pero con un número muy extenso de campos calculados.

Esta aproximación soluciona el problema de la consolidación de la información, pero añade nuevos inconvenientes: el coste adicional de los sistemas y las licencias de bases de datos para soportar estas réplicas, la limitación de los informes únicamente a datos pre-establecidos (no en tiempo real), y creando una serie de estructuras estáticas que requieren un mantenimiento continuo. En el momento que el consumidor necesite que los datos que se encuentran en las bases de datos de reporte o en los Datawarehouses sean reformateados, reorganizados, o se combinen con un nuevo canal de información, será necesario un rediseño de las estructuras que soportan los sistemas actuales de reporte y BI. Finalmente, el incremento del número de bases de datos y Datawarehouses únicamente aumenta el problema del “silo” de información, haciendo que los esfuerzos de integración en el futuro sean mucho más difíciles.

Data Mart virtual

Mediante la plataforma JBoss Enterprise Data Services Platform (basada en la tecnología Enterprise Information Integration – EII- de Metamatrix adquirida por Red Hat en Abril de 2007), puede construirse un Data Mart virtual. Utilizando un interfaz de usuario gráfico, puede definirse el esquema virtual al que tendrá acceso el producto de BI así como las reglas para traducir la información de los esquemas existentes al nuevo esquema virtual. En esencia, ésta es la misma tarea que se realizaría con un producto de ETL para definir como se tendría que estructurar el Data Mart. La diferencia está en que, una vez que la configuración está definida, no existe ningún proceso nocturno de replicación masiva de la información hacia al Data Mart. Las reglas de transformación son usadas en su lugar para traducir “on-the-fly” cualquier consulta realizada al esquema virtual del Data Mart, en una consulta optimizada con las fuentes de datos existentes cuyos resultados se mostrarán según la estructura definida del Data Mart virtual. Este proceso se lleva a cabo en tan solo una fracción de segundo, permitiendo eliminar la necesidad de diseñar un DataMart físico que requiere un proceso de carga nocturna y aumenta la complejidad y el ciclo de implementación de la solución.

La plataforma JBoss Enterprise Data Services Platform utiliza tecnología de modelado de información basada en estándares para integrar información indistintamente de su fuente nativa o su formato, creando vistas virtuales de la información integrada. Desde el punto de vista de las aplicaciones, estas vistas aparecerán como bases de datos relacionales virtuales, documentos XML o Web Services.

Este enfoque dirigido por el modelo de datos permite a las organizaciones reducir sus inversiones de TI además de proporcionar una alternativa más rápida y eficiente para el desarrollo de sus aplicaciones, apostando por la flexibilidad y la reutilización de los sistemas existentes y reduciendo el mantenimiento de estas soluciones en comparación con las alternativas tradicionales.

Caso práctico: Solución completa de BI en tiempo real con Red Hat y JasperSoft

Como ejemplo práctico, una gran compañía del sector sanitario necesitaba tener la capacidad de acceder a informes en tiempo real sobre las tasas de utilización de hospitales, referencias de rentabilidad de los sistemas software sanitarios, horas de proyecto facturables, el estado actual de los proyectos clave, así como los indicadores de nivel de servicio que podrían incurrir en costes extras por su incumplimiento. Esta organización quería ser capaz de acceder a esta información de manera uniforme, a través de un conjunto de métodos comunes mediante un formato común. Desafortunadamente, los datos se encontraban en un océano de hojas Excel, bases de datos Access, extracciones de los sistemas operacionales así como en diferentes bases de datos relacionales de reporte.

La compañía decidió utilizar la plataforma JBoss Enterprise Data Services Platform de Red Hat para crear vistas virtuales de todas las fuentes de datos heterogéneas y servir los datos en tiempo real como si fueran originados desde una fuente de datos homogénea. Para ello se crearon un conjunto de vistas integradas que podrían ser accesibles por sus herramientas de BI mediante múltiples vías: JDBC, ODBC/.NET, y a través de Web Services en tiempo real sin necesidad de mover o copiar los datos entre las fuentes de datos originales.

Para su capa de BI, se eligieron las soluciones JasperServer y JasperAnalysis de JasperSoft que proporcionan las herramientas de diseño de informes y de capacidades analíticas avanzadas. No fue necesario el diseño de nuevos Data Marts. En su lugar, las herramientas de Jasper simplemente se conectaron a la JBoss Enterprise Data Services Platform como si fuese una base de datos estándar tal y como se muestra en el esquema de la Figura 1. Las consultas se realizaron directamente sobre la plataforma, donde se transformaron y optimizaron en consultas originales que se enviaron en paralelo a cada una de las fuentes de información.

Figura 1.

Solución BI open source con JasperSoft y Red Hat.

Como resultado de la utilización de estas dos tecnologías open source líderes en la industria, se ha sido capaz de ganar una visión operacional más precisa que permite anticipar aspectos de los beneficios de su actividad de negocio (incluyendo la dimensión de tiempo real en los compromisos de los indicadores de nivel de servicio), así como aumentar drásticamente la velocidad con la que son capaces de integrar aplicaciones de terceros dentro de los sistemas de gestión de su negocio.

JBoss Enterprise Data Services Platform

La plataforma JBoss Enterprise Data Services Platform de Red Hat es la única solución que combina la habilidad de acceder y gestionar todos los modelos de información de una organización en una plataforma centralizada. La plataforma proporciona una capa de información flexible y segura orientada a la construcción de arquitecturas orientadas a servicios y al desarrollo de aplicaciones. Con los Servicios de Datos las organizaciones pueden incrementar la agilidad de modelar y ofrecer la información de su actividad en función del contexto en el que se necesita.

JBoss Enterprise Data Services Platform permite a las organizaciones:

– Reducir tiempo y coste en las fases de desarrollo, integración y mantenimiento permitiendo cubrir rápidamente el hueco existente entre el conjunto de datos que se tienen y los datos que se necesitan.

– Crear rápidamente servicios de datos dirigidos a un rango de requerimientos reutilizables entre múltiples proyectos.

– Desacoplar aplicaciones de su capa física de datos para facilitar sus fases de desarrollo y mantenimiento.

– Ofrecer una solución que permita enlazar las diferencias semánticas y de vocabulario entre servicios de datos, nuevos requerimientos de proyectos así como nuevos estándares.

– Implementar el acceso, transformación, integración y agregación de datos sin programación.

– Desarrollar sistemas que proporcionen integración de datos consistente y en tiempo real en entornos de misión crítica.

– Gestionar los servicios de datos y sus metadatos mediante un repositorio que permita su rápida incorporación y reutilización entre diferentes fuentes de datos físicas y virtuales.

La plataforma JBoss Enterprise Data Services Platform consiste en tres componentes tal y como se muestra en la Figura 2:

– MetaMatrix Designer, el entorno de modelado GUI basado en Eclipse.

– MetaMatrix Repository, el almacén de metadatos de los modelos físicos y virtuales.

– MetaMatrix Server, el entorno de ejecución para entornos críticos.

Figura 2.

Componentes JBoss Enterprise Data Services Platform.

Estas tres herramientas permiten a los usuarios modelar, almacenar, y gestionar metadatos para los sistemas de información empresariales. Una vez definidos los metadatos, estos se despliegan en un entorno de ejecución en el que previamente se han optimizado para un entorno de integración de alto rendimiento en tiempo real.

Utilizando la herramienta de Designer un usuario puede incorporar automáticamente a partir de conectores representaciones de los modelos físicos de los datos. A partir de los modelos físicos pueden crearse nuevos modelos que representen combinaciones, transformaciones, agregaciones entre modelos existentes creando una capa de abstracción que se convertirá en un servicio de datos.

Debido a su naturaleza abstracta, estos modelos a menudo se conocen como modelos virtuales, sin embargo desde un punto de vista técnico, para un usuario, un modelo virtual aparece como un modelo de datos físico que se encuentra accesible a través de MetaMatrix Server. MetaMatrix Designer permite definir mapeos entre diferentes modelos, incluyendo uniones, intersecciones, criterios de selección, procedimientos, funciones y transformaciones. En esta capa es dónde se definen los detalles de integración entre los datos, incluyendo las funciones de reconciliación de datos (nombres, atributos, tipos de datos).

Una vez los modelos y sus transformaciones son definidos en el repositorio, estos son desplegados en el servidor dónde pueden ser explotados bien mediante drivers JDBC, ODBC o mediante Web Services.

La herramienta de Designer muestra las ventajas de esta aproximación de integración basada en modelos dirigidos por metadatos. Por ejemplo, puede ser utilizado para definir mapeos desde modelos relacionales y otras fuentes en documentos XML estructurados en forma de Web Services.

En la Figura 3, el esquema XML representa un modelo de datos parcial que se ha importado para ser utilizado como plantilla para crear la respuesta de un Web Service. Los campos de datos son automáticamente mapeados con una clase del modelo virtual representadas en color naranja. Un nodo de transformación es asociado con cada una de las clases del modelo virtual y es el responsable de definir y la sintaxis y la semántica de la mediación necesaria para enlazar los campos de datos del modelo virtual con sus fuentes originales, representados en color azul. 

Figura 3.

Lucas Ponce, responsable de área de producto Middleware y SOA en EMEA de Red Hat.