Es muy importante considerar que DataWarehousing es un proceso, no un producto, porque esta confusión será el comienzo de un fracaso a corto o mediano plazo.-
Este White Paper tiene como objetivo explicar cual es el "Area Crítica" de la implementación, mantenimiento y mejoramiento contínuo, y al mismo tiempo ayudarlo con una metodología adecuada a encontrar un punto de equilibrio entre la respuesta rápida a los Usuarios y una implementación ordenada y exitosa de un proceso de DataWarehousing.-
Es imprescindible encontrar ese equilibrio y para esto es necesario comprender la complejidad del entorno de DataWarehousing y aplicar una metodología de trabajo que garantice el éxito de la implementación .-
DataWarehousing y su entorno total de implementación.
DSE - Data Storage Environment.
La comprensión de la complejidad e importancia de los procesos que ocurren en el DSE es el primer paso y el principal para implementar y mantener un DataWarehouse.-
Según Inmon (creador del término DataWarehouse) el 80% del esfuerzo y la inversión para implementar y mantener un proceso de DataWarehousing se realiza sobre el DSE.-
Como muestra el gráfico anterior los datos que alimentarán el DataWarehouse deben ser extraídos de diversas y múltiples fuentes que fueron procesadas o no en la empresa.-
Ej.: Diferentes Host y RDBMS, Archivos VSAM, , el mismo dato en diferentes formato o en diferentes unidad de medida, de fuentes externas como Consultoras de Marketing, Encuestadoras, Proveedores, Internet/Intranet , etc.-
Estos datos deben ser extraídos y transportados hacia el DataWarehouse consistentes, remapeados, integrados, limpios, sincronizados, con sus reglas de negocios definidas y sumarizados cuando sea necesario.-
Desde el DataWarehouse deben ser puestos a disposición de los usuarios o preferentemente distribuidos entre los mismos.-
Luego de implementado el proyecto, los Usuarios (Decision Markers de Marketing, Finanzas, Producción, Presupuestación….) irán adquiriendo conocimientos acerca de la explotación de la información en el DataWarehouse y habrá que proveerlos de la Herramientas de Análisis, Reporting, DataSets para DataMining o Datamarts adecuados a sus necesidades.-
No todos los usuarios necesitan OLAP y tal vez unos pocos DataMining y a otros les basta con Excel y tablas dinámicas.-
Todo estos cambios dinámicos deberán preverse en DSE para que un DataWarehouse sea explotado al máximo de sus posibilidades.-
Es muy importante conocer el porque un DataWarehouse tiene que estar preparado para crecer permanentemente por agregados, para absorber con transparencia los cambios en datos fuentes o nuevos requerimientos de los Usuarios.-
En general las tecnologías aplicadas a DataWarehousing están poco difundidas y en constante evolución y es frecuente que la presión de los usuarios o la confusión lleve a analizar la implementación del proceso de DataWarehousing a través de las excelentes y atractivas Herramientas de Reporting , Análisis Olap, DSS, DataMining o desde un DataMart y sus Plantillas.-
Los dos motivos por el cual siempre se deberán revisar los procesos de alimentación de un DataWarehouse son:
- Las frecuentes actualizaciones tecnológicas o mantenimiento de aplicaciones OLTP, reingeniería, etc..
En consecuencia cambian las fuentes de datos(formatos , Unidad de Medida, ...) y estos cambios deben reflejarse en el DW e integrarlos a los datos anteriores.
Esto ocurrirá aun cuando se este trabajando sobre un ambiente OLTP estabilizado y hayamos realizado un excelente relevamiento de las necesidades.
Según el mismo Inmon, si Ud. esta pensando mejorar su modelo de datos transaccional(OLTP) para evitar o minimizar la fase DSE Ud. nunca tendrá un DataWarehouse. - Las presiones de los Usuarios y/o Decision Makers de la empresa. El proceso en si mismo de DataWarehousing permite a los Usuarios descubrir una independencia de IS impensada.- Además estos deben tener una visión integral de los datos que pueden explotar.
- Los productos de Reporting OLAP, DSS o Data Mining producen a los Decision Makers un cambio de percepción exigiendo cada vez mas y mejor información que seguramente no fueron solicitadas en su momento ni por ellos mismos.
DSE - Administración y automatización del ambiente.
En la figura superior se hace notar como se incrementan los costo de mantenimiento de un DataWarehouse a través del tiempo si no se automatiza y se administra el DSE.
Es obvio que si no se cuenta con las herramientas apropiadas y no se automatizan los procesos de mantenimiento, los costos de Análisis, Programación, Administración de Base de Datos, etc. crecerán indefinidamente a medida que evolucione el DataWarehouse.
Se debe ejercer en DSE un estricto control sobre el dato y sus procesos con una administración dinámica y flexible.-
Para seleccionar las herramientas y automatizar los procesos del DSE se debe tener en cuenta que:
- Los registros de un DataWarehouse no se actualizan.
- El volumen de información crece constantemente por agregación de registros.
- Incorporación o cambios continuos en los datos fuentes.
- Debe alertar sobre cambios no previstos o no informados en datos fuentes.
- Es un proceso Batch pero debe prever procesos por excepción.
- Debe preveer procesos que contemplen el análisis de Granularidad vs. Volumen.
- Debe Implementarse con tecnología Abierta y Relacional (RDBMS)
- Escalable (Muy importante por el crecimiento continuo de la información).
- De fácil acceso, Flexible.
- Con capacidad de Distribución Herramientas y Función del Usuario.
- Poder agregar rápidamente mas dimensiones en DataMart (Rolap/Molap).
- Ejecutar procesos de DataMining sin inconvenientes en los DataSets adecuados.
- Asegurar la calidad del dato.
- No interferir los procesos transaccionales.
Estas son las características principales que debe contemplar una Metodología para hacer del DataWarehousing un suceso permanente en su empresa y que este proceso sea de costo accesible e inversamente proporcional al beneficio que brinde:
- Diseño especifico para DataWarehousing.
- Comienzo con una fase Piloto, con el Usuario "Clave" y con un grupo de Trabajo con apoyo Gerencial. (Esta fase debe ser de inmediata implementación, no debe generar expectativas desmesuradas pero debe ser eficaz para poder publicitar la propagación y motivar a los próximos usuarios y diseñar e implementar la administración del DSE al mismo tiempo).
- Administración desde Meta Data Dictionary.
- Diseño Olap (Rolap/Molap) para DataMart.
- Transferencia de conocimientos.
- Mejoramiento continuo.
- Estricto control del cronograma de trabajo.
