Cómo modernizar el parque de TI para convertirse en una organización basada en datos

Los líderes empresariales de todo el mundo reconocen el valor de convertirse en una organización basada en datos, y muchas empresas han comenzado a implementar casos de uso específicos de IA y analítica avanzada. De ello hablan Henning Soller y Asin Tavakoli, de McKinsey & Company, en el informe “Modernizing the IT estate to become a data-driven organization”.

Los líderes empresariales de todo el mundo reconocen el valor de convertirse en una organización basada en datos, y muchas compañías han empezado a implementar casos de uso específicos de inteligencia artificial y analítica avanzada. Líderes tecnológicos como el CIO o el CTO hacen frente a retos que permiten que sus sistemas heredados actuales respalden los nuevos requerimientos, como el análisis a gran escala.
Los directivos que buscan expandir sus esfuerzos de analítica avanzada han estado enfrascados en largos debates sobre la arquitectura de TI adecuada. Sin embargo, estas conversaciones en realidad pasan por alto el objetivo y pueden ser fácilmente evitables. La solución es una arquitectura de referencia que modernice lo mejor de los sistemas heredados y reemplace radicalmente el resto, que se centran específicamente en las costosas bases de datos heredadas y el acceso engorroso.

Las arquitecturas de datos han ido tomando forma con el tiempo
En la mayoría de las empresas, la arquitectura de datos ha ido creciendo a lo largo de los años. Los sistemas heredados pueden clasificarse en tres grandes horizontes:

• Horizonte 1: sistemas transaccionales creados cuando la empresa empezaba a utilizar ordenadores y se centraban en procesos centrales como la planificación de recursos empresariales (ERP) y la contabilidad.
• Horizonte 2: almacenes de datos implementados para proporcionar una interfaz mucho más adecuada para los requerimientos analíticos y regulatorios que abarcaban toda la empresa.
• Horizonte 3: plataformas introducidas recientemente, como sistemas de gestión de datos maestros, sistemas de gestión de relaciones con los clientes (CRM) y lagos de datos, desarrollados para quitarle parte de la carga al almacén de datos tradicional y atender casos de uso específicos.

Dado que estos sistemas se han ido añadiendo gradualmente para gestionar la creciente demanda empresarial, su escalabilidad y flexibilidad en muchos casos son insuficientes. Por ejemplo, muchos de los almacenes de datos tradicionales no podían hacer frente a las nuevas exigencias del big data.
Esta dinámica no significa necesariamente que los sistemas que se han ido incorporando con el paso del tiempo deban ser desmantelados por completo. Más bien, el truco consiste en componerlos y estructurarlos para recuperar la capacidad de escalar e integrar de manera flexible plataformas adicionales (por ejemplo, agregando un lago de datos al antiguo almacén de datos para gestionar las nuevas demandas).

Arquitectura de datos de referencia
McKinsey & Company ha trabajado con multitud de clientes en sus transformaciones de TI. Basándose en esta experiencia de primera mano, ha sintetizado elementos clave de las mejores arquitecturas de datos para facilitar que los casos de uso tradicionales sean más rentables y para admitir nuevos casos de uso de manera flexible. Curiosamente, esta arquitectura de datos de referencia (tanto sus elementos como su estructura) es relevante en todas las industrias pese a haber una multitud de casos de uso diferentes.
La arquitectura de datos de referencia se basa en tres pilares que se asientan sobre una capa de ingesta de datos fundamental:

• Almacén de datos clásico: Este pilar permite la generación de informes predecibles y de alta importancia, como informes financieros y de cumplimiento normativo.
• Lago de datos: Los lagos de datos son ideales para necesidades de generación de informes menos estrictas, así como para casos de uso de analítica avanzada que requieran procesamiento de datos a gran escala.
• Transmisión en tiempo real: Este pilar permite la generación de casos de uso en tiempo real, así como análisis basados en reglas.

Las bases de datos transaccionales que dan servicio a los pilares están conectadas directamente (streaming / transmisión) o a través del lago de datos.
La ventaja de una arquitectura de datos de referencia es que permite a las empresas concentrarse en conectar los tres pilares, en lugar de emprender nuevas implementaciones masivas. De manera similar, los pilares de la arquitectura y su uso son sencillos y, por lo general, no requieren una inversión inicial masiva.
Se puede lograr una mayor escalabilidad mediante la abstracción de la capa de infraestructura. Esta acción se puede lograr mediante el uso de contenedores específicamente para los sistemas de origen subyacentes o para ciertas partes del lago de datos. Por el contrario, el almacén de datos y el lago de datos completo normalmente serán demasiado grandes para permitir un escalado automático simple. En tales casos, las soluciones basadas en la nube y las soluciones de bases de datos patentadas correspondientes pueden proporcionar buenas alternativas, incluso si se basan en SQL tradicional.

Beneficios de la modernización de TI
Las organizaciones que adoptan una arquitectura de referencia pueden obtener múltiples beneficios. La arquitectura de datos puede ser más escalable y resiliente, adaptarse a casos de uso adicionales y resultar más rentable.
En concreto, las características clave incluyen la posibilidad de descargar el almacén de datos situando nuevos casos de uso en el lago de datos y realizando la carga inicial de datos dentro del lago de datos. De manera similar, el uso de soluciones de código abierto para la transmisión, por ejemplo, aumenta la resiliencia y reduce los costes. Lo mismo se aplica a los posibles reemplazos de las bases de datos SQL tradicionales basadas en proveedores y la llegada de bases de datos basadas en la nube y variantes de Hadoop para reemplazar los sistemas de archivo y almacenamiento a gran escala heredados.
Una empresa química que utiliza una arquitectura de datos de referencia pudo superar sus retos tradicionales de gestión de datos maestros con un presupuesto mucho menor y en menos tiempo al adoptar una nueva solución basada en un lago de datos. De manera similar, un banco empleó una nueva arquitectura de datos que le permitió reducir el tiempo necesario para implementar nuevos casos de uso de seis meses a seis semanas al introducir un conjunto completo de nuevas tecnologías y liberar el almacén de casos de uso para los que no estaba diseñado.