Características y principios de la arquitectura de datos

En tecnología de la información, la arquitectura de datos se compone de modelos, políticas, reglas o normas que rigen qué datos se recogen y cómo se almacenan, organizan, integran y utilizan en los sistemas de datos y en las organizaciones. Los datos suelen ser uno de los varios dominios de la arquitectura que forman los pilares de una arquitectura empresarial o de soluciones.

Responsabilidades de un arquitecto de datos

Al igual que un arquitecto convencional que diseña casas o edificios, un arquitecto de datos crea un plano de un entorno de datos que se alinea con los objetivos a corto y largo plazo de una organización y sus requisitos culturales y contextuales únicos.

El arquitecto de datos suele ser responsable de definir el estado objetivo, alinearlo durante el desarrollo y luego hacer un seguimiento para garantizar que las mejoras se realicen con el espíritu del proyecto original.

Durante la definición del estado objetivo, el arquitecto de datos desglosa un tema hasta un nivel atómico y luego lo reconstruye hasta la forma deseada. El arquitecto de datos descompone el tema pasando por tres procesos arquitectónicos tradicionales:

1. Conceptual: representa todas las entidades empresariales.
2. Lógica – representa la lógica de cómo se relacionan las entidades.
3. Físico – la realización de los mecanismos de datos para un tipo específico de funcionalidad.

¿Qué es la arquitectura de datos?

La arquitectura de datos define un conjunto estándar de productos y herramientas que una organización utiliza para gestionar los datos. Pero es mucho más que eso. Una arquitectura de datos define los procesos de captura, transformación y entrega de datos utilizables a los usuarios de la empresa. Y lo que es más importante, identifica a las personas que van a consumir esos datos y sus requisitos únicos. Una buena arquitectura de datos fluye de derecha a izquierda: de los consumidores de datos a las fuentes de datos.

Una arquitectura de datos debe establecer estándares de datos para todos sus sistemas de datos como una visión o un modelo de las eventuales interacciones entre esos sistemas de datos. La integración de datos, por ejemplo, debería depender de los estándares de la arquitectura de datos, ya que la integración de datos requiere interacciones de datos entre dos o más sistemas de datos. Una arquitectura de datos describe las estructuras de datos utilizadas por una empresa y su software de aplicaciones informáticas. La arquitectura de datos aborda los datos almacenados, los datos en uso y los datos en movimiento; las descripciones de los almacenes de datos, los grupos de datos y los elementos de datos; y las asignaciones de esos artefactos de datos a las calidades de datos, las aplicaciones, las ubicaciones, etc. Proporciona criterios para las operaciones de procesamiento de datos que permiten diseñar flujos de datos y también controlar el flujo de datos en el sistema.

Es el proceso de estandarización de cómo las organizaciones recogen, almacenan, transforman, distribuyen y utilizan los datos. El objetivo es ofrecer datos relevantes a las personas que los necesitan, cuando los necesitan, y ayudarles a darles sentido.

La arquitectura de datos describe la estructura de los activos de datos lógicos y físicos de una organización y los recursos de gestión de datos. El objetivo de la arquitectura de datos es traducir las necesidades de la empresa en requisitos de datos y sistemas y gestionar los datos y su flujo en la empresa.

Componentes de arquitectura de datos

La arquitectura de datos puede sintetizarse en tres componentes generales:

• Resultados de arquitectura de datos. Son los modelos, las definiciones y los flujos de datos que suelen denominarse artefactos de arquitectura de datos.
• Actividades de arquitectura de datos. Son las formas, despliegues y cumplimientos de las intenciones de la arquitectura de datos.
• Comportamientos de arquitectura de datos. Son las colaboraciones, mentalidades y habilidades de los distintos roles que afectan a la arquitectura de datos de una empresa.

Características de arquitectura de datos

La arquitectura de datos se construye en torno a ciertas características:

• Automatización
  La automatización elimina la fricción que hacía que los sistemas de datos heredados fueran tediosos de configurar. Los procesos que tardaban meses en construirse ahora pueden completarse en horas o días utilizando herramientas basadas en la nube. Si un usuario quiere acceder a diferentes datos, la automatización permite al arquitecto diseñar rápidamente una canalización para entregarlos. A medida que se obtienen nuevos datos, los arquitectos de datos pueden integrarlos rápidamente en la arquitectura. Y para crear una arquitectura adaptable en la que los datos fluyan continuamente, los arquitectos de datos lo automatizan todo.
• Seguridad
  La seguridad está integrada en la arquitectura de datos moderna, lo que garantiza que los datos estén disponibles en función de la necesidad de conocimiento definida por la empresa. Una buena arquitectura de datos también reconoce las amenazas existentes y emergentes para la seguridad de los datos, y garantiza el cumplimiento normativo de la legislación como HIPAA y GDPR.
• Orientación al usuario
  En el pasado, los datos eran estáticos y el acceso era limitado. Los responsables de la toma de decisiones no obtenían necesariamente lo que querían o necesitaban, sino lo que estaba disponible. En la arquitectura de datos moderna, los usuarios de la empresa pueden definir con confianza los requisitos, ya que los arquitectos de datos pueden agrupar los datos y crear soluciones para acceder a ellos de forma que cumplan los objetivos empresariales. Una buena arquitectura de datos evoluciona continuamente para satisfacer las nuevas y cambiantes necesidades de información de los clientes.
• Resiliente
  Cualquier arquitectura de datos debe ser resiliente, con alta disponibilidad, recuperación de desastres y capacidades de copia de seguridad/restauración.
• Canalizaciones de datos escalables
  Para aprovechar las tecnologías emergentes, las arquitecturas de datos admiten el flujo de datos en tiempo real y las ráfagas de datos en microlotes.
• Colaboración
  Una arquitectura de datos eficaz se basa en estructuras de datos que fomentan la colaboración. Una buena arquitectura de datos elimina los silos combinando los datos de todas las partes de la organización, junto con las fuentes externas que sean necesarias, en un solo lugar para eliminar las versiones competitivas de los mismos datos. En este entorno, los datos no se intercambian entre las unidades de negocio ni se acumulan, sino que se consideran un activo compartido por toda la empresa.
• Impulsada por la IA
  La arquitectura de datos utiliza el aprendizaje automático y la inteligencia artificial para construir los objetos de datos, las tablas, las vistas y los modelos que mantienen el flujo de datos. La arquitectura de datos inteligente lleva la automatización a un nuevo nivel, utilizando el aprendizaje automático (ML) y la inteligencia artificial (AI) para ajustar, alertar y recomendar soluciones a las nuevas condiciones. El ML y la IA pueden identificar los tipos de datos, identificar y corregir los errores de calidad de los datos, crear estructuras para los datos entrantes, identificar las relaciones para obtener nuevos conocimientos y recomendar conjuntos de datos y análisis relacionados.
• Elasticidad
  La elasticidad permite a las empresas ampliar o reducir la escala según sea necesario. La nube permite la escalabilidad bajo demanda de forma rápida y asequible. La elasticidad permite a los administradores centrarse en la resolución de problemas. Las arquitecturas elásticas liberan a los administradores de tener que calibrar la capacidad con exactitud, estrangular el uso si es necesario y comprar hardware en exceso sin cesar. La elasticidad también da lugar a muchos tipos de aplicaciones y casos de uso, como entornos de desarrollo y prueba bajo demanda, cajas de arena analíticas y zonas de juego para la creación de prototipos.
• Simplicidad
  La simplicidad supera a la complejidad en una arquitectura de datos eficiente. Esfuérzate por lograr la simplicidad en el movimiento de datos, las plataformas de datos, los marcos de montaje de datos y las plataformas analíticas. La arquitectura más sencilla es la mejor arquitectura. Para reducir la complejidad, las organizaciones deben esforzarse por limitar el movimiento y la duplicación de datos y abogar por una plataforma de base de datos, un marco de ensamblaje de datos y una plataforma analítica uniformes, a pesar de los aullidos de los defensores del «mejor de la clase».
• Adaptable
  Una arquitectura de datos moderna debe ser lo suficientemente flexible como para soportar una multiplicidad de necesidades empresariales. Tiene que soportar múltiples tipos de usuarios empresariales, operaciones de carga y tasas de actualización, operaciones de consulta, despliegues, motores de procesamiento de datos y pipelines.
• Gobernanza
  La gobernanza es la clave del autoservicio. Una arquitectura de datos moderna define puntos de acceso para que cada tipo de usuario pueda satisfacer sus necesidades de información. Los científicos de datos deben tener acceso a los datos brutos en el área de aterrizaje o, mejor aún, a un sandbox construido a propósito donde puedan mezclar datos corporativos brutos con sus propios datos.
• Nube nativa
  Las arquitecturas de datos modernas están diseñadas para soportar el escalado elástico, la alta disponibilidad, la seguridad de extremo a extremo para los datos en movimiento y los datos en reposo, y la escalabilidad de costes y rendimiento.
• Integración de datos sin fisuras
  Las arquitecturas de datos se integran con las aplicaciones heredadas mediante interfaces API estándar. Están optimizadas para compartir datos entre sistemas, geografías y organizaciones.
• Habilitación de datos en tiempo real
  Las arquitecturas de datos modernas admiten la capacidad de desplegar la validación, la clasificación, la gestión y el gobierno de los datos de forma automatizada y activa.
• Desacopladas y extensibles
  Las arquitecturas de datos modernas están diseñadas para que estén poco acopladas, permitiendo que los servicios realicen tareas mínimas independientes de otros servicios.

Principios de la arquitectura de datos

Según Joshua Klahr, vicepresidente de @AtScale, hay seis principios que forman la base de la arquitectura de datos moderna:

1. Los datos son un activo compartido. Una arquitectura de datos moderna debe eliminar los silos de datos departamentales y ofrecer a todas las partes interesadas una visión completa de la empresa.
2. Los usuarios necesitan un acceso adecuado a los datos. Las arquitecturas de datos modernas deben ofrecer interfaces que faciliten a los usuarios el consumo de datos mediante herramientas adecuadas a su trabajo.
3. La seguridad es esencial. Las arquitecturas de datos modernas deben estar diseñadas para la seguridad y deben soportar políticas de datos y controles de acceso directamente en los datos brutos.
4. Los vocabularios comunes garantizan una comprensión común. Los activos de datos compartidos, como los catálogos de productos, las dimensiones del calendario fiscal y las definiciones de los KPI, requieren un vocabulario común para ayudar a evitar disputas durante el análisis.
5. Los datos deben ser rehabilitados. Invertir en funciones básicas que realicen el cuidado de datos.
6. Los flujos de datos deben ser optimizados para la agilidad. Reduzca el número de veces que los datos deben ser movidos para reducir el coste, aumentar la frescura de los datos y optimizar la agilidad de la empresa.

Si tienes un proyecto de arquitectura de datos y necesitas ayuda, háznoslo saber, ¡somos expertos en arquitectura de datos!