En este artículo, me gustaría exponer como una solución de arquitectura híbrida de procesamiento analítico y transaccional (HTAP) es un ejemplo de cómo una infraestructura cloud de Azure puede ayudar a los proveedores energéticos que necesitan combinar datos de dispositivos con análisis para administrar redes eléctricas inteligentes en el ahorro de sus costos. Normalmente, para poder procesar transacciones, la mayoría de los sistemas actuales usan cargas de trabajo operativas con baja latencia y de gran volumen.
En este caso de análisis en concreto, las cargas de trabajo son de mayor latencia y de menor volumen, por lo que las arquitecturas HTAP ofrecen una solución óptima para ambos tipos de cargas de trabajo, ya que, mediante el uso de bases de datos en memoria, HTAP consolida las tecnologías para optimizar las consultas en grandes volúmenes de datos.
Para implementar este caso, nos basaremos en Azure SQL Database como núcleo de la solución HTAP. El enfoque consiste en dividir los datos en bases de datos distribuidas horizontalmente o particiones. Adicionalmente, emplearemos las siguientes soluciones para implementar el modelo:
- Azure Event Hubs para la ingesta de datos.
- Azure Stream Analytics para el procesamiento de datos.
- Azure Functions para la creación de particiones.
- Azure Blob Storage para el almacenamiento de eventos.
Una solución para el análisis y administración de redes eléctricas inteligentes
¿Cómo es el proceso?
1. Event Hubs se encarga de ingerir la telemetría desde las instalaciones locales (metering).
2. Blob Storage capturará los datos de Event Hubs y los almacenará para su análisis futuro.
3. Stream Analytics procesará los datos. En la ruta de acceso activa de la solución, Azure Cosmos DB será el encargado de consultar los datos de los dos meses anteriores. Es importante tener en cuenta que Azure Cosmos DB garantiza tiempos de respuesta de menos de 10 milisegundos por lo que no se incrementa sustancialmente el tiempo de operación.
4. Si se produjesen errores durante el procesamiento o almacenamiento de los datos, el sistema los registra en Azure Table Storage.
5. Azure Functions usará la biblioteca cliente de bases de datos elásticas de SQL Database para archivar los datos. Este proceso creará particiones de los datos para optimizar las operaciones de inserción. La solución forma particiones mediante la distribución horizontal de los datos entre varias bases de datos de Azure SQL. Cada base de datos usa un índice de columnas agrupado con particiones para comprimir las tablas. Los tiempos de respuesta en esta ruta de acceso inactiva suelen ser inferiores a un segundo.
6. Un clúster de Azure Databricks vuelve a procesar los datos de Blob Storage. En concreto, Azure Databricks deserializa los archivos Avro y envía los datos a Event Hubs para su análisis opcional.
De manera conjunta, estos servicios proporcionan una solución HTAP que:
- Produce una importante reducción de costos en la gestión energética al proporcionar acceso rápido a conclusiones sobre los datos archivados. Con esta solución, las latencias en la ruta de nivel de acceso esporádico bajan de horas a menos de segundos.
- Simplifica el archivado mediante la adición automática de datos al almacenamiento a largo plazo.
- Maximiza la escalabilidad mediante la creación de particiones de datos y el uso de una base de datos elástica.
¿Qué te ha parecido? Si tienes alguna consulta o crees que podemos ayudar a tu organización, no dudes en ponerte en contacto con nosotros. Estaremos encantados de ayudarte😊