Casandra Knowledge: Detección de anomalías

Descripción de la actividad de la organización

DECIDATA es una consultora boutique especializada desde 2016, en IA y Analítica Avanzada que brinda apoyo en la transformación impulsada por IA, desarrollando soluciones a medida con enfoque de negocio, brindando formación, estableciendo estándares de IA y asesorando en innovación.

Sector

Actividades de consultoría en IA y Analítica Avanzada

Nº de personas empleadas

11

Localización

Antecedentes

Tradicionalmente, SARENET ha gestionado sus CPDs a través de un sistema que permitía la detección de anomalías basado en una serie de umbrales, visualizando diversos datos clave generados y asegurándose posteriormente que no salieran de unos umbrales “normales”. Estos comportamientos, estudiados de forma individual, no permitían identificar patrones generados por diferentes componentes, lo que derivaba en la existencia de anomalías no detectadas al no poder estudiar en conjunto los diferentes parámetros y, en último término, en ineficiencias para SARENET.

Reto

El reto al que trata de dar respuesta el proyecto ha sido el de mejorar la identificación de posibles incidencias que se generan en los CPDs de SARENET, incorporando para ello una solución basada en Inteligencia Artificial que, entrenada con el histórico de datos obtenidos de la monitorización de los diferentes componentes que forman un CPD cuando su funcionamiento es correcto, permite la identificación de posibles anomalías en su funcionamiento a través del estudio conjunto de diferentes variables y parámetros claves en su funcionamiento.

Razones para ser considerado un Caso Práctico de Innovación

Porque se ha introducido de manera exitosa una solución basada en Inteligencia Artificial (IA) adaptada a una de las infraestructuras clave de SARENET, que mejora los procesos reactivos tradicionales de identificación de anomalías en sus Centros de Procesamiento de Datos (CPDs) y le permite predecir posibles fallos en su funcionamiento y anticiparse a estos fallos, mejorando en último término la disponibilidad y eficiencia de los servicios ofertados.

SARENET es una empresa operadora de voz y datos, servicios de alojamiento y ciberseguridad para el sector empresas. SARENET cuenta con diversos Centros de Procesamiento de Datos (CPDs), instalaciones críticas que albergan servidores, enrutadores, conmutadores y cortafuegos y que proporcionan un entorno seguro y controlado para el procesamiento, almacenamiento y gestión de los datos digitales generados.

Tradicionalmente, SARENET ha gestionado sus CPDs a través de un sistema que permitía la detección de anomalías basado en una serie de umbrales, visualizando datos clave generados del suministro eléctrico y la refrigeración y asegurándose posteriormente que no salieran de unos umbrales considerados normales. Sin embargo, estos comportamientos se estudiaban de forma individual, no pudiendo identificar patrones generados por diferentes componentes. Esto podría derivar en la existencia de anomalías no detectadas al no poder estudiar en conjunto los diferentes parámetros, lo cual podía derivar en ineficiencias para SARENET y afectar a los servicios prestados a sus clientes.

Para solventar estas limitaciones, SARENET y DECIDATA (consultora boutique especializada desde 2016 en el desarrollo de soluciones a medida con enfoque de negocio basadas en Inteligencia Artificial y Analítica Avanzada), deciden colaborar conjuntamente en un proyecto que permita mejorar el sistema de detección de incidencias existente hasta ese momento en los CPDs, para lo que se desarrolla un modelo predictivo basado en la utilización de IA que pueda tanto identificar posibles anomalías como entenderlas en conjunto y no de forma individual para aplicar los protocolos adecuados, identificando los problemas y mejorando así las capacidades de los CPDs de SARENET y la calidad de sus servicios.

Para ello, DECIDATA ha incorporado algoritmos de IA artificial utilizando para ello técnicas de redes neuronales autoencoder de Machine Learning (combinada con una metodología híbrida ASAP y CRISP-DM perteneciente al ámbito de la “ciencia del dato”), que aprenden a reconstruir datos, comprimiéndolos y luego descomprimiéndolos. En este sentido, el autoencoder fue “entrenado” con históricos de datos normales obtenidos de la monitorización de los diferentes componentes que forman un CPD cuando su funcionamiento es correcto, lo que permite la detección de posibles anomalías en el funcionamiento del CPD en caso de que el nuevo dato no se ajuste al patrón esperado. Para ello, se trabajó junto al equipo de SARENET en la comprensión del negocio y en la preparación, modelado, evaluación y despliegue de los datos disponibles. Con todo ello, DECIDATA ha incorporado en los sistemas de SARENET un modelo de detección de anomalías aplicado a los CPDs de SARENET, junto con un sistema de alertas que activa los protocolos definidos por SARENET para intervenir y mitigar el suceso.

El proyecto, desarrollado exitosamente entre 2022 y 2023, ha requerido de un equipo humano conformado por cuatro personas procedentes de DECIDATA (esto es, dos científicos de datos y dos “business translators” encargados de entender la problemática de la empresa y los datos existentes en ese momento en la organización, pudiendo así identificar la aplicabilidad de la IA), además de personal de SARENET con conocimiento experto de los procesos implicados y de los datos empleados en el desarrollo de la solución).

En el marco del proyecto, desarrollado entre Noviembre 2022 y Noviembre 2023, se han desarrollado las siguientes acciones, tomando como base la metodología CRISP-DM que proporciona un enfoque estructurado y sistemático para entender los datos y extraer conocimientos útiles de ellos:
1. En primer lugar, se procedió a la preparación del Proyecto, definiéndose los objetivos y requisitos de proyecto desde una perspectiva del negocio y de entender sus necesidades reales.
2. En segundo lugar, se procedió a comprender y preparar los datos disponibles, lo que implicó la recogida de los datos disponibles y la preparación y exploración de estos datos, incluyendo un proceso de limpieza y transformación de los datos para que estuvieran en un formato adecuado para el análisis y su posterior uso para el desarrollo de la solución.
3. En tercer lugar, se procedió a la implementación del modelo considerando la configuración de conexiones y parámetros.
4. En cuarto lugar, se procedió al testeo de la solución implementada, para de esta forma finalizar la adaptación de la solución y sus herramientas de apoyo y procesos para la puesta en producción.
5. Finalmente, y tras la comprobación de la validez de los resultados aportados, se procedió a implantar la solución desarrollada, integrándola en los sistemas de la compañía y dotando al equipo de SARENET, durante el desarrollo del proyecto, de diversos entregables de alto valor para la organización (informe de calidad de los datos, mapa de fuentes, tabla master, documentación técnica asociada al modelo). Además, se desarrollaron diversas sesiones formativas para facilitar la comprensión de la solución implementada por parte del equipo de DECIDATA e, indirectamente, fomentar la concienciación de la IA en la organización.

Los principales resultados obtenidos en el marco del proyecto han sido los siguientes:
• En primer lugar, el proyecto ha permitido a SARENET implementar una solución basada en Inteligencia Artificial perfectamente adaptada a sus infraestructuras clave, obteniendo una visión más completa y detallada de la información que circula por sus CPDs.
• En segundo lugar, el proyecto ha ayudado a SARENET a mejorar el sistema de detección de incidencias existente hasta ese momento en sus CPDs, que permite identificar tanto posibles anomalías como entenderlas en conjunto y no de forma individual, lo que en últimos término mejora las capacidades de los CPDs de SARENET y la calidad de sus servicios.
• En tercer lugar, el proyecto ha potenciado aún más dentro de SARENET su concienciación sobre la IA y sus posibilidades de implementación. En este sentido, SARENET está trabajando en la identificación y desarrollo de nuevos usos de la IA en la empresa.
• Finalmente, la solución desarrollada tiene un alto potencial de escalabilidad y replicabilidad a otras empresas o sectores. En este sentido, DECIDATA, está actualmente trabajando con otras empresas para la aplicación de la IA y el entendimiento y detección de anomalías en sus procesos productivos.
• El proyecto ha sido difundido públicamente en la revista ComputerWorld, en la que se detalla el proyecto y los principales resultados obtenidos (ver https://www.computerworld.es/article/2105484/ia-en-el-centro-de-datos-el-ingrediente-capaz-de-mejorar-el-front-y-back-end.html).